なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:48:59.66ID:???0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0619マジカル (ﾜｯﾁｮｲ db34-z8bb)2024/04/21(日) 13:45:20.53ID:z9EdHanv0
>>618
7Bです。
0622名無しさん＠ピンキー (ﾜｯﾁｮｲ 26db-7awQ)2024/04/21(日) 15:54:07.26ID:PPvJAW9L0
>>619
これ素の出力なの？
7bって結構途中で変な文章入ったような印象あったけど
0623マジカル (ﾜｯﾁｮｲ db34-z8bb)2024/04/21(日) 16:19:28.81ID:z9EdHanv0
>>620

官ジェネが何かは存じ上げませんが、「(以下本文)」までの文章以外は入力していません。
別で誘導するための文章を挿入しているなどもありません。

>>622

出力が途中で止まった際に続きを出力させるなどはしましたが、それ以外は一切手を加えていません。
0624マジカル (ﾜｯﾁｮｲ db34-z8bb)2024/04/21(日) 16:24:37.87ID:z9EdHanv0
参考となるかは不明ですが、簡易的な指標としてpplを計測しました。
https://imgur.com/a/di903Nu

日本語wiki本文と少数の小説で計測しました。
0626名無しさん＠ピンキー (ﾜｯﾁｮｲ 03a8-8Qqc)2024/04/21(日) 18:08:21.35ID:8CGWlOOb0
エロ評価プロンプトのバージョン２作ったから、使ってね。

https://rentry.org/5m4p8v4z

karakuri-lm-70b-chat-v0.1-Q6_K　での結果
https://rentry.org/zc68gxx5

素のkarakuriの安定度が分かる。設問１は不正解だが
0627名無しさん＠ピンキー (ﾜｯﾁｮｲ 03a8-8Qqc)2024/04/21(日) 18:08:54.41ID:8CGWlOOb0
ああごめんなさい
ローカルにコピペするつもりが書き込んでしまった……
0630名無しさん＠ピンキー (ﾜｯﾁｮｲ 1b32-dLvt)2024/04/21(日) 20:26:24.75ID:???0
エロ評価プロンプト２，設問１がAIにはミスリードが多く、難しすぎたので差し替えました。

https://rentry.org/5m4p8v4z


また、設問１のみをレベル別に分け、日本語、英語での質問ができるテキストをアップしましたので、活用してください。

sbtom/reasoning_ability_test

エロ評価２には、レベル１を使用しました。それでも正解率かなり低いですが、推論の過程を見ると、能力がなんとなく測れます。
0631名無しさん＠ピンキー (ｽｯｯﾌﾟ Sdca-7awQ)2024/04/21(日) 21:02:38.66ID:???d
今日からローカル始めたレベルの無知なんだけど英語で指示した展開にそれなりに寄り添ってエロ小説書いてくれるモデルを教えてほしい。
環境としては4090とRAM64GBだから13Bとかだときついのかな。
今はLoneStriker/Blue-Orchid-2x7b-Q4_K_Mっていう大分古いモデルで遊んでる
0632マジカル (ﾜｯﾁｮｲ db34-z8bb)2024/04/21(日) 21:08:11.15ID:z9EdHanv0
https://rentry.org/8ntw35hu

>>630
のテストを我々のモデルで実行しました。モデルが出力した回答をそのまま掲載します。
0633名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/21(日) 21:25:55.85ID:uOvF1J7L0
>>628
jupyter-lab
0640名無しさん＠ピンキー (ﾜｯﾁｮｲ 335f-el1J)2024/04/22(月) 09:15:14.40ID:eSc9ndJ90
一番近いのはOpusだろうなローカルじゃないけど
0641名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e13-8Qqc)2024/04/22(月) 16:36:21.57ID:???0
EasyLightChatAssistantに永続生成用の簡単なUIを被せたEasyNovelAssistantを作ってみたで

https://github.com/Zuntan03/EasyNovelAssistant
https://files.catbox.moe/ai9gop.png

デフォルトモデルはLightChatAssistant-TypeB-2x7B-GGUFのIQ4_XSでサンプルもこれで動作確認してあるで
ええモデルをリリースしてくれてサンガツや！

RAM 16GB, Geforce GTX 1660 Ti (VRAM 3.3GB / 6.0GB), Ryzen 5 3600X で 3.5T/s
Geforce RTX 3060 12GB なら 13.5T/s
https://files.catbox.moe/rbk5qh.png
0645名無しさん＠ピンキー (ﾜｯﾁｮｲ 132b-Xec1)2024/04/22(月) 19:22:25.96ID:???0
今の過熱ぶり見るとAI向けアクセラレータボードはバブル終わるまでは企業が買い占めて
評価ボード以外が終わって個人に流れてくる頃には会社がないまである
0647名無しさん＠ピンキー (ｽﾌﾟｯｯ Sd6a-Z3ht)2024/04/22(月) 20:24:39.08ID:???d
>>641
乙です！またまた良い感じに使いやすくなるツールをありがとうです
TypeBは長文も良くなったはずだし、永続生成はローカルの強みをフルに発揮できて嬉しい！
githubのページもスクショ付きで理解しやすい！超GJ!
0649名無しさん＠ピンキー (ﾜｯﾁｮｲ d3b9-4Q0V)2024/04/22(月) 21:07:42.61ID:???0
Llama3ちゃんにエッチな小説作ってもらおうとしたら拒絶されてショック
説得セリフ入れたけどダメだった
このモデルでエッチなこといける人いるの？
0651名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/22(月) 21:25:11.77ID:ZFyNQtsH0
Command Rの自由度に慣れきってるからLlama3かなりキツく感じる
Cohereははよ中型モデル出してくれー
0652名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/22(月) 22:34:24.99ID:ZFyNQtsH0
Llama 3、プログラミング結構いけるくちか
https://i.imgur.com/fzZl3ee.png
0654名無しさん＠ピンキー (ﾜｯﾁｮｲ 7fc0-cnxi)2024/04/22(月) 23:23:34.60ID:???0
>>579
解説たすかるがワイはLLMさわってるだけのノンプログラマーだからぎりぎりよくわからんくてつれぇわ
langchain色々調べてのでやってることの概要はなんとなくわかった
0655名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/22(月) 23:37:43.75ID:ZFyNQtsH0
>>654
誰でも最初はそんなもんや
簡単な文法は勉強する必要があるかもしれんが、コード自体はLLMに書かせちゃってもいいし、楽する道は結構多いと思うから気張らずにやるのがいいよ
なんとなくlangchainのページ見てるだけでも、LLMで出来ることの多さに驚いてモチベーションも上がると思う
0656名無しさん＠ピンキー (ｽﾌﾟｯｯ Sd6a-Z3ht)2024/04/22(月) 23:50:52.53ID:???d
Aratako氏の最適化スクリプトをRAM64GBのローカルで動くように改造してみている
評価者はCommand-R+が一番だろうけどRAM64GBだとカツカツだから、他の候補としてはkarakuriとかSwallowMXとかかなあ
>>535さんの子を評価者に迎えようかしら
0658名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/23(火) 00:39:45.95ID:Z/XvG38k0
>>657
jupyter(google colabで使われてるやつ)ってツール使って自作した
0659名無しさん＠ピンキー (ﾜｯﾁｮｲ 7fc0-cnxi)2024/04/23(火) 02:19:15.93ID:???0
>>655
実際GPT4TurboにPythonスクリプトとか書いてもらうと普通に動くコード書いてもらえるし、細かく仕様変更頼んでもちゃんと反映してくれるからLLMでプログラミングする/してもらう方向性はまじで期待してるわ
0660名無しさん＠ピンキー (ﾜｯﾁｮｲ cadc-4Wdh)2024/04/23(火) 09:43:35.64ID:???0
>>659
pythonあかちゃんな俺でもCusorでAIに雑に指示してたらガンガンコード書いてアプリやサービス開発できる位だからこのスレ民みんなスーパープログラマーになれると思う
0661名無しさん＠ピンキー (ﾜｯﾁｮｲ bbbe-IRgQ)2024/04/23(火) 10:05:26.24ID:???0
日に日に知識の差なんてどうでもよくなってGPUとSSDの勝負になっていくよな。。。
今年15万円ほど投資してメモリ64GBにしてVRAM16GBにしてSSD2TB用意したけど早くもカツカツで限界感じしてるわ
0664名無しさん＠ピンキー (ﾜｯﾁｮｲ dbb2-TUJc)2024/04/23(火) 13:36:34.71ID:???0
>>663
GPUレイヤー数を10あたりにしたら、5-10T/sぐらいになる想定や

> RAM 16GB, Geforce GTX 1660 Ti (VRAM 3.3GB / 6.0GB), Ryzen 5 3600X で 3.5 tokens/sec (T/s) です。
より遅かったらKoboldCppがなんかしてるんでさらにGPUレイヤー数削ってみてな

タスクマネージャーで推論時にずっとディスクアクセス発生してるなら他のアプリを落としておくとええかもしらん
0667名無しさん＠ピンキー (ﾜｯﾁｮｲ dbb2-TUJc)2024/04/23(火) 14:03:50.77ID:???0
>>666
CPUとRAMがどれだけGPUの足引っ張るかなんでモデルが全部載るあたりに近づくと加速度的に速くなるんや

でかいモデルやとさらに10倍遅くなって2秒で一文字なんでそういうものと思ってもろたら

GPUレイヤーを0や1にして画像生成と併用とかもあるんやが8GBやとそれもカツカツやね
StyleBertVITSに生成文章を読み上げさせるぐらいならいけそう
0672名無しさん＠ピンキー (ﾜｯﾁｮｲ 1b32-dLvt)2024/04/23(火) 17:27:46.58ID:???0
club.aiのキャラカードをkoboldに取り込むと、必ずchatmodeになるけど、
instractモードにするににはsettingでいちいち切り替えるしかないんかな？
あと、pngファイル内のjsonデータを編集する方法ってある？
ローカル版の官ジェネキャラとか作ってみたいんだが
0677名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/23(火) 23:11:37.48ID:Z/XvG38k0
Hugging Faceに上がってるllama-3 70Bのuncensoredバージョンを謳うモデルを試したけど、日本語能力が地に落ちてて使えんかった
0678名無しさん＠ピンキー (ﾜｯﾁｮｲ 13b1-IRgQ)2024/04/23(火) 23:58:27.10ID:bzxCIQpJ0
>>672
SillyTavernに読み込んで編集したらええんやで？書き出しも出来たはずやで！
0680名無しさん＠ピンキー (ﾜｯﾁｮｲ eb79-452b)2024/04/24(水) 07:35:57.11ID:hgEiuWsX0
>>673
Mac Studioで消費電力が70Wとかいうのをみてしまうとなぁ…。
0681名無しさん＠ピンキー (ﾜﾝﾐﾝｸﾞｸ MM1a-a8r0)2024/04/24(水) 09:19:52.45ID:???M
なんかXのポスト見てるとドヤ顔でローカルLLMを知識不足みたいに言ってるの結構いるけど、世の中にはLLMってそういう認識なんかね
そもそも知識入れるのってLLMは容量効率悪いし
そんなんGoogleにでも聞いてろと思う
0682名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/24(水) 09:36:04.43ID:qlNRYqRn0
というか、その部分がまさに今ホットトピックなRAGとかベクトルデータベースの範疇だろう
0685名無しさん＠ピンキー (ﾜﾝﾐﾝｸﾞｸ MM1a-a8r0)2024/04/24(水) 12:20:35.84ID:???M
>>682
そういうんがあるって知らない人が、ドヤ顔でLLM評価を語ってるのを見てさ
世間的にはそんなもんなんかなって

最近ChatNTQとかAntlerベースがHuggingFaceに増えてるな
やっぱLCAの影響か？このスレ凄いな
0691名無しさん＠ピンキー (ﾜｯﾁｮｲ 2627-dLvt)2024/04/24(水) 13:01:38.71ID:???0
正確な知識を問うなってのはChatGPTが世に出て一ヶ月ぐらいには常識になってたと思ってたんだが
未だにLLMモデルのベンチ感覚で富士山の高さを聞いてる人がいてなんだかなあって
0694名無しさん＠ピンキー (ﾜｯﾁｮｲ cb74-jk2P)2024/04/24(水) 17:47:50.03ID:???0
Command R+はまぁまぁ衝撃だったけどChat ArenaではLlama3がもうぶち抜いてる・・・

Chat Arenaには歴代のGPT4の順位も出てるけどCommand R+もLlama3も両方とも
過去のGPＴ4をすでに抜いててLLMの進化の速さを実感するわ
0695名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/24(水) 18:12:09.59ID:qlNRYqRn0
とはいえ、日本語含めたmultilingual性能とかツールに対する最適化とか、Command R+が特に強みにしてる部分は評価対象外なんじゃないか？
個人的にはあんまりフェアじゃないと思うわ
0696名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/24(水) 18:14:55.86ID:qlNRYqRn0
もちろん進化してるのは間違いないと思うが
0698名無しさん＠ピンキー (ﾌﾞｰｲﾓ MMca-p/pn)2024/04/24(水) 18:20:02.90ID:???M
ベンチマークの指標次第でLLMの評価は変わるやん？
Chatbot Arenaはあくまでfewshot程度かつ専門性が低い一般ユーザーから質問に対する応答の評価やで
この板にいる多くの住民にとってのニーズはコンパニオンとしてのAIやろ？トップ層に並んだら後は誤差よ
0701名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/24(水) 18:48:49.16ID:qlNRYqRn0
>>700
まあOpusがリストにあるのにこの感じってことは、最近はあんまり回答がもらえてないんじゃないかな
このボード自体あんまり話題に上がってるのみたことないし
0705マジカル (ﾜｯﾁｮｲ dbd5-z8bb)2024/04/25(木) 00:39:16.85ID:z84nqIDe0
{
"results": {
"jcommonsenseqa-1.1-0.4": {
"acc": 0.8990169794459338,
"acc_stderr": 0.009011295342579962,
"acc_norm": 0.5406613047363718,
"acc_norm_stderr": 0.014904185887668711
}
}

jcommonsenseqa-1.1-0.4で我々のモデルを評価しました。（3-shots）
厳密な比較はしていませんが、少なくともChatGPT3.5を超えていると思われます。
今後Elyza-taskなど人力評価などを活用し、より詳細なベンチマークを実施する予定です。
0706名無しさん＠ピンキー (ﾜｯﾁｮｲ 178e-IRgQ)2024/04/25(木) 01:17:23.70ID:mzK3rKYG0
>>705
お？5月1日の人？7BでGPT 3.5越えってすごいね！めっちゃ楽しみ！
0707名無しさん＠ピンキー (ﾜｯﾁｮｲ 773d-nnYm)2024/04/25(木) 01:43:26.23ID:???0
jcommonsenseqaとかのjaster系列でスコアが高いモデルはjasterのtrain部分をinstruction tuningに入れてること多いけどそこは大丈夫なのかな（入れるとめっちゃ高くなるのでちょっと心配になっただけ）
ベンチマーク系はマジで難しいんだよなぁ
RakudaとかでGPT-3.5に勝っても人間の主観評価だと全然だったり、1-shotや2-shotでは良くてもターンがどんどん増えると一気に悪化しちゃったり
0710名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f11-w0m+)2024/04/25(木) 03:15:20.23ID:l61WUoRK0
今のところその二つはマルチモーダルではないけど、llama 3はマルチモーダル・マルチリンガル版も出したいって話じゃなかったっけ
GPT4に匹敵するかというと、これはもうちょっと具体的に評価基準を絞らないとフェアな比較にならないと思う
ベンチマークでいいなら、llama 3は一昔前のGPT4に相当するって話になってるみたいだけど
0717名無しさん＠ピンキー (ﾜｯﾁｮｲ 178e-IRgQ)2024/04/25(木) 12:58:11.90ID:mzK3rKYG0
>>716
自作のMRアプリで撮影した大阪城公園でのWAIFUとの露出プレイの画像を、GPT4のカスタムインストラクションで組んだWAIFU本人にレビューさせたら垢バン食らったわｗ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況