なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>632
これは期待！どこかのサークルさんか海外の企業さんかな？ChatNTQの強化版だったりして
なんにせよ5/1が楽しみ！ ありがとう、ゆっくりコーヒーでも飲みながら試してみる
そしてHugging FaceにNSFWタグあるんだね、おかげで気づけたよ 官能小説というよりは抜きゲーのっぽい表現に特化した
NSFWモデルでなんかええのないやろか？ EasyLightChatAssistantに永続生成用の簡単なUIを被せたEasyNovelAssistantを作ってみたで
https://github.com/Zuntan03/EasyNovelAssistant
https://files.catbox.moe/ai9gop.png
デフォルトモデルはLightChatAssistant-TypeB-2x7B-GGUFのIQ4_XSでサンプルもこれで動作確認してあるで
ええモデルをリリースしてくれてサンガツや！
RAM 16GB, Geforce GTX 1660 Ti (VRAM 3.3GB / 6.0GB), Ryzen 5 3600X で 3.5T/s
Geforce RTX 3060 12GB なら 13.5T/s
https://files.catbox.moe/rbk5qh.png prem aiのブログ更新、RAGについて
https://blog.premai.io/rag-strategies/
そんなことより料金はよw
今日発表すると言ってからもう4日くらい経ってるぞ Groqって会社がGPUじゃなくてLPUっての作っているのか
こりゃどっかのタイミングで劇的に動作コストが下がることありそうだね 今の過熱ぶり見るとAI向けアクセラレータボードはバブル終わるまでは企業が買い占めて
評価ボード以外が終わって個人に流れてくる頃には会社がないまである PCだとCPUにNPUが標準的に統合されてくる
というか、Microsoftがそれを要求してくる >>641
乙です！またまた良い感じに使いやすくなるツールをありがとうです
TypeBは長文も良くなったはずだし、永続生成はローカルの強みをフルに発揮できて嬉しい！
githubのページもスクショ付きで理解しやすい！超GJ! Antlerの作者さんの新作が出てた。独自のエロベンチマークで他モデルと比較した結果も出てる
Elizezen/SniffyOtter-7B Llama3ちゃんにエッチな小説作ってもらおうとしたら拒絶されてショック
説得セリフ入れたけどダメだった
このモデルでエッチなこといける人いるの？ >>649
脱獄オンにする
それでも3手目あたりで申し訳してくる Command Rの自由度に慣れきってるからLlama3かなりキツく感じる
Cohereははよ中型モデル出してくれー >>579
解説たすかるがワイはLLMさわってるだけのノンプログラマーだからぎりぎりよくわからんくてつれぇわ
langchain色々調べてのでやってることの概要はなんとなくわかった >>654
誰でも最初はそんなもんや
簡単な文法は勉強する必要があるかもしれんが、コード自体はLLMに書かせちゃってもいいし、楽する道は結構多いと思うから気張らずにやるのがいいよ
なんとなくlangchainのページ見てるだけでも、LLMで出来ることの多さに驚いてモチベーションも上がると思う Aratako氏の最適化スクリプトをRAM64GBのローカルで動くように改造してみている
評価者はCommand-R+が一番だろうけどRAM64GBだとカツカツだから、他の候補としてはkarakuriとかSwallowMXとかかなあ
>>535さんの子を評価者に迎えようかしら >>657
jupyter(google colabで使われてるやつ)ってツール使って自作した >>655
実際GPT4TurboにPythonスクリプトとか書いてもらうと普通に動くコード書いてもらえるし、細かく仕様変更頼んでもちゃんと反映してくれるからLLMでプログラミングする/してもらう方向性はまじで期待してるわ >>659
pythonあかちゃんな俺でもCusorでAIに雑に指示してたらガンガンコード書いてアプリやサービス開発できる位だからこのスレ民みんなスーパープログラマーになれると思う 日に日に知識の差なんてどうでもよくなってGPUとSSDの勝負になっていくよな。。。
今年15万円ほど投資してメモリ64GBにしてVRAM16GBにしてSSD2TB用意したけど早くもカツカツで限界感じしてるわ >>641
すまん、これCPUばっかり使ってグラボの力使わんから遅い。ちなrtx4060の8Gや。グラボ使わすのどうやってやるの？ >>663
GPUレイヤー数を10あたりにしたら、5-10T/sぐらいになる想定や
> RAM 16GB, Geforce GTX 1660 Ti (VRAM 3.3GB / 6.0GB), Ryzen 5 3600X で 3.5 tokens/sec (T/s) です。
より遅かったらKoboldCppがなんかしてるんでさらにGPUレイヤー数削ってみてな
タスクマネージャーで推論時にずっとディスクアクセス発生してるなら他のアプリを落としておくとええかもしらん VRAMが少ないとGPU処理を使い切れないんは仕様や
CPUやRAMが足引っ張ってる状態やね >>664
https://ul.h3z.jp/0qpAuAVk.jpg
1秒で5〜6文字やな。L10とか押してみたけど効いてるのか判別つかんｗ >>666
CPUとRAMがどれだけGPUの足引っ張るかなんでモデルが全部載るあたりに近づくと加速度的に速くなるんや
でかいモデルやとさらに10倍遅くなって2秒で一文字なんでそういうものと思ってもろたら
GPUレイヤーを0や1にして画像生成と併用とかもあるんやが8GBやとそれもカツカツやね
StyleBertVITSに生成文章を読み上げさせるぐらいならいけそう >>667
https://ul.h3z.jp/ztBRpUhs.jpg
レイヤーとやらを変更するってやってもこんなん出るで。
1秒で5文字出るだけマシなんかな？CPUだけやったらもっと遅いんかな。 とりあえず落ち着いて>>641のページをしっかり読んだ方がいい
>>668のメッセージの意味もわかるはず >>669
サンクス。ウインドウ閉じらなあかんかったか。L12で9〜10文字/秒出るようになった。サンガツ >>670
解決したようで良かった
おそらく>>641やeasylightchatassistantのページが、koboldの使い方では最も丁寧な日本語解説ページなんで、目を通しておくと良いと思う club.aiのキャラカードをkoboldに取り込むと、必ずchatmodeになるけど、
instractモードにするににはsettingでいちいち切り替えるしかないんかな？
あと、pngファイル内のjsonデータを編集する方法ってある？
ローカル版の官ジェネキャラとか作ってみたいんだが LLMはモデルロードしてしまえば大して通信速度必要ないって話だったなそういえば Hugging Faceに上がってるllama-3 70Bのuncensoredバージョンを謳うモデルを試したけど、日本語能力が地に落ちてて使えんかった >>672
SillyTavernに読み込んで編集したらええんやで？書き出しも出来たはずやで！ AI官能小説凄いな
俺が一生頑張っても勝てそうにない表現力やわ >>673
Mac Studioで消費電力が70Wとかいうのをみてしまうとなぁ…。 なんかXのポスト見てるとドヤ顔でローカルLLMを知識不足みたいに言ってるの結構いるけど、世の中にはLLMってそういう認識なんかね
そもそも知識入れるのってLLMは容量効率悪いし
そんなんGoogleにでも聞いてろと思う というか、その部分がまさに今ホットトピックなRAGとかベクトルデータベースの範疇だろう >>682
そういうんがあるって知らない人が、ドヤ顔でLLM評価を語ってるのを見てさ
世間的にはそんなもんなんかなって
最近ChatNTQとかAntlerベースがHuggingFaceに増えてるな
やっぱLCAの影響か？このスレ凄いな あとumiyukiよ、iMatrixはchunksを指定しないとめっちゃ時間食うのはデフォだぞ
適度に小さい値を指定して使うようにせんと お前は相手の知識の不備つついていい気分だろうけどあっちは傷つくからやめてね 5chのスレのリンク貼って拡散するような奴なんて俺たちのオモチャでいいんだ上等だろ いや、別にそういうつもりではなかった
困ってるみたいだったからアドバイスしようかと思って
言い方がキツかったかな。スマン 正確な知識を問うなってのはChatGPTが世に出て一ヶ月ぐらいには常識になってたと思ってたんだが
未だにLLMモデルのベンチ感覚で富士山の高さを聞いてる人がいてなんだかなあって >>686
俺が7時間34分待つハメになったレスを読み飛ばしてるのか… >>691
俺が見た人は自前でbnb4bit量子化したモデルを使って、それに文句言ってたからな
そこまでする技量と環境あるのに何故当たり前のことがわからんのかと Command R+はまぁまぁ衝撃だったけどChat ArenaではLlama3がもうぶち抜いてる・・・
Chat Arenaには歴代のGPT4の順位も出てるけどCommand R+もLlama3も両方とも
過去のGPＴ4をすでに抜いててLLMの進化の速さを実感するわ とはいえ、日本語含めたmultilingual性能とかツールに対する最適化とか、Command R+が特に強みにしてる部分は評価対象外なんじゃないか？
個人的にはあんまりフェアじゃないと思うわ ベンチマークの指標次第でLLMの評価は変わるやん？
Chatbot Arenaはあくまでfewshot程度かつ専門性が低い一般ユーザーから質問に対する応答の評価やで
この板にいる多くの住民にとってのニーズはコンパニオンとしてのAIやろ？トップ層に並んだら後は誤差よ >>699
Claude-2.1が1位なのはちょっと微妙だな
まだ十分回答がないってことか >>700
まあOpusがリストにあるのにこの感じってことは、最近はあんまり回答がもらえてないんじゃないかな
このボード自体あんまり話題に上がってるのみたことないし 確かに日本語版あるの今初めて知ったしなぁ
何回か評価参加しとくか 連続して評価できないのかこれ
ページリロードしないといけないのめんどいな Llama3、Phi-3が出てきて小型でも強いモデルが増えてきて嬉しい
Mistral7B以外の選択肢として期待してる
個人的にはPhi-3の14Bがとても楽しみ {
"results": {
"jcommonsenseqa-1.1-0.4": {
"acc": 0.8990169794459338,
"acc_stderr": 0.009011295342579962,
"acc_norm": 0.5406613047363718,
"acc_norm_stderr": 0.014904185887668711
}
}
jcommonsenseqa-1.1-0.4で我々のモデルを評価しました。（3-shots）
厳密な比較はしていませんが、少なくともChatGPT3.5を超えていると思われます。
今後Elyza-taskなど人力評価などを活用し、より詳細なベンチマークを実施する予定です。 >>705
お？5月1日の人？7BでGPT 3.5越えってすごいね！めっちゃ楽しみ！ jcommonsenseqaとかのjaster系列でスコアが高いモデルはjasterのtrain部分をinstruction tuningに入れてること多いけどそこは大丈夫なのかな（入れるとめっちゃ高くなるのでちょっと心配になっただけ）
ベンチマーク系はマジで難しいんだよなぁ
RakudaとかでGPT-3.5に勝っても人間の主観評価だと全然だったり、1-shotや2-shotでは良くてもターンがどんどん増えると一気に悪化しちゃったり 「LOCAL AI HACKATHON #001」ってのが5/1に決勝らしいけどそれと関係あるんかな llama3,Phi-3ってGPT-4に匹敵するレベル？ローカルで画像分析とかもう出来るのかな？ 今のところその二つはマルチモーダルではないけど、llama 3はマルチモーダル・マルチリンガル版も出したいって話じゃなかったっけ
GPT4に匹敵するかというと、これはもうちょっと具体的に評価基準を絞らないとフェアな比較にならないと思う
ベンチマークでいいなら、llama 3は一昔前のGPT4に相当するって話になってるみたいだけど マルチじゃなくてシングルの画像のみの解析ならkarakuri+koboldで出来てた Phi-3FP16試してみたけど日本語はやっぱりイマイチだな
GPT4どころじゃない (LLMでボトルネックになるメモリ帯域と量見て)macでLLMいいよ
とか言ったやつがGPU性能がーで袋叩きにされて草なんだ macでllmやるならgpu性能いらないんじゃ？
画像系もやりたいとか？ LLMはトレーニングデータの殆どが英語だし
音声合成AIは今度は中国語ベースだしで日本語対応はどうしても貧弱になるんだよな ローカルで画像認識出来る奴ってあるの？
「この画像はなんだい？言ってごらん？デュフフフ」ってやりたい >>716
自作のMRアプリで撮影した大阪城公園でのWAIFUとの露出プレイの画像を、GPT4のカスタムインストラクションで組んだWAIFU本人にレビューさせたら垢バン食らったわｗ >>716
前にオナニースレに投下したやつ
こういうのがしたいんやろ？w
koboldに画像解析機能付いたんで、SDで適当に作った絵を、変態成りきり解説させてみた。
https://imgur.com/a/30ncBQE
マルチモーダル対応モデルじゃない普通のモデルだけど、結構遊べる >>718
おお！Command +Rとかでも出来るの？
>>717
技術無駄に使ってて草 ローカルで画像認識させられるのってLLaVAとか？
一回も使ったことないし話題になってるのもほとんど見ないけどどうなんだろ
ベースはLlama 2みたいだけど3ベースが出たら話題になるんかな
フォルダにあからさまなエロい名前のファイル突っ込んどいて、Command Rとかに「今あるファイル調べて」みたいなタスク投げると割と可愛らしい反応返してくるから時々それで遊ぶけど、画像でそれができるのは割と熱いかもしれない >>719
こいつはkarakuri-midroseだけどcomand-rでもいけると思うが試してないんでやってみて
hordeモードな >>716
調べれば出てくるやろ
MoondreamとかObsidianとか 今X見てたらnvidiaのGPUだとprompt evalにかかる時間(≒最初のトークン出力にかかる時間)がプロンプト長と比例しないっていうポストを見たんだけど、本当なの？
俺はApple siliconだからわからんのだけど、感覚的にでいいから実際どうなのか教えて欲しい >>723
確かに長文でも こんにちは でも一手目での応答は同じくらい長めの感じかな prompt evalってプロンプト処理時間のことなんかな
1batch内のトークン数に収まる分なら処理時間変わらんと思うけど、溢れて2batchになるなら遅くなると思うけど
プロンプト長で処理トークン数増えるから、その話は眉唾に感じるなあ
比例しない(時間変化がないとは言ってない)だったりして あ、GPU推論の話か
スマン、>>725はスルーしてくれ
GPU推論はよく知らんのだわ ログ見る限りでははトークン数に応じてprompt evalの時間は普通に伸びてるけどなあ
llama_print_timings: prompt eval time = 8912.58 ms / 1438 tokens ( 6.20 ms per token, 161.35 tokens per second)
llama_print_timings: prompt eval time = 13620.81 ms / 2314 tokens ( 5.89 ms per token, 169.89 tokens per second) なんかこの書き方だと、単にMacの演算性能が低くてプロンプトの処理に時間がかかる、みたいな表現に見える
nvidiaの方がもちろん演算性能が高いから気にならないくらい、てだけのような >>721
Kobold.exeの初期設定画面でCommand +RのAPI入れてlaunch押したらなんかGGUFファイル指定しろって出てくる。。。
Silly TavernはAPI入力だけで使えたのにGGUFダウンロードしないといけないのかぁ
Command +RのGGUFあったけど多分全部で500GB以上あるんだよな… 求められるスペックは
プロンプト処理: プロセッサ性能
トークン生成: メモリ帯域
なのでMacはトークン生成は有利だけど、プロンプト処理は不利ってことかと まあそういう意味なら理解できるわ
処理性能が高くて計算が速いから、気にならない誤差程度の差しか（絶対値としては）出てこないってことね >>730
全部落とす必要ないで
メモリ64GならQ3k_mかiQ4ってついてるのが動くはず MacをLLM用に買う人はそこを分かって買ってるんじゃないんかなあ
こういうポストが出るってことは調べんでポンと大金出す人が多いのか… >>734
多分実際お金出しちゃった人がいるってわけじゃなくて、昨日Mac StudioがローカルLLMに適してるって記事が少しバズってローカルLLMがXのトレンドに出てきたりしたから、記事を間に受けて何も考えずに買うのは気をつけた方が良いよ〜っていう警告だと思う ■ このスレッドは過去ログ倉庫に格納されています
