なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ 今みんな実行環境何使ってるの？Text generation webui? エロ評価プロンプト２，設問１がAIにはミスリードが多く、難しすぎたので差し替えました。 https://rentry.org/5m4p8v4z 今日からローカル始めたレベルの無知なんだけど英語で指示した展開にそれなりに寄り添ってエロ小説書いてくれるモデルを教えてほしい。 https://rentry.org/8ntw35hu >>630 >>632 >>632 ありがとう、ゆっくりコーヒーでも飲みながら試してみる 官能小説というよりは抜きゲーのっぽい表現に特化した EasyLightChatAssistantに永続生成用の簡単なUIを被せたEasyNovelAssistantを作ってみたで https://github.com/Zuntan03/EasyNovelAssistant https://files.catbox.moe/ai9gop.png https://files.catbox.moe/rbk5qh.png prem aiのブログ更新、RAGについて https://blog.premai.io/rag-strategies/ Groqって会社がGPUじゃなくてLPUっての作っているのか 今の過熱ぶり見るとAI向けアクセラレータボードはバブル終わるまでは企業が買い占めて PCだとCPUにNPUが標準的に統合されてくる >>641 Antlerの作者さんの新作が出てた。独自のエロベンチマークで他モデルと比較した結果も出てる Llama3ちゃんにエッチな小説作ってもらおうとしたら拒絶されてショック >>649 Command Rの自由度に慣れきってるからLlama3かなりキツく感じる >>579 >>654 Aratako氏の最適化スクリプトをRAM64GBのローカルで動くように改造してみている >>535 さんの子を評価者に迎えようかしら >>657 >>655 >>659 日に日に知識の差なんてどうでもよくなってGPUとSSDの勝負になっていくよな。。。 >>641 >>663 VRAMが少ないとGPU処理を使い切れないんは仕様や >>664 https://ul.h3z.jp/0qpAuAVk.jpg >>666 >>667 https://ul.h3z.jp/ztBRpUhs.jpg とりあえず落ち着いて>>641 のページをしっかり読んだ方がいい >>668 のメッセージの意味もわかるはず >>669 >>670 >>641 やeasylightchatassistantのページが、koboldの使い方では最も丁寧な日本語解説ページなんで、目を通しておくと良いと思う club.aiのキャラカードをkoboldに取り込むと、必ずchatmodeになるけど、 LLMはモデルロードしてしまえば大して通信速度必要ないって話だったなそういえば Hugging Faceに上がってるllama-3 70Bのuncensoredバージョンを謳うモデルを試したけど、日本語能力が地に落ちてて使えんかった >>672 AI官能小説凄いな >>673 なんかXのポスト見てるとドヤ顔でローカルLLMを知識不足みたいに言ってるの結構いるけど、世の中にはLLMってそういう認識なんかね というか、その部分がまさに今ホットトピックなRAGとかベクトルデータベースの範疇だろう >>682 あとumiyukiよ、iMatrixはchunksを指定しないとめっちゃ時間食うのはデフォだぞ お前は相手の知識の不備つついていい気分だろうけどあっちは傷つくからやめてね 5chのスレのリンク貼って拡散するような奴なんて俺たちのオモチャでいいんだ上等だろ いや、別にそういうつもりではなかった 正確な知識を問うなってのはChatGPTが世に出て一ヶ月ぐらいには常識になってたと思ってたんだが >>686 >>691 Command R+はまぁまぁ衝撃だったけどChat ArenaではLlama3がもうぶち抜いてる・・・ とはいえ、日本語含めたmultilingual性能とかツールに対する最適化とか、Command R+が特に強みにしてる部分は評価対象外なんじゃないか？ ベンチマークの指標次第でLLMの評価は変わるやん？ >>699 >>700 確かに日本語版あるの今初めて知ったしなぁ 連続して評価できないのかこれ Llama3、Phi-3が出てきて小型でも強いモデルが増えてきて嬉しい { >>705 jcommonsenseqaとかのjaster系列でスコアが高いモデルはjasterのtrain部分をinstruction tuningに入れてること多いけどそこは大丈夫なのかな（入れるとめっちゃ高くなるのでちょっと心配になっただけ） 「LOCAL AI HACKATHON #001」ってのが5/1に決勝らしいけどそれと関係あるんかな llama3,Phi-3ってGPT-4に匹敵するレベル？ローカルで画像分析とかもう出来るのかな？ 今のところその二つはマルチモーダルではないけど、llama 3はマルチモーダル・マルチリンガル版も出したいって話じゃなかったっけ マルチじゃなくてシングルの画像のみの解析ならkarakuri+koboldで出来てた Phi-3FP16試してみたけど日本語はやっぱりイマイチだな (LLMでボトルネックになるメモリ帯域と量見て)macでLLMいいよ macでllmやるならgpu性能いらないんじゃ？ LLMはトレーニングデータの殆どが英語だし ローカルで画像認識出来る奴ってあるの？ >>716 >>716 https://imgur.com/a/30ncBQE >>718 >>717 ローカルで画像認識させられるのってLLaVAとか？ >>719 >>716 今X見てたらnvidiaのGPUだとprompt evalにかかる時間(≒最初のトークン出力にかかる時間)がプロンプト長と比例しないっていうポストを見たんだけど、本当なの？ >>723 prompt evalってプロンプト処理時間のことなんかな あ、GPU推論の話か >>725 はスルーしてくれ ログ見る限りでははトークン数に応じてprompt evalの時間は普通に伸びてるけどなあ ■ このスレッドは過去ログ倉庫に格納されています
