なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ >>314 >>319 >>314 >>318 >>323 エロの文脈でもキャラ設定とか世界観設定を上手く使おうとするとRAGっぽい実装になるんかな 続かせたいのに※この文章はフィクションです～とか後書きみたいな文が出てくる時ってどうしてる？ imatrixのtraindataは日本語モデルなら日本語の方がいいらしいと聞いたが >>308 >>305 のメソッドも面白そうだし >>319 >>321 >>322 >>330 http://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/ >>323 >>333 Pulled and merged new model support, improvements and fixes from upstream. (Note: Command R Plus support is not yet included yet, it may be added in a future patch release.) 赤ちゃんだからkoboldが実行環境としてなにやってくれてるのか未だに理解してない R＋は64Gでの70Bの遅さが我慢できるのならIQ4_XSがよさそうだな llama.cpp更新されて、mainブランチでcommand-r-plusサポート追加されたっぽいね koboldうぷで早すぎーｗ >>342 m3studio256盛りultra1200帯域とかいつ出るんやろ ありゃ？ ああ、てゆうか結合する必要なかったのね こいつしりとりできるね IQ3_xxsは9.3GBでIQ4_xsは12.9GBだから 最近ちょいちょい遊んでるプロンプト https://i.imgur.com/BIpsJsQ.png うーん、ダメだ llama-cpp-pythonもgithubの方はcommand-r-plus対応したわ 赤ちゃんレベルの超初心者ですまないんやが >>169 のどのファイルをダウンロードしたらいいのか分からん… >>357 https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B-GGUF >>358 ありがとう。GGUFじゃない方見てたわ >>358 >>359 もしかしてLlamacppの最新で使えないってことだろうか >>360 >>361 そうなんだ。GGUFのほう入れとくわ。ありがとう。 >>363 >>365 >>366 >>367 >>149 の話？ どこかで見たと思っていたらそれだ！ありがとう Sdff-Ltba/LightChatAssistant-2x7B-GGUF いくらMoEで推論は軽めとはいえ流石にデカすぎてロードができんｗｗｗ >>365 の検証できた >>149 の話の通り、最新Llama.cppで量子化したMoEモデルはKobold-v1.61.2だと読込エラーになる模様 >>322 最新版の方がMoEの推論早いみたいだしそっちの方がいいだろうな（2x7Bとかなら誤差なのかもしれんが） >>375 >>376 >>376 超初心者な質問ですまん >>379 >>376 0を1にした人も1を100にした人もどっちもめっちゃ偉いじゃんね？ >>376 >>373 >>375 みんな優しい。ありがとう。ちょっと疲れて気分落ちていたみたい >>385 最適化版試してみたけど違いわからんレベルだな 大葉を使っている人は居ないのか？みんなkoboldなのか？ Command R+ iq4_xsをRAM 64GB, RTX 3060 12GBで0.5T/s動作したメモ共有しとくで https://twitter.com/Zuntan03/status/1778441181741158764 >>386 >>213 初歩的なことですまんけど、koboldcppで対話するときに出てくるアイコンはどこで変更するの？ >>390 >>392 ローカルでcommand-Rプラスをサクサク動かすのってやっぱM2MAXとかぐらいしか現実的に無理なんか？ >>396 3090+4060Tix2でvram56GB確保してiq3なら6tsくらい出てるからまあそこそこサクサクといえばサクサクかなって感じ LightChatAssistant最適化版、良くも悪くもまともになってる感があるな それこそランダムな画像からエロく見える方を選ぶ奴みたいなサービスを展開したほうがサンプルは集まりそう これローカルで動かせる猛者おりゅ？ https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1 command-r-plus、一旦出力し始めると4-5tokens/secで早いけど、出力を始める前の処理にかかる時間結構長くて、そこがきついな >>400 どっかで動かしてめちゃくちゃ人力で評価フィードバックさせたら進化とかすんのかな ある意味chatGPTはそれを真面目にやった結果では？ command-r-plus、メモリ40GBでは量子化されたファイルでも歯が立たなかった 基本macでunified memoryでかいの積んで動かすのが安上がりなんじゃないか？ >>390 を5950X、RAM64GB、4070Tiで動かして0.7T/s出るわ macをもう1台用意するのは面倒でなぁ… >>409 >>399 みたいなのが安かったりして >>408 Windows11proにしてメモリ2TB乗せれば解決や！ command-r plusの4bit量子化版やけど command-r plusの日本語性能に慣れてしまってもう他じゃ満足できなくなってしまった というか、cohereには70Bくらいの中型モデルを出して欲しい ■ このスレッドは過去ログ倉庫に格納されています
