なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ >>153 >>150 >>80 のモデルを普通にQ6とかで量子化したけどダメだった >>149 流石にエロ小説をいきなり出すのは厳しいか…… すごいなこいつ 全般の能力に関しては納得できるんだけど、日本語単体の能力でみても日本語特化モデルより能力高い感じしない？ ああ、でもそもそも世の中の日本語モデルは事前学習自体はほぼ英語ってのも影響してるか くそっ、2年前の俺。 7Bモデルなら別にCPUで動かしてもそれまでちゃうかな command-r+はまだllama.cppに完全対応してないっぽいね そういえばデータセットはcommand r+とかに出力してもらえばいいのか。 動かせる環境がある奴ならな・・・ 4bqのCMDR+がこのスピード、M2 Ultra欲しくなりますなぁ……。 https://twitter.com/awnihannun/status/1776081238467768493 3bqならうちのmacでもギリギリ動かせそうだが、劣化が気になる >>162 そういや>>80 の手法、0.8掛けて重み足してるけどそのままでいいのかな >>80 のモデルの名前が長い、というのをいくつか見かけたのでもっと短い名前を付けようと思います >>179 メインメモリ128GB自体はまだ現実的 >>180 >>184 やるとしたらRunpodとかのサービスでクソデカサーバ借りてマージするとかかな >>179 避難所これどこの板なんやろ防弾とかなんかな？と思ったらPINKで hentaiスレ一覧の中にポツンとあんの笑う 女になりきってオナニーするスレ ★2 しかもこのスレが一番勢いあるという 本スレの方はどうすんだ？ スクリプトが埋めると思うけど次スレはなしかね 誰か立てたら残る >>178 light chat assistantでいつもの嫁を設定。エロ可能嫁完成。 >RunpodでGPUサーバを借り、A6000x4で学習を行いました。 >>195 >>195 >>199 Aratako/c4ai-command-r-v01-japanese-instruct >>199 残念 ああ、ていうかアーキテクチャが違うのか llama.cpp server叩いたけどunknown architectureだね Add Command R Plus supportっていうPRが進行中だからもう少し待ちだね latest releaseが1時間前とかだからいけるかと思ったけどダメという >>80 KoboldcppのビルドがWindowsで上手くいかん OPENBLASならビルドできたからこれで一旦満足するか… LLMじゃなくて画像生成(SD)のほうだけどRunpodでA100 80gb使ったことある >>149 https://github.com/ggerganov/llama.cpp/pull/6387 >>80 >>214 >>215 2x7Bだからその辺りはある程度割り切るしかない気がする >>216 ローカルの最大の強みは返信を書き換えられることや >>208 >>215 >>217-219 避難所に案内されたわけですが、軽量でいいのがあるとのことですがどれのことなんだろう… >>225 ここのニキらには不要っぽくはあるんやが https://github.com/Zuntan03/EasyLightChatAssistant >>228 最初q8のものを落として使ってみましたがVRAM15gb使ってたのでQ4kmってやつにしてみますね。 >>230 >>228 を試してみるとええかもしらんで 全部消して228のを入れようとしたらこういわれました https://files.catbox.moe/vr2l4z.png >>233 https://files.catbox.moe/ogijxs.png >>233 LightChatAssistantを別データセット使って追加でインストラクションチューニングするの試してみたんだが良くも悪くもまともになってしまった >>234 >>228 >>235 >>234 話者の名前が英語になってるとそっちに釣られるとかあるで mlxでcommand r plus 4bit版動かしてるMac使いおらん？ LightChatAssistant使う用のガイドならInstruct Templateの変更にも触れておいた方がいいんじゃない？ 日本語でお願いしますって言ったらたまーに日本語で返してくれますね… >>238 >>239 https://files.catbox.moe/9woqzo.png 肝心なの忘れてた、コマンド画面だとその後も書いてあるんですがwebui上だとちょっと前で止まってるんですけどなんなんでしょうか… あとiQ3_SやiQ4_XSも精度劣化の低さの割にサイズが小さいのでおすすめ https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547 >>243 ワイの環境やとAllow Editingを有効にした際に{{[INPUT]}}と{{[OUTPUT]}}や[INST]と[/INST]があると英語になってしもうてる気がするで >>243 >>247 ふむ、Instruct Tag Presetを変えて試してみたがどうやらVicuna以外にすると英語になったりならかったりするようだ それと最後の1行が出ないのは、Settings→Advanced→Trim Sentencesをオフで治らないかな 訳わからんカット編集せずウィンドウ全体を貼ってくれw >>241 指摘サンガツやで >>243 >>248 >>249 >>250 >>252 >>216 ちょい前のだけど、Koboldcppの公式WikiをDeepLに突っ込んで翻訳したやつ https://rentry.org/rmeut8xs >>253 >>254 ■ このスレッドは過去ログ倉庫に格納されています
