なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ >>214 >>215 2x7Bだからその辺りはある程度割り切るしかない気がする >>216 ローカルの最大の強みは返信を書き換えられることや >>208 >>215 >>217-219 避難所に案内されたわけですが、軽量でいいのがあるとのことですがどれのことなんだろう… >>225 ここのニキらには不要っぽくはあるんやが https://github.com/Zuntan03/EasyLightChatAssistant >>228 最初q8のものを落として使ってみましたがVRAM15gb使ってたのでQ4kmってやつにしてみますね。 >>230 >>228 を試してみるとええかもしらんで 全部消して228のを入れようとしたらこういわれました https://files.catbox.moe/vr2l4z.png >>233 https://files.catbox.moe/ogijxs.png >>233 LightChatAssistantを別データセット使って追加でインストラクションチューニングするの試してみたんだが良くも悪くもまともになってしまった >>234 >>228 >>235 >>234 話者の名前が英語になってるとそっちに釣られるとかあるで mlxでcommand r plus 4bit版動かしてるMac使いおらん？ LightChatAssistant使う用のガイドならInstruct Templateの変更にも触れておいた方がいいんじゃない？ 日本語でお願いしますって言ったらたまーに日本語で返してくれますね… >>238 >>239 https://files.catbox.moe/9woqzo.png 肝心なの忘れてた、コマンド画面だとその後も書いてあるんですがwebui上だとちょっと前で止まってるんですけどなんなんでしょうか… あとiQ3_SやiQ4_XSも精度劣化の低さの割にサイズが小さいのでおすすめ https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547 >>243 ワイの環境やとAllow Editingを有効にした際に{{[INPUT]}}と{{[OUTPUT]}}や[INST]と[/INST]があると英語になってしもうてる気がするで >>243 >>247 ふむ、Instruct Tag Presetを変えて試してみたがどうやらVicuna以外にすると英語になったりならかったりするようだ それと最後の1行が出ないのは、Settings→Advanced→Trim Sentencesをオフで治らないかな 訳わからんカット編集せずウィンドウ全体を貼ってくれw >>241 指摘サンガツやで >>243 >>248 >>249 >>250 >>252 >>216 ちょい前のだけど、Koboldcppの公式WikiをDeepLに突っ込んで翻訳したやつ https://rentry.org/rmeut8xs >>253 >>254 >>245 >>242 遊び方はまだうまくいかないけど何とか話できるようにはなってきました >>216 他 のべりすとやローカルでチャット形式をやる場合 llama.cppのforkでcommand-r-plus動かせるって話あったからiq3_xssやってみたけど、バグった返答しか返ってこないな command-r-plus IQ3_M動くようになった https://i.imgur.com/zkErkBu.png システムプロンプトっていうか、プロンプトフォーマットの問題かな？ >>266 >>223 >>254 うーん、やっぱり変なトークンが挿入されて内容がめちゃくちゃになる事が結構あるな >>268 >>267 の最後に<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>入れるとマシになるはず >>271 全文としては >>273 llama.cppがまだ新アーキテクチャーに対応し切れてない可能性もあるから、とりあえずmasterがリリースされて上手くいかなかった時に考え直すよ 話してる内容と出力させた内容のギャップが酷いwwwww >>265 >>277 >>278 そういやCommand Rは話題になるけどその前に発表されてたDBRXはあんま話題にならんなって思ってたけど LightChatAssistantの4x7Bへの拡張版作ってる人いたから試してみた https://huggingface.co/Aratako/LightChatAssistant-4x7B-GGUF https://rentry.org/ah7izzvt >>66 の2x7Bの結果と見比べると日本語の自然さ上がってそうな雰囲気 >>281 >>228 Koboldcppの出力トークンはなぜかバー上だと512までしか動かせないけど Koboldのexeを起動してLaunch押す前の設定画面でtokenの数字を増やしておけば次回起動でも楽になる >>284 >>285 >>286 EasyLightChatAssistantに >>281 の4x7B Q4_K_M対応いれといたで https://github.com/Zuntan03/EasyLightChatAssistant superswallowとMoEしてた人のモデルなら期待できそう モデルの能力の定量化でいろんな指標出てきてるけど 専用のプロンプト用意してそれを元に回答させて、別のLLMで評価させるのが一番ありかな 人間の感性に響くか否かを定量評価出来たら苦労しないわな まあ倫理力のなさなら定量化できそうだけどどう考えてもこれ下回ったら許さんみたいな運用しかされんやろな 自前のマージモデルが増えてきたんで倉庫替わりにhfにアップしたら怒られるかな？ >>285 >>286 >>287 >>295 >>296 >>285 と>>287 もそれを指している >>298 Max Ctx. Tokensはコンテキストサイズ SillyTavernでcomand r+使うのにはオープンルーターなるものを使えばいいんです？ macがHBM256とか積んでLLM番長にならねえかなあ >>281 Sdff-Ltba氏のアプローチは https://rentry.org/7ukv2kcp >>281 てゆうか、import torchで一気にモデルを読み込んでから処理するからメモリ足りなくなるんだよね？ >>308 手元で同じレシピで作ったMoE前のモデル単体で試したりしたんだけど、Antlerの方はChat Vector足してもあんまり指示に従う能力獲得できてなさそうだったんだよね マージでメモリ足りないなら、OSの仮想メモリを速いSSD上に200GBぐらい作るんじゃだめなのかな。 AntlerのChatVector版をテストしたときはすごく驚いた思い出 LightChatAssistantにまともなデータで追加のインストラクションチューニングとかもちょっと試してみたんだが、出力が急にまともになっちゃってエロ系あんまり出さなくなったり普通のモデルにだいぶ近づいちゃったんだよな かなり初歩的な質問で申し訳ないのですが >>308 ■ このスレッドは過去ログ倉庫に格納されています
