なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ >>271 全文としては >>273 llama.cppがまだ新アーキテクチャーに対応し切れてない可能性もあるから、とりあえずmasterがリリースされて上手くいかなかった時に考え直すよ 話してる内容と出力させた内容のギャップが酷いwwwww >>265 >>277 >>278 そういやCommand Rは話題になるけどその前に発表されてたDBRXはあんま話題にならんなって思ってたけど LightChatAssistantの4x7Bへの拡張版作ってる人いたから試してみた https://huggingface.co/Aratako/LightChatAssistant-4x7B-GGUF https://rentry.org/ah7izzvt >>66 の2x7Bの結果と見比べると日本語の自然さ上がってそうな雰囲気 >>281 >>228 Koboldcppの出力トークンはなぜかバー上だと512までしか動かせないけど Koboldのexeを起動してLaunch押す前の設定画面でtokenの数字を増やしておけば次回起動でも楽になる >>284 >>285 >>286 EasyLightChatAssistantに >>281 の4x7B Q4_K_M対応いれといたで https://github.com/Zuntan03/EasyLightChatAssistant superswallowとMoEしてた人のモデルなら期待できそう モデルの能力の定量化でいろんな指標出てきてるけど 専用のプロンプト用意してそれを元に回答させて、別のLLMで評価させるのが一番ありかな 人間の感性に響くか否かを定量評価出来たら苦労しないわな まあ倫理力のなさなら定量化できそうだけどどう考えてもこれ下回ったら許さんみたいな運用しかされんやろな 自前のマージモデルが増えてきたんで倉庫替わりにhfにアップしたら怒られるかな？ >>285 >>286 >>287 >>295 >>296 >>285 と>>287 もそれを指している >>298 Max Ctx. Tokensはコンテキストサイズ SillyTavernでcomand r+使うのにはオープンルーターなるものを使えばいいんです？ macがHBM256とか積んでLLM番長にならねえかなあ >>281 Sdff-Ltba氏のアプローチは https://rentry.org/7ukv2kcp >>281 てゆうか、import torchで一気にモデルを読み込んでから処理するからメモリ足りなくなるんだよね？ >>308 手元で同じレシピで作ったMoE前のモデル単体で試したりしたんだけど、Antlerの方はChat Vector足してもあんまり指示に従う能力獲得できてなさそうだったんだよね マージでメモリ足りないなら、OSの仮想メモリを速いSSD上に200GBぐらい作るんじゃだめなのかな。 AntlerのChatVector版をテストしたときはすごく驚いた思い出 LightChatAssistantにまともなデータで追加のインストラクションチューニングとかもちょっと試してみたんだが、出力が急にまともになっちゃってエロ系あんまり出さなくなったり普通のモデルにだいぶ近づいちゃったんだよな かなり初歩的な質問で申し訳ないのですが >>308 HFにディスカッション立てたんだけど、llama.cppでcommand-r-plusのimat量子化読む時にエラー吐いて読めない問題にあたってるやつおらん？ https://huggingface.co/dranger003/c4ai-command-r-plus-iMat.GGUF/discussions/7 ちなみに、一応報告 >>273 >>274 https://github.com/ggerganov/llama.cpp/pull/6491 >>314 >>319 >>314 >>318 >>323 エロの文脈でもキャラ設定とか世界観設定を上手く使おうとするとRAGっぽい実装になるんかな 続かせたいのに※この文章はフィクションです〜とか後書きみたいな文が出てくる時ってどうしてる？ imatrixのtraindataは日本語モデルなら日本語の方がいいらしいと聞いたが >>308 >>305 のメソッドも面白そうだし >>319 >>321 >>322 >>330 http://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/ >>323 >>333 Pulled and merged new model support, improvements and fixes from upstream. (Note: Command R Plus support is not yet included yet, it may be added in a future patch release.) 赤ちゃんだからkoboldが実行環境としてなにやってくれてるのか未だに理解してない R＋は64Gでの70Bの遅さが我慢できるのならIQ4_XSがよさそうだな llama.cpp更新されて、mainブランチでcommand-r-plusサポート追加されたっぽいね koboldうぷで早すぎーｗ >>342 m3studio256盛りultra1200帯域とかいつ出るんやろ ありゃ？ ああ、てゆうか結合する必要なかったのね こいつしりとりできるね IQ3_xxsは9.3GBでIQ4_xsは12.9GBだから 最近ちょいちょい遊んでるプロンプト https://i.imgur.com/BIpsJsQ.png うーん、ダメだ llama-cpp-pythonもgithubの方はcommand-r-plus対応したわ 赤ちゃんレベルの超初心者ですまないんやが >>169 のどのファイルをダウンロードしたらいいのか分からん… >>357 https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B-GGUF >>358 ありがとう。GGUFじゃない方見てたわ >>358 >>359 もしかしてLlamacppの最新で使えないってことだろうか >>360 >>361 そうなんだ。GGUFのほう入れとくわ。ありがとう。 >>363 >>365 >>366 >>367 >>149 の話？ どこかで見たと思っていたらそれだ！ありがとう Sdff-Ltba/LightChatAssistant-2x7B-GGUF ■ このスレッドは過去ログ倉庫に格納されています
