なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ Koboldcppの出力トークンはなぜかバー上だと512までしか動かせないけど Koboldのexeを起動してLaunch押す前の設定画面でtokenの数字を増やしておけば次回起動でも楽になる >>284 >>285 >>286 EasyLightChatAssistantに >>281 の4x7B Q4_K_M対応いれといたで https://github.com/Zuntan03/EasyLightChatAssistant superswallowとMoEしてた人のモデルなら期待できそう モデルの能力の定量化でいろんな指標出てきてるけど 専用のプロンプト用意してそれを元に回答させて、別のLLMで評価させるのが一番ありかな 人間の感性に響くか否かを定量評価出来たら苦労しないわな まあ倫理力のなさなら定量化できそうだけどどう考えてもこれ下回ったら許さんみたいな運用しかされんやろな 自前のマージモデルが増えてきたんで倉庫替わりにhfにアップしたら怒られるかな？ >>285 >>286 >>287 >>295 >>296 >>285 と>>287 もそれを指している >>298 Max Ctx. Tokensはコンテキストサイズ SillyTavernでcomand r+使うのにはオープンルーターなるものを使えばいいんです？ macがHBM256とか積んでLLM番長にならねえかなあ >>281 Sdff-Ltba氏のアプローチは https://rentry.org/7ukv2kcp >>281 てゆうか、import torchで一気にモデルを読み込んでから処理するからメモリ足りなくなるんだよね？ >>308 手元で同じレシピで作ったMoE前のモデル単体で試したりしたんだけど、Antlerの方はChat Vector足してもあんまり指示に従う能力獲得できてなさそうだったんだよね マージでメモリ足りないなら、OSの仮想メモリを速いSSD上に200GBぐらい作るんじゃだめなのかな。 AntlerのChatVector版をテストしたときはすごく驚いた思い出 LightChatAssistantにまともなデータで追加のインストラクションチューニングとかもちょっと試してみたんだが、出力が急にまともになっちゃってエロ系あんまり出さなくなったり普通のモデルにだいぶ近づいちゃったんだよな かなり初歩的な質問で申し訳ないのですが >>308 HFにディスカッション立てたんだけど、llama.cppでcommand-r-plusのimat量子化読む時にエラー吐いて読めない問題にあたってるやつおらん？ https://huggingface.co/dranger003/c4ai-command-r-plus-iMat.GGUF/discussions/7 ちなみに、一応報告 >>273 >>274 https://github.com/ggerganov/llama.cpp/pull/6491 >>314 >>319 >>314 >>318 >>323 エロの文脈でもキャラ設定とか世界観設定を上手く使おうとするとRAGっぽい実装になるんかな 続かせたいのに※この文章はフィクションです〜とか後書きみたいな文が出てくる時ってどうしてる？ imatrixのtraindataは日本語モデルなら日本語の方がいいらしいと聞いたが >>308 >>305 のメソッドも面白そうだし >>319 >>321 >>322 >>330 http://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/ >>323 >>333 Pulled and merged new model support, improvements and fixes from upstream. (Note: Command R Plus support is not yet included yet, it may be added in a future patch release.) 赤ちゃんだからkoboldが実行環境としてなにやってくれてるのか未だに理解してない R＋は64Gでの70Bの遅さが我慢できるのならIQ4_XSがよさそうだな llama.cpp更新されて、mainブランチでcommand-r-plusサポート追加されたっぽいね koboldうぷで早すぎーｗ >>342 m3studio256盛りultra1200帯域とかいつ出るんやろ ありゃ？ ああ、てゆうか結合する必要なかったのね こいつしりとりできるね IQ3_xxsは9.3GBでIQ4_xsは12.9GBだから 最近ちょいちょい遊んでるプロンプト https://i.imgur.com/BIpsJsQ.png うーん、ダメだ llama-cpp-pythonもgithubの方はcommand-r-plus対応したわ 赤ちゃんレベルの超初心者ですまないんやが >>169 のどのファイルをダウンロードしたらいいのか分からん… >>357 https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B-GGUF >>358 ありがとう。GGUFじゃない方見てたわ >>358 >>359 もしかしてLlamacppの最新で使えないってことだろうか >>360 >>361 そうなんだ。GGUFのほう入れとくわ。ありがとう。 >>363 >>365 >>366 >>367 >>149 の話？ どこかで見たと思っていたらそれだ！ありがとう Sdff-Ltba/LightChatAssistant-2x7B-GGUF いくらMoEで推論は軽めとはいえ流石にデカすぎてロードができんｗｗｗ >>365 の検証できた >>149 の話の通り、最新Llama.cppで量子化したMoEモデルはKobold-v1.61.2だと読込エラーになる模様 >>322 最新版の方がMoEの推論早いみたいだしそっちの方がいいだろうな（2x7Bとかなら誤差なのかもしれんが） >>375 >>376 >>376 超初心者な質問ですまん >>379 >>376 0を1にした人も1を100にした人もどっちもめっちゃ偉いじゃんね？ >>376 ■ このスレッドは過去ログ倉庫に格納されています
