こっちでモデルとか聞かれるとは思わなかった！
モデルは「bartowski/Lumimaid-Magnum-12B-GGUF」だな
それの8bit量子化モデルである「Lumimaid-Magnum-12B-Q8_0.gguf」を使ってる
スペックってのがこれを動かしている環境ということであれば、クラウドのA6000を使ってtext-generation-webuiで読み込んでSillyTavernを使用・・・って感じかな
ただ8bit量子化ですら13GBだから、グラボと量子化の度合いで完全ローカルもいけるかもしれない
シチュエーション説明が英語であれば、低パラメータ数のLLMでもしっかり理解してくれるんだ・・・
>>852
これキャンバスの外でも出力できてるん？羨ましいわ・・・
俺がキャンバス外でやろうとすると申し訳祭りなんだけれど、知見があったら教えて欲しいぜ