なんJLLM部 避難所 ★10
今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や amaterasuってどんなやつや？と見たら123Bやん
IQ1Sでも26GBあるし
そらデカすぎてまともに動かんですわ SillyTavernでAratako氏のMistralPrism-24B使ってるわ
日本語力高い >>763
その構成ならqwen next 80bの規制解除版Q5_k_mがお勧め RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。 DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ エロエロ特化のllmレンタルなら商売になるんでは？ 