なんJLLM部避難所 ★10

771コメント309KB

なんJLLM部避難所 ★10

2026/01/16(金) 05:31:22.71ID:763twXpD0

>>760
設定の問題だったりseedの問題だったり
他に何か思い当たる原因がある感じ？

0763名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fc6-SzXM)

2026/01/16(金) 09:18:02.88ID:hP+canZw0

今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や

0764名無しさん＠ピンキー (ﾜｯﾁｮｲ 7236-YDYy)

2026/01/16(金) 09:48:48.60ID:SL230Bd20

amaterasuってどんなやつや？と見たら123Bやん
IQ1Sでも26GBあるし
そらデカすぎてまともに動かんですわ

0765名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)

2026/01/16(金) 10:11:42.86ID:GfBjxY3wr

メモリ64gb積んでんなら行けるじゃん

0766名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-KoMk)

2026/01/16(金) 10:46:37.64ID:khTupJvD0

moeじゃないならそんなもんですわ

0767名無しさん＠ピンキー (ﾜｯﾁｮｲ 33a8-UsWw)

2026/01/16(金) 11:05:43.79ID:q1kks11j0

SillyTavernでAratako氏のMistralPrism-24B使ってるわ
日本語力高い

0768名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-cVtm)

2026/01/16(金) 11:12:15.10ID:sNseSJJI0

>>763
その構成ならqwen next 80bの規制解除版Q5_k_mがお勧め

0769名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd12-UW4l)

2026/01/16(金) 11:42:22.06ID:RzBIoy0Nd

RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。

0770名無しさん＠ピンキー (ﾜｯﾁｮｲ ff10-KtG4)

2026/01/16(金) 12:42:42.95ID:OlPZQfK10

DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い

0771名無しさん＠ピンキー (ﾜｯﾁｮｲ 7236-YDYy)

2026/01/16(金) 12:48:45.28ID:SL230Bd20

コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ

新着レスの表示

レスを投稿する