なんJLLM部 避難所 ★9
俺はそもそも24bモデルをmistral smallしか知らないかもしれない Llama.cppのQwen3 Next対応がようやっと終わりが見えてきたで
こっちがCPU対応で
https://github.com/ggml-org/llama.cpp/pull/16095
こっちがCUDA対応なんやろか？ いまいちよくわかっとらんが
https://github.com/ggml-org/llama.cpp/pull/17063
上のは実装終わっとって下のも今レビューに入ったようや
今のところ動かすのを優先してて実行速度は見てないそうなので遅いかもわからんけど
Qwen3.5が来る前に実装終わりそうでよかったわ Qwen3 nextって対抗馬であろうgpt-ossの120BとかGLM 4.5 Airとか比較してどうなん？ Qwen3 Nextってアクティブパラメーター3Bだから
もっと小さいサイズのモデルとの比較になるかな >>844
Mistral Smallを推す人は小説派なんかな？
ロールプレイチャットだとQwen系の方が比較的自然なやり取りになると思ったけどな
喘ぎ声強化プロンプトもQwQは効いてるのにMistral Smallはなんかいまいちだった
Qwen3はそもそもエロ検閲が厳しすぎて諦めたけど 