なんJLLM部 避難所 ★9
>>478
数ヶ月前までRinnaがやってたけどな最近は更新されてないか >>479
rinnaはdenseモデルしかFT実績がないな
MoEのFTは海外ではチラホラ見かけるが技術的に壁があるのかも知らん クソ真面目な話をすると仕事で売上予測とかやりたい場合にLLMのモデルって使うの？ >>482
アフィカス記事を量産するためにLLMが使われている 予測はboosting木とかの古典的機械学習とかDLのクラス分類とかじゃろ
メディア通すとまとめてAIやが ROCm 6.4.4リリースでようやっとRyzen AI Max+ 395.がサポートされたみたいね
これからローカルLLMて進展が出てくるの期待だわ llama.cppでもうすぐQwen3 Nextがサポートされそう 朗報やね。っていうか対応させるまで数ヶ月かかりそうとか言ってたはずなのに、技術者さんたち凄すぎんか nextの時点でだいぶ性能いいから3.5楽しみなんだよなぁ
そういう意味でnext対応しといてくれると3.5出たときに対応スムーズに行きそうやね Qwenのthinkingモデルはローカルでこれ使っていいのかって性能で驚くけど長考癖が不満やなあ 日本語エロ性能の更新が無くてすっかり真面目スレになってしまっているのが悲しい😭 https://github.com/MoonshotAI/K2-Vendor-Verfier
kimi K2がホスティングサービス毎のツール呼び出し成功率測ってたけどfp8とfp4で30%以上成功率下がるらしい
もしかして世間で言われてる以上に4bit量子化による性能低下って大きいのか? 4bitは結構性能下がるよ
あとtool coolingはコーディングみたいに1文字間違ったら動かない事が多いから量子化には元々厳しいと思うし
だからはじめから4bitしか公開されてないgptossがあの性能出てるのがすごい 