なんJLLM部 避難所 ★8
Amaterasuは自分の使い方だとかなり良い感じなんだが流石にデカすぎて推論遅くて常用にはきつい
やっぱでかいモデルはMoEじゃないと一般人的にはきついわ
ただMoEは推論は軽いけど学習のコストはデカさ相応なんだよな、日本の個人勢がMoEの学習あんまりやってないのもコスト関係な気がする またゴミモデルでHFのストレージを無駄使いしているのか めっちゃシンプルにQwen以外のモデルをベースにやった方が良いモデルになったんじゃという感じはある
同じくらいのサイズで言うとMistral Nemoとか 100B超の大きめのモデルは量こそ正義だから多少ゴミ突っ込んでもいいけど小型モデルは学習データ選別しないとアホになるだけだからな 今更ながらChatGPTの読み上げ機能を使ってみたんだけど漢字の読みがめちゃくちゃで使い勝手が悪すぎるな
合成音声なら当たり前にある辞書機能がないと使い物にならんだろこれ >>866
記事中のMicrosoftと協力？ これのOS、Windowsじゃないよね
といってリーナスはnVidia大嫌いマンだから協力してくれなさそうw
あとバス幅が狭い。macどころかそろそろ普通のx86-PCにも抜かされる狭さ
128GByteのメモリーですら温度管理できないとかどんだけ実装の技術力ないんだ
5090のコネクターが燃えるわけだ 