なんJLLM部 避難所 ★8
データセット用意してくれたのは素晴らしいのでは
これ自分で絞り込んで学習するためのノウハウってどの辺参考にすればいいんだろう Amaterasuは自分の使い方だとかなり良い感じなんだが流石にデカすぎて推論遅くて常用にはきつい
やっぱでかいモデルはMoEじゃないと一般人的にはきついわ
ただMoEは推論は軽いけど学習のコストはデカさ相応なんだよな、日本の個人勢がMoEの学習あんまりやってないのもコスト関係な気がする またゴミモデルでHFのストレージを無駄使いしているのか 