なんJLLM部 避難所 ★9
レス数が900を超えています。1000を超えると表示できなくなるよ。
>>913
超巨大のモデルでないなら結構使えるんかね、ありがとう。ゲフォラデ異種混合でできるのすごいな。 リコーが自社の金でやるんだからファインチューニングでってのは何も間違いではないんだけど
公金使ってやるのが微妙な性能のファインチューニングなのマジで残念すぎる
それも数社に予算が分散しててそれぐらいしか出来ないって理由もあるから金の使い方としても終わってる
一社に100億ぐらいで日本語モデル作れって言いたいけど今は100億でも足りないんだろうな メモリの値段が笑うしかないな。
夏に64x2を4万ちょいで買ったが、もう1セット買っておくんだった。 DeepSeek-R1、Qwen3 235B、gpt-oss-120b、GLMとかの高評価モデルを日本語ファインチューニングするところがないのは
技術的な問題なのか、それとも金がかかりすぎるからなのか 正直よくわからん会社の小規模モデルに金出してもな PFNとかたった5Tトークンで事前学習しましたとか公開してて悲しくなったよ
qwenは30Tトークンだし 10Tトークンで学習したモデルはfew shotで性能出る超高効率学習が可能になったと技術的に宣伝するような世界で5Tトークンはあまり厳しい
まずは日本語データセットの拡充を優先すべきやろ 中国語と英語の話者が日本語の数十倍なんだからかなり無理してでも日本語データ増やさないと日本文化消えるし、日本に不利なバイアスがかかるぞ
たった数年でLLMはインフラになりつつあるのに日本はほんまなにやってるだよ 今日も新興のベンチャーが80億調達したってのがニュースになってたけどやっぱり一桁足りないよなあ 東大の卒業生の志の低さは異常😅
リコーのも富士通のもNECのもそうだろ >>922
Qwen2.5 32Bとかも日本語追加学習モデルが出てきたのはだいぶ遅れてだったから、あと半年くらいしたらそのへん出るんじゃないかと思ってる
ただベースモデルの開発速度に追いついてないんだよなあ レス数が900を超えています。1000を超えると表示できなくなるよ。
