なんJLLM部 避難所 ★9
レス数が900を超えています。1000を超えると表示できなくなるよ。
>>908
ここから先はVRAMを48GB、96GBと上げていくか
ユニファイドメモリの糞高いMacやDGXを買うかの二択になる
庶民には無理だから諦めがつく感 tbはテンソル並列でもしなきゃあんま問題ないと思うlanは分かんねえ thunderbolt 5で直結したらテンソル並列でデカいモデル動かせたらメインpcとは別のサブやノートも活かせるから面白いかなと思ったけど難しそうなんやね… GPUクラスター構築はPCでもできるっぽいが、ネットの情報が少なくて
Linuxの知識必須なのが一番の壁になりそう >>911
推論だけでいいならllama.cppのrpcが結構使えるよ
rtx2060sとrx6600のpcをlanで繋いで24bのiq4_xsが15t/s出てる
224gb/sのgpuで動いてること考えれば結構な数字だと思う この記事を書いてるやつはアホなのか、Llama-3.3って自分で書いててリコーが作ったわけじゃないってわからないのか
リコーが日本語性能でGPT-5に匹敵する金融特化型LLMを開発、業務遂行能力を強化
https://xtech.nikkei.com/atcl/nxt/news/24/02874/?n_cid=nbpnxt_twed_it ファインチューニングしたら開発ってのは日本のAIの常識だから 日本では皆おっさんを騙して楽にカネ引っ張ってくることしか考えてない
頑張っても収入が増えないから当たり前っちゃ当たり前 しかもそのベンチがとっくの昔にサチってて一定以上のモデルだと差が出ないElyza-tasksとJapanese MT Benchっていうね 金出すおっさんも無知だから夢を買えればそれでおっけーなので何も問題ないな
素晴らしい国で涙が出てくるよ >>913
超巨大のモデルでないなら結構使えるんかね、ありがとう。ゲフォラデ異種混合でできるのすごいな。 リコーが自社の金でやるんだからファインチューニングでってのは何も間違いではないんだけど
公金使ってやるのが微妙な性能のファインチューニングなのマジで残念すぎる
それも数社に予算が分散しててそれぐらいしか出来ないって理由もあるから金の使い方としても終わってる
一社に100億ぐらいで日本語モデル作れって言いたいけど今は100億でも足りないんだろうな メモリの値段が笑うしかないな。
夏に64x2を4万ちょいで買ったが、もう1セット買っておくんだった。 DeepSeek-R1、Qwen3 235B、gpt-oss-120b、GLMとかの高評価モデルを日本語ファインチューニングするところがないのは
技術的な問題なのか、それとも金がかかりすぎるからなのか 正直よくわからん会社の小規模モデルに金出してもな PFNとかたった5Tトークンで事前学習しましたとか公開してて悲しくなったよ
qwenは30Tトークンだし 10Tトークンで学習したモデルはfew shotで性能出る超高効率学習が可能になったと技術的に宣伝するような世界で5Tトークンはあまり厳しい
まずは日本語データセットの拡充を優先すべきやろ 中国語と英語の話者が日本語の数十倍なんだからかなり無理してでも日本語データ増やさないと日本文化消えるし、日本に不利なバイアスがかかるぞ
たった数年でLLMはインフラになりつつあるのに日本はほんまなにやってるだよ 今日も新興のベンチャーが80億調達したってのがニュースになってたけどやっぱり一桁足りないよなあ 東大の卒業生の志の低さは異常😅
リコーのも富士通のもNECのもそうだろ >>922
Qwen2.5 32Bとかも日本語追加学習モデルが出てきたのはだいぶ遅れてだったから、あと半年くらいしたらそのへん出るんじゃないかと思ってる
ただベースモデルの開発速度に追いついてないんだよなあ これからAI使ってゲノム解析とか新薬解析とか急激に人類の科学技術は進歩するのに、日本企業がこのザマだと頭痛い レス数が900を超えています。1000を超えると表示できなくなるよ。
