4090VRAM24GB×４だと電源がもたないのでは？
>>649
4枚さしでexpo1設定で5600にしてメモリチェック回して問題なかったけど
なんせクソ高かったから精神衛生上安くなってからexpoに戻そうと思います 0657名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 10:05:59.43ID:kVrC8SoO0
>>654
それ、4090+メインメモリと比べてどの程度速度出るんだろ？ 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは
LLMは画像生成みたいに1枚に乗せきらなきゃいけない制約ないし
TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった
1台しか拾わなかったことが悔やまれる
0660名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd5f-PPr4)2026/01/06(火) 12:26:23.16ID:fmj2E9aGd
4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。
いざ届くとPCIeケーブルが足りないから電源ユニット追加注文したり、4060がマザボのコネクタに干渉することわかったからライザーケーブル追加注文したり
LLMのための工作はこれはこれで楽しいな
mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね
だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ
NVIDIAにとってコンシューマ向けGPUなんて慈善事業
いつ辞めてもノーダメージ
AIバブルにあぐらかくわけにもいかんやろ
ゲーマー市場キープしとかんと足元掬われるで
LLMの演算って専用チップ作った方が性能出せるってんで大手サービスは独自設計に移りつつある
>>664
革ジャンはGrokを買ったからそっちでも勝つつもりや 0666名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 13:52:38.64ID:kVrC8SoO0
>>658
NVLINKみたいなのならともかくPCIが遅いから枚数が増えれば増えるほど効率が悪くなると思う
もし無尽蔵に早くなるならH100とか買わずに12や16GBのカード大量に買えば良いわけだが企業がそうしてないわけだし
多分限界があるんだと思う 実際どこに限界があるのかわからないけど 0667名無しさん＠ピンキー (ﾜｯﾁｮｲ cf6f-F/Mu)2026/01/06(火) 13:56:21.97ID:hOIOeKTE0
0668名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 13:57:27.67ID:kVrC8SoO0
>>663
AI特需で今は良いけど巨額を出して買ってくれてるのは世界で数社だけ
しかもGoogleなど自社でTPUを開発してそろそろ売り出しそうな勢い、お客がライバルにクラスチェンジする
特需と顧客がライバルになった時、他の市場を持ってないと長期ではかなり危ういんじゃない？
ただメモリとかすごく高いしPCそのものから人が離れたらどうするのかって問題はありそうだけど
AIに相談したらPCが高級品にになると、多くの人はスマホとかやすい端末でクラウド使うのが当たり前になるみたいな予想もあったけどな >663
今の立場で儲けを優先すること自体がメリットは少なくデメリットが山盛りの潜在的大ダメージ戦略でしょ
慈善事業をバンバンやらなきゃ独占禁止法が飛んでくる
0670名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 20:55:30.64ID:kVrC8SoO0
中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ
メモリ不足とか中国の企業が想像以上に頑張って暴落するかと思ってたけどPC関連ますます下がらなくなりそうだな
0671名無しさん＠ピンキー (ﾜｯﾁｮｲ 7323-slrW)2026/01/07(水) 12:41:05.37ID:FS0KNYav0
radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか
大差付くなら良いよね
VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？
やっとWindowsでrocm使えるようになったんだ
ところでCUDAは19年前から使えるんだけど今まで何してたん？
ROCmは元々AMD Instinctとかの業務用GPU向けだったから
コンシューマーしか使わないWindowsは眼中になかった模様
PCでローカルAIを動かすのが流行り出したのはほんの数年前の話
Rakuten AI 700Bか、なかなかやるな三木谷
0679名無しさん＠ピンキー (ﾜｯﾁｮｲ 636b-Che8)2026/01/08(木) 10:38:07.66ID:M6Ah6DRS0
LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな
このサイズにしては中々やりおる
0680名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fac-XxT8)2026/01/08(木) 12:50:01.03ID:SSPBWWsE0
0681名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f07-SX/8)2026/01/08(木) 13:39:01.67ID:QTqEB4/I0
CGですよ
詐欺に遭わんようにな
0682名無しさん＠ピンキー (ﾜｯﾁｮｲ 73a7-XxT8)2026/01/08(木) 16:01:11.57ID:qDkOWa730
LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある
意味わからんくらい爆速で動くし、個人でFinetuningできるのは面白そうだけどデータセットがねぇ……
LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで
実用性はどう使えばいいかわからん
0684名無しさん＠ピンキー (ﾜｯﾁｮｲ 636a-ER82)2026/01/08(木) 19:16:46.59ID:FVGHXFax0
頭悪いのそのモデル
いまどきは自宅のラボで作ってみたする奴もいるらしいぞ
0686名無しさん＠ピンキー (ﾜｯﾁｮｲ 3332-FNoR)2026/01/08(木) 21:42:27.44ID:5QVndZy40
小規模モデルの性能が上がってくるとそれはそれでワクワクするな
5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで
会話らしい会話が出来る性能ではないがゲームでどう使うの
実例が今あるのかわからんけど
もしやるならガッチガチにファインチューンしたら
ゲーム内の話題だけならまともな応答返すくらいは一桁bでも出来そうな気はする
スマホで小型モデルを動かすのが理想だけど
どうせネット繋がってるんだから大型モデルに繋いだほうが早いってね
ChatGPTを使ってるゲームはあるけど
ローカルLLMを使ってるゲームは今のところなさそうだよな
0692名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/09(金) 08:06:00.67ID:4HlRfj7C0
やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？
0693名無しさん＠ピンキー (ﾜｯﾁｮｲ 636a-ER82)2026/01/09(金) 08:54:24.24ID:uQ17JKwQ0
いやー無理だろ
>>691
あれってchatgpt以外のAPって使えないのかな？
macでAP発行してローカルで使うとかできんかな 0696名無しさん＠ピンキー (ﾜｯﾁｮｲ 231e-XxT8)2026/01/09(金) 11:27:25.15ID:mNJOAcl90
LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか
0697名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ff8-yDMQ)2026/01/09(金) 11:34:42.40ID:ijDoORFo0
ローカルLLM使ったゲームはすでにたくさんあると思うよ
llama.cppを組み込むだけだし軽くググってもそれっぽいのが出てくる
0698名無しさん＠ピンキー (ﾜｯﾁｮｲ 53d0-F/Mu)2026/01/09(金) 14:18:27.68ID:SpJSB7Fb0
>>691
FANZAにあったで
需要ないのか100円足らずで売られてた Free TierでRPD=100か
性能もGemini3Pro並なら代替になるんやが
0701名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fd5-s3Q7)2026/01/09(金) 18:07:58.26ID:PZmIb37G0
>>699
すごい
今までクオリティと速度を両立してたのってGemini Flashだけだったけど
これは段違いに速いうえにクオリティも高い 0702名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd5f-PPr4)2026/01/09(金) 18:29:48.22ID:EV20mKt7d
4.7Vか4.7-Airきてくれー
これはモデルが早いというよりはハードウェアが超特殊だからな・・・。
確か一枚数億とかだったよなCerebrasのユニット
0704名無しさん＠ピンキー (ﾜｯﾁｮｲ 7273-oSIQ)2026/01/10(土) 12:37:17.37ID:Wwd3v/Sq0
0705名無しさん＠ピンキー (ﾜｯﾁｮｲ 32ac-dyKC)2026/01/10(土) 13:47:59.81ID:Yar5XSuB0
>>680
>>681
実際、この縮尺って合ってるのかね？
ちょっとした寒気みたいなものを覚えたんだけど