なんJLLM部 避難所 ★10
>>663
AI特需で今は良いけど巨額を出して買ってくれてるのは世界で数社だけ
しかもGoogleなど自社でTPUを開発してそろそろ売り出しそうな勢い、お客がライバルにクラスチェンジする
特需と顧客がライバルになった時、他の市場を持ってないと長期ではかなり危ういんじゃない？
ただメモリとかすごく高いしPCそのものから人が離れたらどうするのかって問題はありそうだけど
AIに相談したらPCが高級品にになると、多くの人はスマホとかやすい端末でクラウド使うのが当たり前になるみたいな予想もあったけどな >663
今の立場で儲けを優先すること自体がメリットは少なくデメリットが山盛りの潜在的大ダメージ戦略でしょ
慈善事業をバンバンやらなきゃ独占禁止法が飛んでくる 中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ
メモリ不足とか中国の企業が想像以上に頑張って暴落するかと思ってたけどPC関連ますます下がらなくなりそうだな AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に
https://gigazine.net/news/20260107-amd-comfyui-rocm/
期待できるか分からないけど色々出来るようになったらいいな radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか
大差付くなら良いよね VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ
ところでCUDAは19年前から使えるんだけど今まで何してたん？ ROCmは元々AMD Instinctとかの業務用GPU向けだったから
コンシューマーしか使わないWindowsは眼中になかった模様
PCでローカルAIを動かすのが流行り出したのはほんの数年前の話 Rakuten AI 700Bか、なかなかやるな三木谷 LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな
このサイズにしては中々やりおる https://www.youtube.com/shorts/odx5NLbYz8g
半導体の拡大画像だけど、これってフェイクではなく本物かな？
最近、半導体がやたらと高いけど、それでも個人の予算で買えるってなんか不思議な気がするわ
こんなのどんなに頑張っても自作できる気がしない
更に、エロの為にこんな高度な技術を使うってのも何かもっと他に使い道ないのかと思ってしまう LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある
意味わからんくらい爆速で動くし、個人でFinetuningできるのは面白そうだけどデータセットがねぇ…… LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで
実用性はどう使えばいいかわからん いまどきは自宅のラボで作ってみたする奴もいるらしいぞ 小規模モデルの性能が上がってくるとそれはそれでワクワクするな 5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで 会話らしい会話が出来る性能ではないがゲームでどう使うの 実例が今あるのかわからんけど
もしやるならガッチガチにファインチューンしたら
ゲーム内の話題だけならまともな応答返すくらいは一桁bでも出来そうな気はする スマホで小型モデルを動かすのが理想だけど
どうせネット繋がってるんだから大型モデルに繋いだほうが早いってね ChatGPTを使ってるゲームはあるけど
ローカルLLMを使ってるゲームは今のところなさそうだよな やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？ >>691
あれってchatgpt以外のAPって使えないのかな？
macでAP発行してローカルで使うとかできんかな LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか ローカルLLM使ったゲームはすでにたくさんあると思うよ
llama.cppを組み込むだけだし軽くググってもそれっぽいのが出てくる >>691
FANZAにあったで
需要ないのか100円足らずで売られてた Cerebrasがzai-glm-4.7の無料Tierを公開したで
激烈に速いで
https://www.cerebras.ai/blog/glm-4-7 Free TierでRPD=100か
性能もGemini3Pro並なら代替になるんやが >>699
すごい
今までクオリティと速度を両立してたのってGemini Flashだけだったけど
これは段違いに速いうえにクオリティも高い これはモデルが早いというよりはハードウェアが超特殊だからな・・・。
確か一枚数億とかだったよなCerebrasのユニット Cerebrasは半導体ウェハを切り取らずにそのまま使ってる
どんなマザーボードに載せてるんだろ
https://i.imgur.com/33194P8.jpeg >>680
>>681
実際、この縮尺って合ってるのかね？
ちょっとした寒気みたいなものを覚えたんだけど >>699
試してみたらGLM4.7で330tok/出てて笑うしかなかった。これはもうハードウェアの暴力としか言いようがないな。 