なんJLLM部 避難所 ★10
オーバークロックって言っても電圧上げない限り物理的に壊れることなんてほぼないよ」 定格で使ってても壊れるのがPCパーツなわけだから、OCするかしないかは保証を捨てるか捨てないかって話では Qwen3.5でーへんなぁ RTX5060TiでLMstudio使用で、固定キャラとして育てるチャットアバターでオススメなLLMモデルある？ 「んっほぉぉぉおおおぉぉぉおおお！」(少し照れながら) CPUやGPUの製品は性能にばらつきがあって、一番最低の能力を製品につけている。 >>646 新品の３０６０をいくらなら買う？10万出すやついる？ VRAM小さすぎてそもそもLLMでは使えないかと 3060VRAM12GB×４＝48GB＋4090VRAM24GB＝VRAM72GBでLLM動かしてるけど 4090VRAM24GB×４だと電源がもたないのでは？ >>649 >>654 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった 4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。 mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ NVIDIAにとってコンシューマ向けGPUなんて慈善事業 AIバブルにあぐらかくわけにもいかんやろ >>664 >>658 >>663 >663 中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に https://gigazine.net/news/20260107-amd-comfyui-rocm/ radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ ROCmは元々AMD Instinctとかの業務用GPU向けだったから Rakuten AI 700Bか、なかなかやるな三木谷 LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな https://www.youtube.com/shorts/odx5NLbYz8g LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで いまどきは自宅のラボで作ってみたする奴もいるらしいぞ 小規模モデルの性能が上がってくるとそれはそれでワクワクするな 5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで 会話らしい会話が出来る性能ではないがゲームでどう使うの 実例が今あるのかわからんけど スマホで小型モデルを動かすのが理想だけど ChatGPTを使ってるゲームはあるけど やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？ >>691 LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか ローカルLLM使ったゲームはすでにたくさんあると思うよ >>691 Cerebrasがzai-glm-4.7の無料Tierを公開したで https://www.cerebras.ai/blog/glm-4-7 Free TierでRPD=100か >>699 これはモデルが早いというよりはハードウェアが超特殊だからな・・・。 Cerebrasは半導体ウェハを切り取らずにそのまま使ってる https://i.imgur.com/33194P8.jpeg >>680 >>681 >>699 最近始めた人は、日本一高い山は？って質問に富士山って答えられるかでＬＬＭの性能見ればいいよ >>709 >>709 ワイは 文章の良し悪しを判別すること自体も難易度が高いタスクなんだよな 自分の得意な専門分野の事を聞いたら良いんじゃない？ エロ画像を認識させて画像の内容をエロく説明させたいんだけど、おすすめの環境ある？ 初心者はLM Studioが良いよ ありがとう slmが凄いとかいう風潮やめて欲しいわ SLMは色々な用途で普通に役に立ってるし 釣りタイトル文化に問題があるような AI驚き屋ってのがある ラズパイとかが好きなタイプの連中が騒いでるんじゃね SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね >>729 ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組 軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな qwenやgpt-ossなどMoEだとGPUは1枚で十分 SLMでフィジカルAIって好きな特徴の女がいたらパシャパシャしまくるデバイスとかそんな奴やろ？ ryzen haloってのはcpuオンダイメモリなん？ 3060復刻、DDR4復刻、AM4復刻 >>726 一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな OpenAIが数年分のメモリの大量発注かける DRAM事業はハイリスクハイリーターンだからな 破滅的忘却のせいでAIの性能に限界が出てくる >>745 >>744 ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ >>747 べつにリソースを食い潰してるわけではないだろ >>749 >>751 誰のせいかと言えばトランプ関税のせいでしょう 旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。 そのうちメモリ2Gも積んでるなんてスゲーみたいになるのか 今SSDもヤバい事になってきてんだよね だいたい悪いことは中国のせい 正月だったかパソコン工房でSSD4TBが3万円台で売ってけど買っとくべきだったな >>751 【本文】↓ llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで >>760
