なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/ https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/ AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に https://gigazine.net/news/20260107-amd-comfyui-rocm/ radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ ROCmは元々AMD Instinctとかの業務用GPU向けだったから Rakuten AI 700Bか、なかなかやるな三木谷 LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな https://www.youtube.com/shorts/odx5NLbYz8g LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで いまどきは自宅のラボで作ってみたする奴もいるらしいぞ 小規模モデルの性能が上がってくるとそれはそれでワクワクするな 5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで 会話らしい会話が出来る性能ではないがゲームでどう使うの 実例が今あるのかわからんけど スマホで小型モデルを動かすのが理想だけど ChatGPTを使ってるゲームはあるけど やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？ >>691 LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか ローカルLLM使ったゲームはすでにたくさんあると思うよ >>691 Cerebrasがzai-glm-4.7の無料Tierを公開したで https://www.cerebras.ai/blog/glm-4-7 Free TierでRPD=100か >>699 これはモデルが早いというよりはハードウェアが超特殊だからな・・・。 Cerebrasは半導体ウェハを切り取らずにそのまま使ってる https://i.imgur.com/33194P8.jpeg >>680 >>681 >>699 最近始めた人は、日本一高い山は？って質問に富士山って答えられるかでＬＬＭの性能見ればいいよ >>709 >>709 ワイは 文章の良し悪しを判別すること自体も難易度が高いタスクなんだよな 自分の得意な専門分野の事を聞いたら良いんじゃない？ エロ画像を認識させて画像の内容をエロく説明させたいんだけど、おすすめの環境ある？ 初心者はLM Studioが良いよ ありがとう slmが凄いとかいう風潮やめて欲しいわ SLMは色々な用途で普通に役に立ってるし 釣りタイトル文化に問題があるような AI驚き屋ってのがある ラズパイとかが好きなタイプの連中が騒いでるんじゃね SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね >>729 ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組 軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな qwenやgpt-ossなどMoEだとGPUは1枚で十分 SLMでフィジカルAIって好きな特徴の女がいたらパシャパシャしまくるデバイスとかそんな奴やろ？ ryzen haloってのはcpuオンダイメモリなん？ 3060復刻、DDR4復刻、AM4復刻 >>726 一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな OpenAIが数年分のメモリの大量発注かける DRAM事業はハイリスクハイリーターンだからな 破滅的忘却のせいでAIの性能に限界が出てくる >>745 >>744 ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ >>747 べつにリソースを食い潰してるわけではないだろ >>749 >>751 誰のせいかと言えばトランプ関税のせいでしょう 旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。 そのうちメモリ2Gも積んでるなんてスゲーみたいになるのか 今SSDもヤバい事になってきてんだよね だいたい悪いことは中国のせい 正月だったかパソコン工房でSSD4TBが3万円台で売ってけど買っとくべきだったな >>751 【本文】↓ llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで >>760 今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？ amaterasuってどんなやつや？と見たら123Bやん SillyTavernでAratako氏のMistralPrism-24B使ってるわ >>763 RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。 DRAM活かすならMoEモデルだから確かにこのへんか コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
