なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/ デンスだとして個人的にはkvキャッシュのほう外に出してる お絵かき方面は良さげかもだけどLLMには1枚買っても仕方ない気がする RTX5080シリーズよりLLM動かすのに良いのってある？ >>716 本当にLLMしか使わないならMac Studioのユニファイドメモリ積みまくり（最大512GB）だろうね 僕は4070Ti SUPER使ってたところに5060Ti買い足しました 716だけどありがとう Macは機種によってメモリ帯域幅が違うから、なるべくMac Studioね https://www.apple.com/jp/mac-studio/specs/ https://www.apple.com/jp/macbook-pro/specs/ https://www.nvidia.com/ja-jp/products/workstations/dgx-spark/ 3090ダブルかM3ウルトラかめちゃくちゃ迷い始めた 内排気設計のハイエンドグラボ複数積みもそんな気軽ではないからよく計画してね 動画・画像生成もやるならCUDAが必須だね M5でMacのネックだったプロンプト評価速度がかなり向上してるみたいだから待てるならM5Ultraかなあ strix haloのソフトウェア周りがもう少し実用的になってくれたらなぁ あと、LM StudioがやっとGLM4.6サポートされてた >>722 >>729 >>730 >>712-713 セーフガードをコントロールモデルとな gpt-ossの元々naughty方面ガチガチな性質を操作するんじゃなく上乗せするだけのものと見た mradermacher/RAMEN-SHIO-235B-GGUF 大学院レベルの知識強化した学術特化かつDPOのみでチューニングしたモデルに何を試せと llama.cppでQwen3-VL使えるようになった～ LM StudioでBerghofとかMistral Prism使ってシチュボ台本作りたいんだけど、オホ声セリフ出してくれるモデルのおすすめある？ >>721 GLMはCommand A Reasoning 0825よりいいのかね 何周遅れか分からんけどgpt-oss-120bとopen Web UIにsearXNGでほぼ一昔前のOpenAIと言っていい環境をローカルで再現出来て満足 RTX買おうと思ってるけど、 OpenRouterのfreeモデルでエロに使えるのって何がある？ hiratagoh/SIP-jmed-llm-2-8x13b-OP-instruct-GGUF >>748 >>744 open routerはkimi k2が一応free版があるから使えるかもしれません >>750 >>752 kimi2とかってファインチューニングやらloraで脱獄はできんの？🤔 私はkimi k2は本家のapiでしか試したことはないのですが OpenRouterのkimi k2はモデル自体はあるけど9月中旬からほぼ使えなくなってるみたいだわ OpenRouterのフリーで日本語使えるモデルはほぼ全滅でしょ 俺はredditでわりと評判の良いnano-gpt.comに移行した 人気のない小規模LMならローカルで動くからプンルー要らんのよな open routerのkimi k2は有料だとinput $0.5,output $2.5と普通のapiと比べれば 金払っちゃうんだったらKimiよりGLMのがいいけどな >>760 わいはchutesを使ってるわ これからは子供がクリスマスにグラボをお願いする時代になるんだろうな grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？ 俺はローカルllmやるで そうなんか、そう言われるとやってみたくなるな。 ローカルで動かすことそのものが目的みたいなところはある >>773 パーツ高騰でもう買い替え無理だし 今からやるならPCを分けたほうがいいと思うよ >>721 >>773 >>775 >>776 >>779 >>774 高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない やっぱmac studioになるのか？ >>784 RTX xx90系を2枚刺しはあまり現実的ではないよ 複数台マシンで分散させて動かすのはあんま流行ってないかんじ？ 正直ポテンシャルはエグくないと思うけどなー うーん775だけどmac再燃しはじめたな 4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな ええ!?RTX5090を複数刺ししたいって!? MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる Mac m3 って96gbメモリでもファインチューニングとかできるんかな 5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。 aquif-ai/aquif-3.5-Max-42B-A3B 5090ってどれくらい電気使うの？１０００Wじゃ足りない？ 5090の1枚だとLLM用途には非力 あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる >>797 モデルを学習させたいのならRTX、 みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。 学習させようとなるとローカルではさすがにきびしい LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？ RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？ 難しいのかぁ >>802 >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
