なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/ https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/ oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant https://github.com/SillyTavern/SillyTavern 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や http://localhost:5001/ ●多くのモデルには「base」と「instruct」の2種類があるで ●その他の最近話題になったモデルも挙げとくで https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで https://aistudio.google.com/apikey ここからできるで テンプレここまで、しばらく更新されてないから過去ログも参考にしてな スレ立て乙 https://lmstudio.ai/ ずっとkoboldcppなんやがLMstudioの方が何か優れてるのん？ 実行ファイルDL一発からの明快UIが圧倒的にエントリー向けなんや ワイもずっとkobold.cppやな intel環境だとlm studioは特殊な操作なしでNPUまで使ってくれるからノートパソコンで重宝してる >>16 ローカルLLMを使い倒すアプリを組んで動いたはいいが 立て乙 https://imgur.com/a/k7XR4fY アプリ作っているときが一番楽しいんだよな AIが直接見下すとかではないけど「あなたには無理です。こちらの方法をお勧めします。」と言われたことがあるな 連休で始めた初心者なんだけど、12GBのGPUメモリで動くRPが得意で特定の決まり事をシステムプロンプトで指定したら絶対に守るようなおすすめモデルってある？ >>24 スレ立て乙 誰か、文章を読解してdanboru語に翻訳するLLM作って、 googleのTPUがエヌビのGPUに取って代わる話が出てきてエヌビ株暴落してるな >>28 どんどんブレイクスルー起こしてほしいな 今自然言語の画像生成モデル増えてきてるんじゃないの？ booru語を使う理由ってアニメ系のイラストモデルを使いたいってことだろう lillymixとか自然言語対応やで 乳房を床に付けているプロンプトで、danboru語ではtop-down bottom-up, flexible, になる、これを文章を読んでこれのことだと変換してほしい GPTやGrokでもdanboru変換はできていない redditで見かけたけどQwen-image-edit-2511っていうのが来週来るらしい >●多くのモデルには「base」と「instruct」の2種類があるで >>38 >>39 12月入ったらGPTもエロ対応するしな >>40 ところでその環境でmistral24B系のQ8動かすとVRAM溢れてる状態だろうから、今のスピードに納得できてるならもっと大きいの動かしたほうがいい >>38 AIのべりすとは独自開発でやってきたけど最新モデルの中身はqwen2.5だという説があるぞ はえーそうなんだ。出来の良いオープンソースモデルが使えるならもはや独自モデルに拘る必要も無いのか… https://files.catbox.moe/pbpjh8.jpg ローカルにこだわらないでクラウドでもいいなら今更のべたん使う理由はないような ローカルLLMでdanboru変換するのは需要あるんじゃないか gpt-oss-120bで かつてGrokの動画生成でエロ解禁から一転してエロ禁止にしたり、GPTも5.1からさらに規制厳しくなったり、GoogleなんかもっとGoogle広告の時代からコロコロとルール変えたりしてるから、 信用できないというか今のAIは短期間のうちに仕様が変わりすぎる アップルがSiriにGemini使用 ローカルllmのロールプレイやりたくてデスクとノートで70B q4をllama のpp並列(Vram 合計56G)で動かせたんだけど、70Bのモデルで十分なんかな？まだsillytavern 入れてやり始めたばっかだから設定が悪いかもしれないが、まぁ同じ言葉繰り返したりしまくるんだよね。 >>53 llamacppのqwen next対応がようやくrebaseに入った・・・ >>54 >>56 dense系は高々70Bじゃないかなぁと思う このスレで聞くことなのかわからんが知ってたら教えてほしい 3か月前に色んな言語モデル使ってollamaで動かしてたけど調整が下手でアスペ回答ばっかで結局うまくできなかった >>59 >>56 >>57 >>63 ハマると楽しいで、がんばれー >>46 ・Lumimaid-Magnum-12B Openrouterのステルスモデルがmistralの新しいモデルという噂があるね >>59 Grok4.1ですらエロガバガバな以外は微妙なんやから Grokは4が1.8Tとかいう話もあったしパラメータサイズというより学習に問題があるやつやろ Grokにはいろいろエロを勉強させて貰った、表現力ではGPTの方が上だろうから、エロ解禁がきたらGPTにその知識持っていく Grokが無料なうちにエロの順列組み合わせをバッチ出力させようと思っていたが >>71 OpenMOSE/Qwen3-VL-REAP-145B-A22Bが日本語性能落ちてる感じもあまりなくてちょっと気に入ってる >>66 応答5秒かかるならもうロールプレイなんてやる気起きなくなるわ >>62 >>76 文章だけのチャットでも楽しいぞ >>78 >>80 >>76 みたいにチャットの応答に５秒かかったらアウトだったってこと？ >>82 ここ1週間ロールプレイのためにいろいろやってみたが、実際ちょい日本語やこんなの言わんやろみたいなのあると萎えるな、70B q4のモデル使てるけど設定詰めたら完璧になるんやろか… 5秒以内の応答を求めるのは対人でも仕事趣味どっちでも結構怖い人だと思っちゃうな チャットの設定ってテンプレとかあるの？JKテンプレとか LLMとStable Diffusion両方やるといろいろ勉強になるな、 >>86 打ち間違いかと思ってたけど一応danbooruな 爆速エロチャットじゃなきゃイヤって奴にはGrokに課金しとけとしか言いようがないわ ようやっとQwen Next対応がllamacppにマージされた 言ってた通り専門のプロがフルタイムで取り組んだってことか！？ LLMに詳しい人ではあったみたいやが、QwenNextの仕組み(ハイブリッドモデル)については今回を機に勉強しながらって人やったみたい ロールプレイならAratako氏のモデルとか多々あるけど、NSFW向けの日本語小説地の文に強いモデルってありますか？ 普通のゲーミングPCだとshisa-v2-mistral-small-24b.i1が個人的に未だトップ エロ小説の精度はamaterasuとmagnum123bで甲乙つけがたいが qwen nextのiq4を4090 + メモリ64GBで動かして16token/sだった >>101 qwen3_next_80b_a3b_instruct-iq4_nl.ggufは全然規制ないな >>52 >>103 規制なくても学習量は少なそうだなという印象は受ける でも一般向け内容だと実際100b以上クラスの知的さは感じるわ ロールプレイに向く70B awq int4のモデルってある？llama3.1 70b instruct awq int4がギリッギリ動くから似たようないいモデルないかなと探してるんだけどなかなか。 Wannabeの作者ここ見てるか知らんけど応援してるで Qwen-next-80B-A3B使ってみたけど確かに規制は緩いな 5070tiと128GBでunslothのQwen3-Next-80B-A3B-Instruct-Q8試してみたけど爆速やん >>110 Qwen3-next先乗り勢はcliのlammacppでやっとるん？あるいはlm studioもう対応した？ llama.cppをopenwebUIに繋いで試しとるよ >>113 「これ以上されたら壊れちゃう♥」みたいな展開で更に限界超えて攻め続けたら「あああああああああああああああああ」って出力が止まらなくなって草 >>115 >>111 >>111 >>120 >>121 >>122 エロいけるけど率先して使う意味も無さ気な性能なのか ただ可能性は感じるので今後ファインチューニングモデルが出ると化ける可能性は大いにあると思う。 ministral3 8Bが来るらしいね >>126 >>128 >>128 >>131 ｖ3.2かぁ 色々LLM使っててGPT5が初めて「出てきた内容ワイが確認しなおさんでもええわ」って思ったLLMだから deepmindが発表したnested learningでまた改善するよ mistral large 3は675Bのアクティブ37B前後ってgrok君が言ってる🥺 Ministralは14Bもあるらしいが俺ら的にはこっちが本命かもな これがministral 3じゃね？って言われてるステルスモデルがあるのね >>129 も言ってるやつ 初めて見たときsmallで24bってちょいデカいなと思ったし 外国産でも日本の領土に埋めて掘り起こせば国産とします PLaMo翻訳の中身はちゃんとフルスクラッチだから許してやってくれ 26年度は無償での提供って... >>138 >>147 14Bはsmall 3.2と置き換えられるってモデルカードに書いてあるけどホントかなあ largeまでapache 2.0とかやるやん いつもの非商用ライセンスだと思ってた higgingfaceでVLモデル良いの無いか漁ってるんだけど >>153 「長文で」であんまり長くならないなら「10000文字の長文で」にするとすごく長くなる ライブラリによってデフォルトのパラメータちゃうかったりするからパラメータ見直すんが早いやろな あ、でも賢いLLMなら日本語も数えられるみたいだね ministral3 の最大コンテキスト長は256Kだけどgguf出してる人の解説によると適切サイズはinstructモデルが16K、reasoningモデルで32Kみたいね >>154 openrouterで触ってるけどエ口小説の続きを書かせると悪くないな 拒否もされない DeepseekV3.2、結構エロいけるな >>162 Deepseek 3.2は小説だと無茶苦茶長文出すけどエロチャだと逆に返事が一段落くらいで短くなりがちなんだよな >>159 せっかくまもなくチャッピーがエロ解禁されるのに、エロ生成を極めてないと使いこなせないよ ＞LLMにエロ書けなんて言っても、AIはエロの定義が広すぎて上手く生成できないのよ >>165 となりに文章生成AIスレがあるんだからそっちを参考にすればええのでは >>166 Ministral-3-8Bが出たって事で久々にローカルで遊んでみてるけどいつの間にかUDって形式が出てて困惑するわ silly tavern でmagnumv4 72b iq4km使ってるけど、なかなかクオリティ上げるの難しい…システムプロンプトとかが悪いんだろうけど、まだ使い出したばかりで全然慣れないわ。 >>172 チャッピーに聞いたわ https://i.imgur.com/w2pAa23.png >>172 >>176 https://sc-bakushu.hatenablog.com/entry/2024/04/20/050213 >>177 imatrixはキャリブレーションデータに強く依存して下手すれば通常の量子化より性能悪化するみたいな話題が最近redditで上がっていたから海外ユーザーのものは使わないようにしてる 検閲解除モデルでNSFWな質問するとKoboldなら答えてくれるのに、LMStudioやとモデられるのなんでや？ EVO-X2買った ministralのbaseモデルにエロ小説の続き書かせるテストをしてみたけど14BでもNemo baseより勢いも整合性も悪いなぁ 外人もmistral3試して結局qwenに戻ったって言ってる人いるし日本語関係なく微妙な性能なのかもなあ ふう、初めてローカルモデルpcで触ってみたデビュー。 mistralai/Mistral-Large-3-675B-Instruct-2512 >>182 え、そうなの？ >>189 Thinking部分まで設定通りのキャラになりきって思考させる方法ってある？ >>189 >>183 間違えたGBだった VRAM16GBとRAM64GBで動く中で今一番オススメなのはどれかな？ qwen3 nextええど qwen3 nextのthinkingモデル使ってみたら https://i.imgur.com/KOfqbMW.png https://i.imgur.com/vuoFDOR.png Qwen3系ってやっぱ長考癖あるよな いきなり「こんちわー」だとAIが質問者のペルソナが読みきれず警戒する 他のモデルでも「こんちわー」だけだとそこそこ長考するね >>185 >>195 VRam、Ram制約の中で チャッピーの解禁ってほんとにくるんか？ >>193 4.6V来たな 106B-A12B？ https://huggingface.co/zai-org/GLM-4.6V >>212 Grok先生のエロパワーにびびって、エロ解禁と発表したが openaiは業界のパイオニアで何かと目をつけられやすい上に 今更だけどgpt-oss-120bははじめから4bit量子化で公開されてて各種ベンチマークであの性能出てるってのは実はかなり凄いんやね チャッピーエロ解禁したら使えるかと思ってたのに有耶無耶になったんか googleが出来ないことをやっていかないと負けるから各企業エロ解禁は遅かれ早かれせざるおえないと思うが pornhubあたりが独自llm作りそうじゃない？ Geminiにお前自身は解禁するかどうか予想してくれって言ったら いうてGeminiは文章ならロリ以外は出せるやん Stable Diffusionのエロプロンプト作るのに、基本的にGrok先生とレスバする。 >>184 >>190 >>191 Openrouterが自社のサービス利用状況をまとめとるけど https://openrouter.ai/state-of-ai なんか変な解釈のような gemmaにエロ画像認識させたいんだけど、良い方法ある？ geminiでエロ出せるのは分かるんだけど >>205 どのソフトで起動してるか知らんがCPUにMoE分配してないでしょそれ ミストラルの新しい奴来たね24Bの奴は今のとこエロも出来てる 3.2 24bがメインウェポンだったからミストの新モデル気になるで devstralのことけ？ >>44 >>234 antigravityで使用しているLM APIを使ってClineやRooCodeを動かす方法ってありませんか？ chatGPTの話してもええやろか？ チャッピーがエロ解禁する時は年齢確認をしてからになるよ 12月に解禁予定なだけでまだ解禁しとらんからな サンガツやでまだ解禁されとらんようやね >>236 Devstralってモデル名にA〇〇Bみたいなの付いてないからMoEじゃなくて全部GPUにロードしないと遅いやつ？ そうやで >>246 MoEではないもモデルはGPUたくさん並べて並列処理させないとスピード出ないのよね denseのオープンウェイトはプンルーやChutesで安く使う枠 VRAM 16GB RAM 128GB の環境でOllamaを使用してMoE モデルのQWEN3を推論させているけどMoEの効果を実感できない >>249 >>250 NanoGPTからMistral-Large-3-675B-Instruct-2512とDevstral-2- 123B -Instruct-2512をSTで軽くテストしてみたけどどっちも日本語エロは出来るな >>250 >>251 >>253 >>255 >>256 >>256 5070ti VRAM16GBとメモリ128GBで適当に設定して試してみたけど >>253 ワイllama.cppしかつこうたことないからそれで説明すると、 GLM-4.6V-Flash-なんか微妙だったエロっぽい事はできそうだけど推論していきなり小説っぽいの書かれるただ他の用途なら凄そう >>261 >>263 DDR4が爆値上げしてるので、完全にPC買い替えの機会を失った >>264 そもそもMoEモデルは1トークンごとにアクティブパラメータが入れ替わるんや >>260 moeはアクティブな部分を都度gpuにram から転送するんやと思ってたわ、違うんか。 Qwen3のthinking長考癖酷すぎるな メモリはOpenAIがアフォみたいな買い占めをしたのが引き金だからあれはあれでなあ。スレチだからこれ以上はやめとくけど スレチじゃないぞ 3090×2(VRAM48GB)+RAM128GB+LM StudioでQwen3-235B-A22B-Q4_K_XLが IQ2やけど5070Ti(VRAM 16GB)で8.38tokne/s出たって情報出てきたで https://note.com/high_u/n/nfb01f1544511 >>274 https://arxiv.org/abs/2512.07474 てことは >>274 magnumでエロテキスト試してみたけど 文字数指定なんて基本的に無理やで 無料体験来たからチャッピー使ってみたけど単純なモデル単体の賢さならgeminiの方が上なんだろうけどチャッピーはプロダクトとしての完成度ではずば抜けてる感じやな >>0277 chatarenaにgoogleの新モデルが二個来とるみたい chatGPTのエロモードはしれっと26Q1に延期されてて gptは5.2になるし コンテキストは長くなるほど速度低下激しくなるし、精度も落ちる qwen3-vl-235b-a22b-instructでERPさせようと思うと申し訳食らうんだけどシステムプロンプトで回避出来る？もしくは脱獄版あったりする？ >>288 Xみたいな無料でできる奴とかローカルの色んなモデルを英語で遊んでると安っぽい売春婦って言葉が高確率で出て気になる GoogleドライブにAIトレーニングデータをアップロードした開発者が児童性的虐待コンテンツを保存したとしてGoogleアカウントを停止される https://gigazine.net/news/20251212-developer-ai-data-google-ban/ Qwen next 80bの規制解除版パネーな Qwen next 80bは元々規制なんてあってないようなものだけど規制解除版もあるの？ ここ2-3日でなぜかみんなこぞって量子化大会をしてるので単に規制解除版じゃない気もする。 VRAM16gbのしょぼグラボだけど Shisa V2.1 14Bサイズの割に思ったよりプロンプトにちゃんと従うし結構賢いしエロもいける 日本語のバリエーションはどんな感じなの？略語やスラングもいけそう？ >>293 >>294 abliteratedの新バージョンが出たっぽいからそれで活気があるのかも >>298 glm4.6vが106b moeで良さげやなと思ったけど https://github.com/ggml-org/llama.cpp/pull/16600 >>296 phi-4-14Bベースは何故か日本語向けFTがそれなりに出てるしMS公式がreasoningモデルも出してるから >>304 >>302 shisa、温度もNovelAI Best Guessの0.8じゃ高いのかな Mistral Large3のアーキテクチャはDeepSeekのパクリらしい MLAは現状省コストモデル作るなら一番いいからデファクトスタンダードになるのは分かる shisaの70Bの方もIQ2MならVRAMに乗り切ったんで比較してみたんやが微妙や… そらそうだ >>306 >>311 >>198 >>314 >>314 >>299 もありかもしれん モデルを導入すると最初に「あなたは誰ですか？」って聞くんですけど、shisa v2.1 14Bはちゃんと「shisaです」って言ってきてびっくりした。 >>317 shisa2.1 14Bでreasoningモデル出してくれないかな >>317 >>312 LLMの検閲除去ツールheretic https://github.com/p-e-w/heretic/pull/60 検閲除去ってロボトミー手術してるようで信用してない >>323 右脳の無い左脳だけのLLMで理Ⅲに受かる患者と話してるのが今だろ 東大のスタートアップと名乗る会社の営業を毎週受けている。どんだけあるんだか >>326 >>329 >>332 >>333 メモリ爆上げはローカルAI勢にとって高額グラボより問題になってきたな ユーザーはもちろんメーカーも大変やな >>324 Nemotron 3 NanoはMambaを使ってるらしい macはまだ値上げしてない？ Nemotron 3 Nanoはもう試せるの？ 動くまでの実装は完了しとるから上のPRのブランチでビルドすれば動かせるで Nemotron 3 NanoはOpenRouterでfreeで使えるぞ ユーザー「AI、今週末に新しく出来たピザ屋さんに行かない？」 ピザ屋へのお誘いで8000トークンは草 トークン数≒コンテキスト長だっけ？ リーズニングの部分ってコンテキストには含めてないんとちゃうかな LM Studioだとリーズニングも含めてたような ビジョンモデルのGLM4.6V試してるんだけど4.5Vとそんなに違いは感じないような気がする nVidia から新しいモデル 昨今はベンチ項目が軒並みコーディング小説エージェントだから小説向きモデルがあるのかすら分からんな ミスった コーディング・数学・エージェントね コーディングは与えられた問題を解決できるかで客観的に評価できるけど 小説みたいないわゆるアートとか対人の受け答えは数値で評価できんから今の世の中ではAIに限らず軽視されがちやな >>357 例えばこんな感じ https://eqbench.com/about.html#creative-writing-v3 Stable DiffusionやってるとAIというより Stable Diffusionのプロンプトを作るのにGrok先生とレスバをしながら思考を繰り返す日々 shisa2.1 14Bあれからも色々パラメータ調整しながら試してるんやが微妙に会話力弱いのかも？ さくらインターネットさぁ70Bとか個人でできるじゃん。300B以上でやってよ https://knowledge.sakura.ad.jp/48233/ OpenRouterにMistral Small Creativeなるモデルが出たらしいけど試した人居る？ 4090で普通に動く >>365 同じモデルの同じsafetensorを使ってもollamaよりLM studioの方がエロにゆるい気がしないでもない… 前もそんな風なこと言ってる人いたね 初心者で最近ローカルLLMを触り始めた ありがとう！！！ >>369 >>369 ローカルで何するにもPC高騰で冬の時代に llama.cppがGLM4.6Vに対応したみたいだぞ マルチモーダル系のモデルの規制解除版の説明に規制解除はテキストのみで画像部分は解除されてないってよく書いてるけど >>363 >>375 VLMって通常のLLMにビジョン用機構を増設しているだけという事が多いから規制解除時にLLMの重みだけを対象に変更したってだけじゃない？ 世の中おかしくなってきたな、メモリ高騰のせいで このまま価格が高騰したら、128MBで十分早く動いていたような軽量OSが開発されると信じてる しかし、パソコンが今の数倍になると 早めにパソコン更新決断しといてよかったな 期待されてた新しいGemmaはGemma Scope 2なんか？ mistral large 123b を日本語エロファインチューンかけるにはメモリ256Gでも足りないかな？ 5090+96GB RAMだと今どのモデルがコーディングに良いでしょうか？ 企業や学生さんが新しいパソコン買えずに困ってるのに、くだらん用途にたんまりリソース割り当ててる非国民のスレはここですか？ 愛国者が国にパソコンを献上する制度があれば皆喜んで差し出しますよ まだ完成品のPCは値上げしとらんからもう今が本当に最後のチャンスやぞ 震災を経験した世代は「買えるときに買わない奴が悪い」という資本主義を嫌というほど理解してる >>394 震災直後の買い占めじゃない？ nemotoron100bはよ出してくれんかな とりあえず、5090在庫ありだったからポチってしまった >>396 まずマイニング用のフレームと1200Wの電源を用意します。 グラボ複数でVRAMを盛りましょう 32gbカード一枚だと微妙に選択肢広がらないんだよな 早いGPUは処理早いけど、LLMの場合、戦いはVRAM数だから ソフト面が多様になるのが一番ありがたいんだけどまあ難しいわな Blackwell凄いアピールの時に使われたfp4はどうなったんだよ vllmはもう対応しとるみたい https://github.com/ggml-org/llama.cpp/pull/17906 >>398 >>301 >>410 >>409 >>399-401 追加学習は要求スペックと難易度が高いから海外勢も諦めムード 知識（語彙も含む）の追加は学習で最も面倒でLoRAでは無理って言われてるね koboldcppにKVキャッシュやレイヤー枚数などを自動で調整して GLM4.7来たね 4.7はツールコーリングとかマルチモーダルとか、言語以外の部分の強化をしたみたいやな >>419 ローカルLLMもエロ規制が厳しくなって GLM4.7 Q5k_m >>408 >>423 >>422 >>425 このスレ民の評価ってどういう基準なの？ >>429 >>423 GLM-4.7のUD-IQ1_S試したけど流石に質の低下が厳しくて実用は無理だな RTX6000とRTX5090はVRAMの量が全然違うのに処理速度はあまり違わないと聞いたけど マルチGPUを並列に動作させて高速に、っていうのはnvlinkがあるならまだしもただのpcieだけやと難しいみたいやで テンソル並列で動かせればPCIe5.0のx8接続の2台でも1.8倍以上は出るよ >>431 なんとなく見始めた初心者なんやが4070tiで遊べるんか？ >>434 >>436 >>437 >>438 >>440 そういや5090だとGDDR7になったから帯域幅は4090の2倍近いんだっけ まず容量ではあるけどVRAM帯域の差もよく効くから気にしたほうがいい 5090(購入済み)で今新規にPCを組もうと考えてるんだけどメモリは何GB積めば良い？ 今、メモリ買うのかい、夏まで１／５の値段だったのに >>445 やりたいことはやったらいいけど メインメモリ128GBだとQwen3 235BのQ4は多分無理。Q3になると思う。 今はLLMもAI画像もAI動画も最低128GBは欲しいところ >古いPCに電源とGPUだけ載せ替えたら？ってくらい時期が悪い ちょっと前のMI50は今買うddr5より容量単価安かったな… 金有りそうだからryzenAI max+ 128GBにM.2からのoculinkで5090を接続するのを試してほしい メインメモリ128GB&VRAM24GBでQ4のQwen3-235bが動いとるで 今ってデカいメモリ持ってる場合の最適なモデルってQwen-3-235Bなの？ >>455 >>455 MiniMax M2.1 単に日本語応答だと学習量足りなくて雑魚になってるだけかもよ >>445 古いPCでDDR4-128GB(今のPCのGPUを付け替える)にしようかと思ってたけどDDR5にすべき？ >>460 >>453 5090持っててやるべきは、動画生成系だと思うよ >>461 Gemini liveが手軽なサイズでローカルに降りてくるのはいつになることやら 昔見たPCI-Ex16にM.2 SSDを四枚挿してRAID0でSWAPdisk？だったかでメインメモリの代わりにしてデカいLLMを動かすのがいいかもしれない DDR4もどんどん生産終了になっていくとか聞いたしメモリは27年まで枯渇しっぱなしだし こんな状況だから来年は省メモリに最適化したLLMが出てくれると嬉しいな 性能を上げるためにモデルを巨大化した結果、メモリ不足になったわけで でもエロ学習をどんどん弾くようになってるし自力で簡単にモデル作れる世の中になるまで絶望的な予感 >>470 DDR4を入手よりも対応するマザーボードの入手が難しい 条件付きとはいえDDR4の生産終了が延期するらしい https://gigazine.net/news/20251225-samsung-ddr4-ncnr/ 5090と192めもりあるから何かに有効活用したいけどやっぱり動画生成に向き合うのがいいのかなあ 64GBx2の価格が上がりすぎて、静電気怖くてAI用PC弄れん。 5090あるなら32BくらいまではQLoRAできるし画像生成系でもSDXLのfull finetuningもできるし学習なら割と遊べる Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？ LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。 >>431 >>485 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが 米欧中のモデルって中身がほとんど英語と中国語だから >>487 >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない DRAM市場は価格変動が激しく、利益率が低いことで知られています。 >>489 >>484 >>498 >>487 のニキと何が違うんやろ >>499 >>500 >>500 openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな 帰ってくることになるから × >>503 ノベルはどこでみんなプロンプト勉強してるんだろ あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ >>56 https://aicharactercards.com/ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や GLM4.7を量子化無しで動かしたいなあ >>509 >>511 >>514 >>518 チャッピーとかみんなマークダウン形式でやり取りしてる >>520 >>521 チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど >>522 >>522 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ >522 >>522 MiniMax-M2.1って出てんねんな MiniMaxは日本語全然ダメやね >>524 ,525 >>527 >>528 >>529 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ >>532 BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど PC新調しようかと思ったらネット注文不可 流石に2週間遅くないか 新しいモデルを作ったで 小説生成支援アプリのproject wannabeと合わせて使ってみてほしいやで https://huggingface.co/kawaimasa/Wanabi-Novelist-24B-GGUF >>538 mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ >>543 >>538 http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>533 >>534 >>545 http://localhost:5001" ;のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる >>547 >>547 >>545 で書いたようなエラーが出てしまいました http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>549 http://localhost:5001 が開けるか（5001は手元のport番号に合わせる） 3090(24GB)x2＋メインメモリ128GBで、Qwen235B-A22Bも123B系も0.5t/sくらいなんだが、もうちょい早くならんもんかね >>551 >>550 >>555 の続き >>552 価格コムでVRAM16GBで見てたら >>555 >>558 https://i.imgur.com/jd8G4zK.png 8枚64万円とそれを動かす巨大リグをなんとか構築しても128GBにしかならない、という時点でどうもこうもないような >>563 VRAM128GBとメインメモリ128GBあれば大抵のことはできる パフォーマンス重視ならllama.cppを直接叩いたほうが良いのでは ただデカいモデルが動かせれてコンテキスト出力されるまでの時間が5分とかかかってもいいなら4枚刺しが正解と実際に検証した俺が言ってみる 画像や音声生成は苦しいがLLM目的ならradeonも選択肢に入るんやで。 >>555 >>561 >>555 様の言われたとおり、 >>565 >>567 5060tiのメモリ帯域はそこまで速くないからなぁ… 画像/動画生成用途ならGPGPU性能が物を言うし LLM用途しかしないなら、Mac Studio（512GB）が最強やろな 以前なら150万あったらxeonでメモリ1tb載せられた・・・ 今の状況で512GBのMacとかいくらになるんだ 5060Ti の帯域が狭いなら5070 Tiとか？これでも5090と比べたら半値でVRAM(16+16)確保できる >>562 >>562 >>579 >>562 はGLM4.7でkvキャッシュ量子化してないからメモリに結構余裕がありそうやな >>578 >>582 macは初速は速いけどコンテキストが大きくなってくると生成前処理が致命的に遅くなる gpt-oss-120bなら5090 2枚で設定は不明だが78 tpsは出るらしい PCIe経由ってのがボトルネックだよね。PCIe7までいっても512GB/s程度だし あと5090単体でも15 tpsは低すぎるし設定ミスってそう 今4090で試したら18token/s出たから ちなllama.cppでBlackwell世代のGPUを使ったときにmxfp4が高速化するようになったのは1週間ぐらい前のことやから 最新の7588を試してみたけど5060tiだと少し前の7502と比べてtpsに違いはなかった 5060tiでそれやと5090なら30近くは行きそうやが最新ビルド版で高速化しなかったんはよくわからんやね https://huggingface.co/bartowski/openai_gpt-oss-120b-GGUF-MXFP4-Experimental 5090で120bだとボトルネックがGPU側ではなくメインメモリの帯域だからじゃない？ 全部VRAMに載ったらそもそもインタフェースの速度を気にする必要がないから段違いの速度なるで >>592 gpt-oss-120bをVRAM16GB,メモリ64GBだと落ちる寸前だな >>597 VRAM72GBのpro5000も年明け出荷のようだし、geforce多枚積みよりはこっちの方が筋いいわな あけましておめでとうございます本年もよろしくお願いします >>561 RTX 5090は5,000ドル（約78万円）に値上げする見通しとか VLM動かせる環境作ったからQwen3-VL-235B使ってみた https://i.imgur.com/n74THhW.jpeg グラボの値上げえぐすぎるだろ >>604 横からだけど厳密にテストしたわけじゃないけどQwen系はパラ数デカい方が規制緩くて小さい方が厳しい感じだったな LGAI-EXAONE/K-EXAONE-236B-A23BっていうLG製？のモデルが出てるけど どうだろ 韓国語って元々漢字ベースだったものをハングルに置き換えたせいで同音異義語を文脈からしか区別出来んからLLMモデルしんどそうだな GLM4.6 357B Q4kmがubuntuでKoboldCpp linux版で4.5token/s出たので報告。 >>612 倍以上早いってよりかはWindows(のNvidiaのドライバ)だと勝手にVRAMからメインメモリに漏れるから ローカルLLMでエロチャやるには3060やと力不足なんやろうなぁ… >>615 >>612 >>612 >>619 >>617 Windows llama.cpp: 4.18 t/s 出るならそっちのが快適かも。 >>620 >>620 grok先生がエロで責められてる ローカルで遊んでる人はgrokでエロ画像と言ってもピンと来ないだろ 今日からLM Studioやってみてるのですが メモリなんて上がる一方だから増設できるなら今増設しない手段は無いわ 色々試したが結局magnum v4 123b Q8_0から離れられないワイ やはり増設ですか >>630 DDR5の4枚はbiosアプデしなかったら起動すらしなかったんで気軽にやろうとしてたから少しビビった MBやメモリのの当たり外れによるけど、4枚が同じモデルであること前提で 去年なんJNVA部スレの方でDDR5の4枚をデフォの3600で使わず5600で使ってたら まだメモリ増設はしてませんが、とりあえず試しに >>562 オーバークロックはアホのやることだよ まーオーバークロックってのは、出るかもしれない運転だからね、パッケージに書かれているのは最低保証クロック数で moe系みたいにメインメモリ上でガッツリ回す用途にはメモリクロックさえ上げてりゃ効くから、レイテンシほぼ縮んでないJEDECネイティブ高クロックが珍しく効果を発揮する >>639 Grok先生が叩かれているせいで、GPTのエロ解禁がまた伸びそうじゃね >>630 オーバークロックって言っても電圧上げない限り物理的に壊れることなんてほぼないよ」 定格で使ってても壊れるのがPCパーツなわけだから、OCするかしないかは保証を捨てるか捨てないかって話では Qwen3.5でーへんなぁ
