なんJLLM部 避難所 ★10
レス数が1000を超えています。これ以上書き込みはできません。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる SDでだいぶ出したい絵を出せるようになってきた。
衝突して崩壊してたんだなって感覚が重要だわ
LoRAと重みとdanbooruと順番と、全部ちゃんと理解しないと絵にならない
何が悪いのか原因を見つけるスキルが必要 >>952
Q8_0で試したけど、スピード速いし、日本語もそれなりだけど、規制強すぎだし
小説書かせると話の整合性もいまいちかな
heretic版とか出たら面白いかも 最近grokは使い難いな。
デッドロックというか、自分の出力した文章内容に不適切な内容があると続きを書かなってしまうみたいな事が起きてる。 70Bくらいでおすすめってある？
やっぱりもっとでかいか24GBに乗るくらいまでのが人気なのかな Heretic-Qwen3-VL-235B-A22B-Instructいい感じなんだけど読点句読点とか鉤括弧がめちゃくちゃ多いのはモデルの特徴なんかな
いい感じに抑制したいけど適当に指示すると今度は全く使わないで文章書こうとしだすから難しい >>957
Qwen3 235Bはひと昔前のGeminiやClaudeに迫る性能だが
現行バージョンほどのプロンプト追従性は無いな
GeminiやClaude向けのRPプロンプトがまともに動くこともあればダメな時もある
Qwen3 Next 235Bが待たれる 俺のVRAM40GB環境では70B〜80BならギリVRAMに乗るが
235BはVRAM128GB級でないとVRAMに乗り切らない
⚙70B〜80B…チャット、リアルタイムアプリ
⚙235B〜…バッチ処理
と用途別に使い分けるのが現実解
MoEのエキスパート配置が賢くなればVRAM32GB以下でも235Bがサクサク動きそうだが現状では夢物語 見栄張んなよ
本当は8GBとかのグラボ使ってんだろw？ >>962
しつこい奴やなぁ
s://files.catbox.moe/8qinpa.mp4 量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど
コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない >>963
粘着質なやつに構うと調子乗るからほっといたほうがいいよ VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？ >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ >>967
GLM4.5Air使えば？
110BのMoEだぞ >>923
winが昔みたいに勢いあったらWin APIゴリゴリ書いてくれるようなAI出してたんだろなー >>970
よくオープンウェイトを続けられたな
745B-A40Bだって
s://huggingface.co/zai-org/GLM-5
おかげでまだしばらく激安AIコーディングが続けられそうや 単独で使うものではないんでは
アシスタントで使うかオーケストレーションで使うかでないの
Vide codingの時代から事前プランニングの時代に一気に変化しつつあるから、合否/採点が容易なタスクは全部切り出して安いコーディングLLMでループさせる形になりそう
SOTAモデルで採点カンストするまで回したカンストSkillsをGLMに使わせる、とかになるのかな コーディングは一度でもClaudeかCodexの手軽さを味わったらローカルに戻れないよ
ほんとに小さいスクリプト単位なら使用の余地はあるんだろうけど
ローカルがClaudeに追いつける日はくるのだろうか
中華LLM + openclawに期待するしかなさそう 安いので試してだめだったら高いの使う、という手間がもうめんどいので最初から高いやつ使うよね 誰か >>966にアドバイスしてクレメンス・・・
空きが無いと話がループして止まらないとかVRAMとモデル選択のバランスがようわからんのや >>977
待てるならvramいっぱいにモデルを詰めていいし、そうでないならkvキャッシュ用に空けておくべき
モデルによってkv量子化だったりオフロードしなかった時の精度や速度が違うから試しながら調節してみ Kilinskiy/Step-3.5-Flash-Ablitirated
これ試してみるか
ところでabliratedとhereticってどっちが精度落ちないんかな？ >>979
hereticはわりと新しい方式で精度良いはず
モデルカードの下の方に拒絶率と精度低下率が書いてあったりする heretic 8bitならメモリ256GあればギリいけるかもってAIに言われたが実際やってるニキいる？
あ、step3.5でね Q8はパラメータ数≒GBだから方式とか関係なく200Bなら乗るやろ 今ってQwen3-VL-235BとGLM4.6V以外に>100Bで日本語NSFWいけるVLMある？ >>978
サンガツやで
これcontext長＝kvキャッシュなんやろか
事前に確保するとVRAM量が増えるからkvキャッシュと思ったんやが会話が長くしたいなら12GB(model)+4GB(KVcache)
数回のやりとりで良いなら15GB(model)+1GB(KVcache)なんかなと思ったけど考え方はあってるやろか >>985
サンガツ4GB増えた分だけエロもどれだけ変わるかわからんがまだmugnum v4の8GBやわ
今は良いのが出てるかも知れんけどスレでnsfwで検索しても0件でワイむせび泣く エロに何を求めるかで話が全く違ってくるからな
セックスシーンさえあればいいならQwen235bとかの中華モデルでも脱獄すれば余裕で出るが
エロシーンの描写に厚みを持たせたいならGrokみたいな既知外学習したモデルを使うかプロンプトで補充するしかない
古臭い24B以下のモデルに固執するのは画像生成でSD1.5に固執するのと同じでスレ民の共感は得られないだろう >>987
いや、古いのに固執してなくて浦島なのでモデル何か無いかなと
nsfwで検索したら0件だったが本文じゃなくて名前欄で検索してたわ
と言うことで出てきたaratakoなどやってみるわ >>988
よっぽどのモノ好きしかLLMの日本語エロチューンなんかやらんからな
実質aratakoニキだけやないか
ワイはGrokがプンルーで無料Alphaやってた時にあらゆるエロシーンを100本以上抜いとるから
そのうち脱獄中華モデルでチャンク化してRAGに放り込むつもりや これまた何の役にも立たなそうなwikiがあったもんだな・・・ SDの方はいろんなLoraだの拡張機能だのすごくあるだが、LLMも考え方は同じだろうから、もっと細かくピンポイントにエロ表現の特化とかできるはずだよね
需要が少ないだけで
と言うかSDの需要が異常なんだろうな 英語圏では盛んに行われてるわけだから言語による分断の問題では SDの方は、ぶつかり合うプロンプトをあえてぶつけて崩壊させる反転術式とかあるから
すごいよ、そこまで来るともう訳が分からん たくさんのモデルが作られてるのに高評価されてるモデルは英語圏でも極一部
それだけLLMは難しい 今の5090の値段を見てたら、PRO 5000 48GBあたりもアリじゃないかという気がしてくるな
画像生成AIでは不利っぽいけど4090くらいの速度はあるみたいだしVRゲームもしっかり動く？っぽいしどうなんだろ？
5090とか4090しか話題にならないけど最近PROの方も気になる
ただ、VRAMをそこまで増やしても、そもそも、賢いモデルが公開されてるのかって問題もありそうだけどどうなんだろ？
今VRAM32GBで色々試してるけど別のモデルなのに同じところで間違えたりWikipediaに乗ってるレベルの情報でも込み入った話だとかなり適当なこと言ってくる
あと昔はGPUに5万円とかでもクソビビってたのに、最近はGPUの価格が50万円でも言うほど高いと思わなくなってきてるヤバイわ ソースありなのに適当なことを言うのはGPTでもGeminiでも同じだからローカルLLMの性能なんて推して知るべし >>996
80bや235bでもパラ数はクラウド最先端モデルの数分の1〜10分の1や
RAG無しで細かい知識を問うのはローカルでは無理やぞ
知識量を問わない用途かRAGとかドメイン特化DBありきでの用途が出てきたらWS向けGPUを買えばええ 明確な答えのある物事を聞く時点でLLMの使い方間違ってるとしか Wikipediaで言えばWeb検索MCPを入れるかWikipediaのダンプを落としてRAGを作れば
少なくともWikipediaの範囲ではハルシを起こさないはずや
知らないことを答えられないのは人間もLLMも一緒やで このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 82日 17時間 48分 58秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
