なんJLLM部 避難所 ★10
レス数が1000を超えています。これ以上書き込みはできません。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ >>967
GLM4.5Air使えば？
110BのMoEだぞ >>923
winが昔みたいに勢いあったらWin APIゴリゴリ書いてくれるようなAI出してたんだろなー >>970
よくオープンウェイトを続けられたな
745B-A40Bだって
s://huggingface.co/zai-org/GLM-5
おかげでまだしばらく激安AIコーディングが続けられそうや 単独で使うものではないんでは
アシスタントで使うかオーケストレーションで使うかでないの
Vide codingの時代から事前プランニングの時代に一気に変化しつつあるから、合否/採点が容易なタスクは全部切り出して安いコーディングLLMでループさせる形になりそう
SOTAモデルで採点カンストするまで回したカンストSkillsをGLMに使わせる、とかになるのかな コーディングは一度でもClaudeかCodexの手軽さを味わったらローカルに戻れないよ
ほんとに小さいスクリプト単位なら使用の余地はあるんだろうけど
ローカルがClaudeに追いつける日はくるのだろうか
中華LLM + openclawに期待するしかなさそう 安いので試してだめだったら高いの使う、という手間がもうめんどいので最初から高いやつ使うよね 誰か >>966にアドバイスしてクレメンス・・・
空きが無いと話がループして止まらないとかVRAMとモデル選択のバランスがようわからんのや >>977
待てるならvramいっぱいにモデルを詰めていいし、そうでないならkvキャッシュ用に空けておくべき
モデルによってkv量子化だったりオフロードしなかった時の精度や速度が違うから試しながら調節してみ Kilinskiy/Step-3.5-Flash-Ablitirated
これ試してみるか
ところでabliratedとhereticってどっちが精度落ちないんかな？ >>979
hereticはわりと新しい方式で精度良いはず
モデルカードの下の方に拒絶率と精度低下率が書いてあったりする heretic 8bitならメモリ256GあればギリいけるかもってAIに言われたが実際やってるニキいる？
あ、step3.5でね Q8はパラメータ数≒GBだから方式とか関係なく200Bなら乗るやろ 今ってQwen3-VL-235BとGLM4.6V以外に>100Bで日本語NSFWいけるVLMある？ >>978
サンガツやで
これcontext長＝kvキャッシュなんやろか
事前に確保するとVRAM量が増えるからkvキャッシュと思ったんやが会話が長くしたいなら12GB(model)+4GB(KVcache)
数回のやりとりで良いなら15GB(model)+1GB(KVcache)なんかなと思ったけど考え方はあってるやろか >>985
サンガツ4GB増えた分だけエロもどれだけ変わるかわからんがまだmugnum v4の8GBやわ
今は良いのが出てるかも知れんけどスレでnsfwで検索しても0件でワイむせび泣く エロに何を求めるかで話が全く違ってくるからな
セックスシーンさえあればいいならQwen235bとかの中華モデルでも脱獄すれば余裕で出るが
エロシーンの描写に厚みを持たせたいならGrokみたいな既知外学習したモデルを使うかプロンプトで補充するしかない
古臭い24B以下のモデルに固執するのは画像生成でSD1.5に固執するのと同じでスレ民の共感は得られないだろう >>987
いや、古いのに固執してなくて浦島なのでモデル何か無いかなと
nsfwで検索したら0件だったが本文じゃなくて名前欄で検索してたわ
と言うことで出てきたaratakoなどやってみるわ >>988
よっぽどのモノ好きしかLLMの日本語エロチューンなんかやらんからな
実質aratakoニキだけやないか
ワイはGrokがプンルーで無料Alphaやってた時にあらゆるエロシーンを100本以上抜いとるから
そのうち脱獄中華モデルでチャンク化してRAGに放り込むつもりや これまた何の役にも立たなそうなwikiがあったもんだな・・・ SDの方はいろんなLoraだの拡張機能だのすごくあるだが、LLMも考え方は同じだろうから、もっと細かくピンポイントにエロ表現の特化とかできるはずだよね
需要が少ないだけで
と言うかSDの需要が異常なんだろうな 英語圏では盛んに行われてるわけだから言語による分断の問題では SDの方は、ぶつかり合うプロンプトをあえてぶつけて崩壊させる反転術式とかあるから
すごいよ、そこまで来るともう訳が分からん たくさんのモデルが作られてるのに高評価されてるモデルは英語圏でも極一部
それだけLLMは難しい 今の5090の値段を見てたら、PRO 5000 48GBあたりもアリじゃないかという気がしてくるな
画像生成AIでは不利っぽいけど4090くらいの速度はあるみたいだしVRゲームもしっかり動く？っぽいしどうなんだろ？
5090とか4090しか話題にならないけど最近PROの方も気になる
ただ、VRAMをそこまで増やしても、そもそも、賢いモデルが公開されてるのかって問題もありそうだけどどうなんだろ？
今VRAM32GBで色々試してるけど別のモデルなのに同じところで間違えたりWikipediaに乗ってるレベルの情報でも込み入った話だとかなり適当なこと言ってくる
あと昔はGPUに5万円とかでもクソビビってたのに、最近はGPUの価格が50万円でも言うほど高いと思わなくなってきてるヤバイわ ソースありなのに適当なことを言うのはGPTでもGeminiでも同じだからローカルLLMの性能なんて推して知るべし >>996
80bや235bでもパラ数はクラウド最先端モデルの数分の1〜10分の1や
RAG無しで細かい知識を問うのはローカルでは無理やぞ
知識量を問わない用途かRAGとかドメイン特化DBありきでの用途が出てきたらWS向けGPUを買えばええ 明確な答えのある物事を聞く時点でLLMの使い方間違ってるとしか Wikipediaで言えばWeb検索MCPを入れるかWikipediaのダンプを落としてRAGを作れば
少なくともWikipediaの範囲ではハルシを起こさないはずや
知らないことを答えられないのは人間もLLMも一緒やで このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 82日 17時間 48分 58秒 レス数が1000を超えています。これ以上書き込みはできません。
