なんJLLM部 避難所 ★10
レス数が1000を超えています。これ以上書き込みはできません。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>917
5つくらい試したならすでに試した後かもしれないけど
XnViewMP（https://www.xnview.com/en/xnview/）はどうですか
好きなものを選択、条件でフィルタなどおそらく希望は満たしていると思います
個人的に1番好きな画像ビューワーです >>932
ありがとう AIに聞いた時には候補にも出てなかったわ
試してみた所かなりいいんだけど、1回で2枚ずつ画像を見ててその機能がないかも Ubuntuで致命的なのが色々なAIプログラム立ち上げてると、瞬間VRAM溢れる事が1時間に数回あるんだけどOOMでたらプログラム止まるんだな
AIに聞くとWindowsの方がOOMについては粘りがあると言ってきた
AIについてUbuntuは完全に上位互換だと思ってたけどそうでもないんだろうか？
WindowsVRAM無駄に消費すると思ってたけど使い勝手の面で実はかなり頑張ってるのかも、ただ、偶にOS巻き込んでフリーズするけど・・・ ズボラな平行作業を受け入れるのはwindowsのほうかも
体感vramも無駄に消費とかしないな、メインメモリは明確に食うけど evoX2 128GBでエロやるオススメモデルってどんなのがあります？
gpt oss 120Bは真面目な用途だと良いんだけどエロだと…だし
基本は小説です GPTのエロ解禁ってどうなったんだろうな
広告解禁の話の方が見かけるようになってきたが >>933
一度に２枚ずつ見たいというのは漫画ビューワーのように見開き表示にしたいということなのかな
残念ながらXnViewMPにはそういった機能はないと思います >>938
ありがとう！
他にも色々と細かい所が気になって気になって諦めることにしたわ Ubuntuで相談してたものだけど、諦めてWindowsにExplorerPatcherや広告撃退ソフトなどあてて戻ることにした
慣れ親しんだソフトの代用を見つけたりいちいち改造するのがほぼ不可能なのとOOMでるのが大きい
今回色々頑張って分かったのは、Windowsの圧倒的なソフトウェアの充実度合いと後方互換性が凄過ぎる事
また、MSもX86を捨てられないとか、大昔の命令コードでパフォーマンス落ちてセキュリテイ下がるのが分かってても何層にもエミュレートしてでも残してるとか不思議だったが
このエコシステムを本気で守りたいんだな、ただ、その一方でTPMで過去のユーザーを切り捨てたのは不思議ではあるけど・・・(TPM強制とか色々振り回されるのが嫌でUbuntuトライしたというのもある)
なお、今からPC始める人ならUbuntuもありだと思う
操作性がWin95とかそんなイメージだけど用途に寄るが普通に使えるOSだわ
軽いし負荷のかかる作業をしてもOS巻き込んで落ちないのが良い、その代わりソフトの選択肢が色々狭く例えばOOMで止まったり自由度が狭い
ソフトも作者の数がWinより少ないから選べないし最適かも微妙なのかWinよりも若干重たく感じるものが多かった OSが軽いだけで気になる
セットアップの難易度だけど、簡単なスクリプトかけるくらいのプログラミングスキルの自分からすると難易度は普通レベル
RTX5090みたいな最新のものでも、公式見てセットアップでエラー出たらAIに聞くだけで動いた
あと、最近のUbuntuは黒い画面(Terminal)の操作は不要って聞いたけど頑張ればできるかもだが、あれは嘘だと思ったほうが良い >>941
MSが本当にOSで儲けてないなら、Win11Proが無料で使える方法知りたいわ
とりあえず、OSが必要になって困ってる
あと、上でも書いたけど使えるソフトの数が全然違いすぎてUbuntuでは良いものが見つからず移行ができなかった 捨てるとか不可能だよ
例えば、ビューワーやファイラー、エディタですらWindowsで使えるソフトの完全上位互換みたいなものを探してたけど手に馴染むものが無い
Geanyはかなりカスタマイズできて良かったけど、AIで使ってる巨大ファイルを開いたら思いの外重たかった
他にもOOMとかWindowsなら止まらないのに、Ubuntuだと止まるとか使えば使うほど不満点が出てきた step3.5flashって196bのモデルがベンチマークじゃglm4.7を凌駕しとるようやが
誰かつこうて見たひとおる？
Q4あたりで使うとしたらGPU+128GBで使える丁度ええ大きさやが スマホGeminiでエロ小説やRPしてた者です
規制や制限なくエロ小説やrpしたくてローカルに手を出そうととりあえずkoboldcppを入れたんですが良さげなggufモデルってどう判断すればいいんですか？
pcのスペックはこれです
i7-10750H / GTX 1650（4gb） / メモリ16GB / SSD 500GB + HDD 1TB ダウンロードするだけならスレで話題になったモデルをひたすら試す
でもVRAM4GBだけでは正直何もできないと思うよ… PCがVRAM24GB+16GB=40GB構成になったんだが
VRAM40GBに向いたモデルってQwen3Next80B以外にある？ >>944
OOM対策どうしてるの？
VRAMを可能な限り使い切るような感じで複数ソフト起動してる
そうすると、ちょっとしたVRAM変化でOOMで止まる Windowsだと止まらず動いてくれる
学習とか途中で止まると時間が大幅に無駄になるし、寝てる時に止まってると時間が勿体ない
あと、NeeViewerみたく速度が早く、機能的にも上位互換な物を探してるけど使えるものある？ 70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても >>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな
UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ VRAMに乗せきりたいなら32BのQ8とかになるんじゃないか
40GBもあればcpu-moe系のオプションで大きめのGLMとかも結構な速度で動かせると思うが >>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる SDでだいぶ出したい絵を出せるようになってきた。
衝突して崩壊してたんだなって感覚が重要だわ
LoRAと重みとdanbooruと順番と、全部ちゃんと理解しないと絵にならない
何が悪いのか原因を見つけるスキルが必要 >>952
Q8_0で試したけど、スピード速いし、日本語もそれなりだけど、規制強すぎだし
小説書かせると話の整合性もいまいちかな
heretic版とか出たら面白いかも 最近grokは使い難いな。
デッドロックというか、自分の出力した文章内容に不適切な内容があると続きを書かなってしまうみたいな事が起きてる。 70Bくらいでおすすめってある？
やっぱりもっとでかいか24GBに乗るくらいまでのが人気なのかな Heretic-Qwen3-VL-235B-A22B-Instructいい感じなんだけど読点句読点とか鉤括弧がめちゃくちゃ多いのはモデルの特徴なんかな
いい感じに抑制したいけど適当に指示すると今度は全く使わないで文章書こうとしだすから難しい >>957
Qwen3 235Bはひと昔前のGeminiやClaudeに迫る性能だが
現行バージョンほどのプロンプト追従性は無いな
GeminiやClaude向けのRPプロンプトがまともに動くこともあればダメな時もある
Qwen3 Next 235Bが待たれる 俺のVRAM40GB環境では70B〜80BならギリVRAMに乗るが
235BはVRAM128GB級でないとVRAMに乗り切らない
⚙70B〜80B…チャット、リアルタイムアプリ
⚙235B〜…バッチ処理
と用途別に使い分けるのが現実解
MoEのエキスパート配置が賢くなればVRAM32GB以下でも235Bがサクサク動きそうだが現状では夢物語 見栄張んなよ
本当は8GBとかのグラボ使ってんだろw？ >>962
しつこい奴やなぁ
s://files.catbox.moe/8qinpa.mp4 量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど
コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない >>963
粘着質なやつに構うと調子乗るからほっといたほうがいいよ VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？ >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ >>967
GLM4.5Air使えば？
110BのMoEだぞ >>923
winが昔みたいに勢いあったらWin APIゴリゴリ書いてくれるようなAI出してたんだろなー >>970
よくオープンウェイトを続けられたな
745B-A40Bだって
s://huggingface.co/zai-org/GLM-5
おかげでまだしばらく激安AIコーディングが続けられそうや 単独で使うものではないんでは
アシスタントで使うかオーケストレーションで使うかでないの
Vide codingの時代から事前プランニングの時代に一気に変化しつつあるから、合否/採点が容易なタスクは全部切り出して安いコーディングLLMでループさせる形になりそう
SOTAモデルで採点カンストするまで回したカンストSkillsをGLMに使わせる、とかになるのかな コーディングは一度でもClaudeかCodexの手軽さを味わったらローカルに戻れないよ
ほんとに小さいスクリプト単位なら使用の余地はあるんだろうけど
ローカルがClaudeに追いつける日はくるのだろうか
中華LLM + openclawに期待するしかなさそう 安いので試してだめだったら高いの使う、という手間がもうめんどいので最初から高いやつ使うよね 誰か >>966にアドバイスしてクレメンス・・・
空きが無いと話がループして止まらないとかVRAMとモデル選択のバランスがようわからんのや >>977
待てるならvramいっぱいにモデルを詰めていいし、そうでないならkvキャッシュ用に空けておくべき
モデルによってkv量子化だったりオフロードしなかった時の精度や速度が違うから試しながら調節してみ Kilinskiy/Step-3.5-Flash-Ablitirated
これ試してみるか
ところでabliratedとhereticってどっちが精度落ちないんかな？ >>979
hereticはわりと新しい方式で精度良いはず
モデルカードの下の方に拒絶率と精度低下率が書いてあったりする heretic 8bitならメモリ256GあればギリいけるかもってAIに言われたが実際やってるニキいる？
あ、step3.5でね Q8はパラメータ数≒GBだから方式とか関係なく200Bなら乗るやろ 今ってQwen3-VL-235BとGLM4.6V以外に>100Bで日本語NSFWいけるVLMある？ >>978
サンガツやで
これcontext長＝kvキャッシュなんやろか
事前に確保するとVRAM量が増えるからkvキャッシュと思ったんやが会話が長くしたいなら12GB(model)+4GB(KVcache)
数回のやりとりで良いなら15GB(model)+1GB(KVcache)なんかなと思ったけど考え方はあってるやろか >>985
サンガツ4GB増えた分だけエロもどれだけ変わるかわからんがまだmugnum v4の8GBやわ
今は良いのが出てるかも知れんけどスレでnsfwで検索しても0件でワイむせび泣く エロに何を求めるかで話が全く違ってくるからな
セックスシーンさえあればいいならQwen235bとかの中華モデルでも脱獄すれば余裕で出るが
エロシーンの描写に厚みを持たせたいならGrokみたいな既知外学習したモデルを使うかプロンプトで補充するしかない
古臭い24B以下のモデルに固執するのは画像生成でSD1.5に固執するのと同じでスレ民の共感は得られないだろう >>987
いや、古いのに固執してなくて浦島なのでモデル何か無いかなと
nsfwで検索したら0件だったが本文じゃなくて名前欄で検索してたわ
と言うことで出てきたaratakoなどやってみるわ >>988
よっぽどのモノ好きしかLLMの日本語エロチューンなんかやらんからな
実質aratakoニキだけやないか
ワイはGrokがプンルーで無料Alphaやってた時にあらゆるエロシーンを100本以上抜いとるから
そのうち脱獄中華モデルでチャンク化してRAGに放り込むつもりや これまた何の役にも立たなそうなwikiがあったもんだな・・・ SDの方はいろんなLoraだの拡張機能だのすごくあるだが、LLMも考え方は同じだろうから、もっと細かくピンポイントにエロ表現の特化とかできるはずだよね
需要が少ないだけで
と言うかSDの需要が異常なんだろうな 英語圏では盛んに行われてるわけだから言語による分断の問題では SDの方は、ぶつかり合うプロンプトをあえてぶつけて崩壊させる反転術式とかあるから
すごいよ、そこまで来るともう訳が分からん たくさんのモデルが作られてるのに高評価されてるモデルは英語圏でも極一部
それだけLLMは難しい 今の5090の値段を見てたら、PRO 5000 48GBあたりもアリじゃないかという気がしてくるな
画像生成AIでは不利っぽいけど4090くらいの速度はあるみたいだしVRゲームもしっかり動く？っぽいしどうなんだろ？
5090とか4090しか話題にならないけど最近PROの方も気になる
ただ、VRAMをそこまで増やしても、そもそも、賢いモデルが公開されてるのかって問題もありそうだけどどうなんだろ？
今VRAM32GBで色々試してるけど別のモデルなのに同じところで間違えたりWikipediaに乗ってるレベルの情報でも込み入った話だとかなり適当なこと言ってくる
あと昔はGPUに5万円とかでもクソビビってたのに、最近はGPUの価格が50万円でも言うほど高いと思わなくなってきてるヤバイわ ソースありなのに適当なことを言うのはGPTでもGeminiでも同じだからローカルLLMの性能なんて推して知るべし >>996
80bや235bでもパラ数はクラウド最先端モデルの数分の1〜10分の1や
RAG無しで細かい知識を問うのはローカルでは無理やぞ
知識量を問わない用途かRAGとかドメイン特化DBありきでの用途が出てきたらWS向けGPUを買えばええ 明確な答えのある物事を聞く時点でLLMの使い方間違ってるとしか Wikipediaで言えばWeb検索MCPを入れるかWikipediaのダンプを落としてRAGを作れば
少なくともWikipediaの範囲ではハルシを起こさないはずや
知らないことを答えられないのは人間もLLMも一緒やで このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 82日 17時間 48分 58秒 レス数が1000を超えています。これ以上書き込みはできません。
