なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured OpenRouterにMistral Small Creativeなるモデルが出たらしいけど試した人居る？
>Mistral Small Creative は、クリエイティブ ライティング、物語生成、ロールプレイ、キャラクター主導の対話、汎用的な指示の追跡、会話エージェント向けに設計された実験的な小型モデルです。
との事でちょっと期待している 4090で普通に動く
・エロ規制ありで優秀なモデル
・コーディングに強いモデル
・エロ規制なしの優秀なモデル
これらの用途におすすめモデルってどんなのがある
あと、初めて使うなら、どんな環境(Ollama？)も教えて貰えるとありがたい >>365
環境はWindowsならLM Studio使うのが楽でオススメ
エロ用途ならMistral-Small-24Bかこいつをベースにしたモデルが個人的には好み
エロかつ画像認識対応ならQwen3-VLの30BA3Bのabliterated版が良いかと
でも最終的には自分の好みとかあるから片っ端からダウンロードして試すのが一番だよ 同じモデルの同じsafetensorを使ってもollamaよりLM studioの方がエロにゆるい気がしないでもない…
実装が違うからなんだろうか 前もそんな風なこと言ってる人いたね
同じ規制解除版使ってるのにollamaとLM studioだと申し訳食らってkoboldcppだとエロいけた、だったっけか？
どこで差が出来るんだろ
デフォのシステムプロンプトとか？ 初心者で最近ローカルLLMを触り始めた
NeverSleep/Lumimaid-v0.2-12B (12B)GGUF版、ollamaでエロ小説を書かせたら動作は遅いのはともかく、セリフの整合性、語彙力、表現力が全然だわ
これってプロンプトが悪いのかPCスペックが悪いのか12Bっていう量子化されてるやつを使ってるから微妙なのか何が原因なんだろ
3060ti VRAM 8GB、メインメモリ32GBの弱小スペックにおすすめのモデルってある？
素直にGrok使っておけっていうのは最もなんだけどやっぱりGrokやGPTに近いような小説をローカルでやってみたいんよ ありがとう！！！
はじめの取っ掛かりが掴めずに居たから助かる >>369
初心者ならプロンプトの問題もかなりあるだろうけど、モデルの性能自体が低いからどうやってもGrokに近づくことはできない
GrokやGPTみたいなトップクラスのモデルと比べたらあかん
7B〜12Bぐらいのモデルは変な日本語や整合性の悪さ、コンテキストウィンドウの小ささを受け入れた上で遊ぶんだよ >>369
ローカルでエロ小説やりたいなら、旧mistral-large系一択
日本語ならamaterasuとかmagnum
123Gあってmoeじゃないからクソ遅いけどビンビンにくるぞｗ ローカルで何するにもPC高騰で冬の時代に
でもここは震源に近いから強く言えん所はある
PCゲーマーとしてはマイニングブームが終わったら次はAIブームでまたかよって文句言いたいけど llama.cppがGLM4.6Vに対応したみたいだぞ
LM StudioでもVisionは有効ですと出てるから動かせそうだ マルチモーダル系のモデルの規制解除版の説明に規制解除はテキストのみで画像部分は解除されてないってよく書いてるけど
あれってどうゆう事？
画像生成するわけでもないし、出力のテキストが規制なかったらいいんじゃないの？ 