なんJLLM部 避難所 ★10
macはまだ値上げしてない？
M5 Studioも興味あったけど、どうなるんだろう Nemotron 3 Nanoはもう試せるの？
NVIDIA製のやつ？
というか知らんかったw 動くまでの実装は完了しとるから上のPRのブランチでビルドすれば動かせるで Nemotron 3 NanoはOpenRouterでfreeで使えるぞ
でもものすごい長考するし出力も暴れるしでチャットするのには苦労しそうな感じだ ユーザー「AI、今週末に新しく出来たピザ屋さんに行かない？」
AI「新しいピザ屋さん！？わくわくするわね〜！ユーザーは何を頼むのかな？今度、週末に行こうよ！ 🍕」
これだけのやりとりをするのに8000トークンも思考する
まあチャットやロールプレイング用のモデルじゃないから仕方ないんだろうけど ピザ屋へのお誘いで8000トークンは草
ローカルLLMやるようになってから人間がいちいち「ありがとう」とか言うせいで莫大な計算力が浪費されてるって話の重大さが理解できるようになったわ
理解できるようになっても辞めんけどな トークン数≒コンテキスト長だっけ？
そのペースなら一応答で前の記憶どんどん消えてくな リーズニングの部分ってコンテキストには含めてないんとちゃうかな
アプリ側の実装によるとは思うねんけど LM Studioだとリーズニングも含めてたような
アプリによるんだろうね ビジョンモデルのGLM4.6V試してるんだけど4.5Vとそんなに違いは感じないような気がする
ただ、小さいモデルの9BFlashが意外とすごい
それなりにオブジェクトを認識しているし、日本語の表現も自然。英語で返してくることも多いけどね
OCRはちょっと弱いけど割と日本語も認識する
使う場面によっては実用的かも？
後は新たに追加されたツール呼び出しだな
vLLMは性能がいいので使ってるんだけどThinkingとツール呼び出しの併用が出来ないっぽい・・・
Thinking有り無しで結構、得られる情報量が違うから惜しいな
もうちょっと調べてみるけど nVidia から新しいモデル
nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 昨今はベンチ項目が軒並みコーディング小説エージェントだから小説向きモデルがあるのかすら分からんな ミスった コーディング・数学・エージェントね
小説向けのベンチはEQBenchぐらいだけどあんまりリーダーボードにモデル追加されないんよな コーディングは与えられた問題を解決できるかで客観的に評価できるけど
小説の評価ってどうやるんだ 小説みたいないわゆるアートとか対人の受け答えは数値で評価できんから今の世の中ではAIに限らず軽視されがちやな >>357 例えばこんな感じ
https://eqbench.com/about.html#creative-writing-v3
結局は外部のLLMに評価基準与えて採点させてるんだからコーディングもライティングも変わらんで Stable DiffusionやってるとAIというより
モデルを作った人がどんな学習をさせたかを逆に想像しながら作っていく。
そしてそれが一致した時にほしい絵柄が得られる。
ほしい絵柄が生成された時が快感だ Stable Diffusionのプロンプトを作るのにGrok先生とレスバをしながら思考を繰り返す日々 shisa2.1 14Bあれからも色々パラメータ調整しながら試してるんやが微妙に会話力弱いのかも？
これどんな匂い？って聞いても無視して話を進めようとしたり
なんなんやろなこれ
昔の7Bでもちゃんと答えるようなことが出来てなかったりするわ さくらインターネットさぁ70Bとか個人でできるじゃん。300B以上でやってよ
AIスパコン「さくらONE」で挑むLLM・HPCベンチマーク (1) MLPerf Llama 2 70Bファインチューニング性能検証
https://knowledge.sakura.ad.jp/48233/ OpenRouterにMistral Small Creativeなるモデルが出たらしいけど試した人居る？
>Mistral Small Creative は、クリエイティブ ライティング、物語生成、ロールプレイ、キャラクター主導の対話、汎用的な指示の追跡、会話エージェント向けに設計された実験的な小型モデルです。
との事でちょっと期待している 4090で普通に動く
・エロ規制ありで優秀なモデル
・コーディングに強いモデル
・エロ規制なしの優秀なモデル
これらの用途におすすめモデルってどんなのがある
あと、初めて使うなら、どんな環境(Ollama？)も教えて貰えるとありがたい >>365
環境はWindowsならLM Studio使うのが楽でオススメ
エロ用途ならMistral-Small-24Bかこいつをベースにしたモデルが個人的には好み
エロかつ画像認識対応ならQwen3-VLの30BA3Bのabliterated版が良いかと
でも最終的には自分の好みとかあるから片っ端からダウンロードして試すのが一番だよ 同じモデルの同じsafetensorを使ってもollamaよりLM studioの方がエロにゆるい気がしないでもない…
実装が違うからなんだろうか 前もそんな風なこと言ってる人いたね
同じ規制解除版使ってるのにollamaとLM studioだと申し訳食らってkoboldcppだとエロいけた、だったっけか？
どこで差が出来るんだろ
デフォのシステムプロンプトとか？ 初心者で最近ローカルLLMを触り始めた
NeverSleep/Lumimaid-v0.2-12B (12B)GGUF版、ollamaでエロ小説を書かせたら動作は遅いのはともかく、セリフの整合性、語彙力、表現力が全然だわ
これってプロンプトが悪いのかPCスペックが悪いのか12Bっていう量子化されてるやつを使ってるから微妙なのか何が原因なんだろ
3060ti VRAM 8GB、メインメモリ32GBの弱小スペックにおすすめのモデルってある？
素直にGrok使っておけっていうのは最もなんだけどやっぱりGrokやGPTに近いような小説をローカルでやってみたいんよ ありがとう！！！
はじめの取っ掛かりが掴めずに居たから助かる >>369
初心者ならプロンプトの問題もかなりあるだろうけど、モデルの性能自体が低いからどうやってもGrokに近づくことはできない
GrokやGPTみたいなトップクラスのモデルと比べたらあかん
7B〜12Bぐらいのモデルは変な日本語や整合性の悪さ、コンテキストウィンドウの小ささを受け入れた上で遊ぶんだよ >>369
ローカルでエロ小説やりたいなら、旧mistral-large系一択
日本語ならamaterasuとかmagnum
123Gあってmoeじゃないからクソ遅いけどビンビンにくるぞｗ ローカルで何するにもPC高騰で冬の時代に
でもここは震源に近いから強く言えん所はある
PCゲーマーとしてはマイニングブームが終わったら次はAIブームでまたかよって文句言いたいけど llama.cppがGLM4.6Vに対応したみたいだぞ
LM StudioでもVisionは有効ですと出てるから動かせそうだ 