なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ aya expanseは楽しい
メモリぎりぎりの大きさの無修正のやつを1秒1トークンくらいで回してる
かつての有人エロチャットの返事を待つ感覚 >>666
ありがとうございます
一応4090ちゃん装備してるんで14Bとかも行けると思います
ayaちゃん使ってみます
>>667
そちらも調べてみます、ありがとうございます 何をもってしてゴールなのか書いてもらわんと建設的な質問にはならんと思うで…… Grok2が雑談性能高いって聞いたから試してみたけどTwitter食った?わりには微妙
ふつうにClaude Gemini DeepSeekあたりのほうがいいような
こいつら3つになんJ民のペルソナを与えてレスバを仕掛けるとスリ切れたボロ布みたいな罵詈雑言あびせてきてホンマ口悪い 人によって雑談の質が違うからね違いが出るのはしょうがないね 画像生成でもそうなんやけど
モデルの性能とプロンプトの良し悪しで
何をもって評価できてるのか解らんもんなあ
ワイの場合はまず「丁寧語にしない」が目標で
7Bあたりだと無理だったけど
今は違うかもしれん
QwQ-32Bだとたまにこっちを息子だと認識してくるのはまだ足りてない
どっちが悪いのかはこれからの調査次第やな シチュエーションと用途が分からんからなんとも言えんが
チャット形式で丁寧語にしないだけならほとんどの7Bモデルで普通に出来るはず 専門的な評価法知らんので
剣心の世界観を説明させたあとにキャラで雑談させて性能見てる >>676
ChatGPT3.5あたりでも会話長くなるとちょくちょく漏れてたんや
今のverになってからはほぼ完璧になってつい課金してもうた
QwQ-32Bはセリフ長くなると後半設定忘れたりするし
そのへん破綻しない分量に抑えられればうまく行くかもしれんね
そのあたりがワイのプロンプトぢからの無さやろな……
>>678
ええね
生徒会問題みたいにスレ共通のテストテンプレほしいわ そういえば確かにEvalがどうのこうのってLLMの評価を雰囲気で見てはいるけど
実際にどう評価してんのか全然知らんわ
一時期自分でも評価してみたいと調べてみたけどなんもわからんくて投げた記憶がある モデルによって得意なことが違ったり適切な設定が違ったりするから
一概にどれが高性能とは言えんのよな
ベンチマークもLLMの進化に対して評価方法の進化が追い付いてないらしいしベンチマークだけ良い肩透かしモデルもあるみたいだし >>662ニキが試してくれとるように
青空文庫の短編小説を食わせて
まとめさせる、
→「120文字以内でまとめて」
感想を聞く
演じさせる
→「主人公のモノマネしてみて」
ていうのはどうやろうか？
他に何か判断できる質問や喰わせるにええ小説とかないかな やらせたいジャンルのクイズを出題させると性能や向き不向きが分かるで
だいたいボロボロの出力になるからベンチマークにぴったり 1b, 4b, 12b, 27bか
色々選択肢あっていいね QwQ-32Bの後だとプレッシャーが凄そう
QwQは今まで試したローカルモデルでは一番賢い気がする zuntanさんのEasyReforgeを使わせてもらってます
起動後ドメインcloudfontサーバーに接続されてるみたいなんですが
オフラインで実行したいので接続させないようにしたいです
python.exeが接続しているようなのでファイアウォールでこちらを遮断すべきか
もしくはReforgeのUI内の設定で接続を切る方法があるのでしょうか（恐らく拡張機能か何かが接続しているのかと思ってます） >>688
競合も何も27bはgemma2からあるサイズ llama.cpp最新でビルドし直してgemma3とりあえず動いたわ
まだ画像認識は対応してないけど、雑談用途で動かした感じはかなり好感触 >>693
せやで
なんか昨日ぐらいまでは4GBくらいで分割されとってダウンロードめんどくさかったけど
いつの間にか結合されとるな 小さいパラメータ数でもかなり使えるレベルまで賢くなってきたな
小さいと言ってもまだ30Bくらいあるが 多分だけどNTTやNECのクローズドLLMより断然賢いと思う😅 UnslothのはDeepseekR1の時みたいな特別なことやっとるんやろか？
というかDeepseekR1のGGUFで名前を初めて聞いたけど
もともといろんなモデルのGGUFをリリースしてるとこなんやな AIがほとんど同じような返答を繰り返すのは何とかならんのか？ mcp経由でLLMにウェブ検索機能を付けるやつ、
1. Firecrawlをdockerでローカル実行
2. Firecrawl MCP Serverをインストールして実行
が強いな
ドキュメントがちゃんと用意されてるからclaude君に食わせれば細かい書き方は全部やってくれる
ある程度賢いモデルならLibraChat利用してローカルLLMに使わせることもできるはず >>700
同じ返答を繰り返す原因はいくつかあるんだけど
どのモデルでどれぐらい会話をしたときにどういう返答を繰り返してるんだ？ M4 Max 128Gが使えるようになったので llama-3.3-swallow-70b-instruct の8bit版を試した
速度は4bitの12tk/secから6.6tk/sに落ちたがハルシネーションが激減した
llama3.3なら6bit以下だとダメなのかもしんない。部分的な量子化が進んでほしい すごい赤ちゃん質問かもしれんけど
gemma-3-27b-it
gemma-3-27b-pt
て何が違うんや？
ワイはスキルないからGGUFじゃなくてファイル分割されとるとお手上げやから
なんも試せんけども…… >>701
なにそれめちゃくちゃ楽しそう
デスクトップ秘書に質問したらええ感じで検索してくれる……てこともできそう
しかしワイdockerすらいじれない低スペやった ちょっと前まで巨大モデル動かすのが目標だったけど最近の新しいモデルを見ると32Bさえ動かせれば十分かもしれんな
60GBあれば足りるか MoEも各専門家がだいたい30B前後だもんね
手動で専門家選ぶか.. >>705
it = Instruction Tuned チャット用
pt = Pre-trained 自分で追加学習したい用
itのほうをおすすめ
LM Studioとか使えばファイル分割されてても勝手にやってくれるよ
細かいモデルの違いに対応してなかったりするけど、そこは諦める Vram使わん場合
使っとらんPCが32GあるけどDDR3やからサッパリやろなあ……
メインPCはDDR4やけど
n100でDDR5使うminiPCのほうが速いかもしれんなあ
>>709
ありがとうやで！普段遣いはitでええのね
いつかトレーニングできるとええなあ
LM Studioやったことないけどメモっとくで！ >>709
横からやけど、jpとかkrとかのノリでイタリア語FT版とポルトガル語FT版とかかな？と勘違いしてたで！
サンガツや〜 koboldだと分割再生できるけどメモリ余計に食うから結合させて使ってる いまさっき動画生成試したらメモリ68G消費したわ
ちょうど128Gに増設したとこやったんでギリギリセーフ
ちゅうてもDDR4やから当面はQwQ-32Bでキャラ設定を詰めていきたい
webで量子化による違いが書かれとったんやけど、他のモデルもこんな感じなんやろか？
ちょうどQwQ-32Bもええ感じと言われとるんがQ4_K_Mよね
obsidianにコピペしといたもので、元記事のリンクまでない、ここのニキが書いたものならスマンやで
llama.cppモデルのバリエーション一覧（7Bの例）
Q2_K : 2.67G : +0.8698 - 最小型、極端な質低下<非推奨>
Q3_K_S : 2.75G : +0.5505 - 超小型、かなり大幅な質低下
Q3_K_M : 3.06G : +0.2437 - 超小型、かなり大幅な質低下
Q3_K_L : 3.35G : +0.1803 - 小型、大幅な質低下
Q4_K_S : 3.56G : +0.1149 - 小型、明確な質低下
Q4_K_M : 3.80G : +0.0535 - 中型、マイルドな質低下【推奨】
Q5_K_S : 4.33G : +0.0353 - 大型、わずかな質低下【推奨】
Q5_K_M : 4.45G : +0.0142 - 大型、かなりわずかな質低下【推奨】
Q6_K : 5.15G : +0.0044 - 超大型、ごくわずかな質低下
Q4_0 : 3.50G : +0.2499 - 小型、かなり大幅な質低下<レガシー>
Q4_1 : 3.90G : +0.1846 - 小型、大幅な質低下<レガシー>
Q5_0 : 4.30G : +0.0796 - 中型、マイルドな質低下<レガシー>
Q5_1 : 4.70G : +0.0415 - 中型、わずかな質低下<レガシー>
Q8_0 : 6.70G : +0.0004 - 超大型、ごくわずかな質低下<非推奨>
F16 : 13.00G : - - 極大型、事実上の質低下なし<非推奨>
F32 : 26.00G : - - クソデカ、質低下なし<非推奨>
Kのついたものが「k-quantメソッド」なる新方式による量子化モデル。
Kのない4bit/5bit量子化（q4_0, q4_1, q5_0, q5_1）は旧方式のレガシーなので基本的に選ばない。
Perplexityはモデルによる単語の予測力を示す指標で、低いほどいいらしい。
Perplexity Lossの値が大きいほど、量子化による劣化も大きい。
例えば、2bitのk-quant量子化モデル(Q2_K)は、サイズは最小だが質の低下が著しく「非推奨」
一方で、Q4_K_M〜Q5_K_Mはサイズと質のバランスがよく「推奨」と記されている。 QwQ-32Bを日本語向けにチューニングするのがいつ出てくるか q2とかq3て使わなくていいじゃんとか思っちゃう😅
サイズ下げてq5以上使うほうが良いような気がして もしハードがあっても日本語QAデータセットが貧弱なのがネックだなと思う
画像にdanbooru、音声にギャルゲがあったように何か日本語QAデータの金脈を見つければ少しは良くなりそう >>713
基本的に大きいモデルになるほど量子化耐性が強くなるから3bitでも対して劣化しないモデルもある
どちらにせよ4bit以下はimatrix量子化はマスト >>650
この間はアドバイスありがとう。
色々試して結局ちょっとしか弄らなかったんだけど、おかげでコマンドの意味について調べるきっかけができたから良かった。
レイヤー数48からVRAMから漏れてるのか急激に遅くなるけど、47までは動くし数字大きい方が早く動くから、早くて安定するレイヤー数45でやっていくことにした。
（モデルはqwq-32b-q4_k_m・ｺﾝﾃｷｽﾄｻｲｽﾞは4096固定で レイヤー数30で3.0t/s、レイヤー数40で4.0t/s レイヤー数45で4.4t/s程度）
もらったアドバイスでもChatGPTに聞いたところでもVRAM的にレイヤー数下げた方が良いって言われてたけど、ほとんどVRAMに乗るからそこだけ謎（レイヤー数30だと専有VRAM10.6GB共有VRAM0.1GB、レイヤー数40で専有13.3共有0.2、レイヤー数45で専有14.0共有0.5）
レイヤー数45の時でも専有GPUメモリ2GBほど余裕あるのに共有GPUメモリが使われてるのも不思議に思った。激重になるレイヤー数48でも専有GPUメモリ15.5GB、共有GPUメモリ0.5GBとかだったからVRAM16GBあっても16.0GBまるまる使えるわけじゃないのかな。 ChatGPTに聞いて用語についてある程度理解したからメモ。他の赤ちゃんに役立ったら良いけど間違ってたらすまんこ。
コンテキストサイズ：モデルが一度に処理できるトークン数（≒文章の長さ） VRAMに影響：4070tisの場合4096~8192が推奨 （長期的に話したときの記憶力にも影響？）
レイヤー数：推論の精度や速度に影響。LLMモデルは複数レイヤーで構成されているが、そののうち何層目までをVRAMに乗せるかを決める。指定した数の層までがVRAMに乗せられ、それ以外はCPUやRAMに乗せられる。
ｺﾝﾃｷｽﾄｻｲｽﾞを上げるとVRAMに乗せられるレイヤー数は減る。（同環境だと ｺﾝﾃｷｽﾄ4096なら25~30層、 8192なら15~20層推奨） >>714
QwQのbakeneko版欲しいな
ネーミングが顔文字っぽいし DeepSeekのQ4_K_Sが5.6~5.7t/sで動いて快適だからQwQにも同じのが出たら良いなぁ。 >>719
コンテキストのメモリ使用量はembedding size×トークン長×2(fp16の場合)で求められる
あとllama.cppの場合vramに乗せるのはモデルが優先だからトークン長を増やしてもあふれるのはコンテキストだけのはず context size
context length
context window
の違いがよく分からん LLM関連の話はLLMくんが猛烈に詳しいから素直に聞いたほうがはやい m3 ultraでr1動かした動画がyoutubeに上がってる qwqとかgemma3とかのおかげで結局project digitsでええかって心境になってきた
project digitsとm3 ultraが出るまでまだ状況変わるやろうからどうなるかわからんけど
llama4も上半期って話があったはずやからそろそろやろうしなぁ・・・
いやぁなんか1月以降目まぐるしく状況変わって大変や
いろいろ考えてるだけでまだ何も買ってへんから全然ええんやけど
どうしようかいろいろ考えてる時が一番楽しい cohereの新型フラグシップモデルが出た
汎用的な推論タスクはdeepseekR1と同等以上とLLMは言ってるが如何に koboldはまだgemma3に対応してないから素のllama.cpp使うしかない cohereちゃん生きとったんか。めちゃくちゃ気になるけど111Bはデカいンゴねぇ…… cohereのCR+からまだ1年しかたってないのか
あんなに衝撃的だったCR+(105B)も今や14Bのモデル(Phi-4)と同等性能とか >>732
デモ試したが、いい感じだな。
ところで、qwq化け猫のQ8_0がkoboldで動かない（thinkしか出ない）のはワイだけ？ >>726
中国語のやつ？
70Bでめっちゃ速くなってるな
600Bの実演はないかな？ >>740
24GBで動かせる上限に近いから4090持っとる様な個人のマニアがボリュームゾーンなんやろな 5090に買い替えたら32BのQ6辺りにTTS組み合わせてもVRAM内で収まるようになると考えるとめちゃ嬉しい >>736
これよ
M3 Ultra Runs DeepSeek R1 With 671 Billion Parameters Using 448GB Of Unified Memory, Delivering High Bandwidth Performance At Under 200W Power Consumption, With No Need For A Multi-GPU Setup
https://wccftech.com/m3-ultra-chip-handles-deepseek-r1-model-with-671-billion-parameters/ >>743
671BがQ4とはいえ12t/sかよ
ずげーな Cohere生きっとんたかワレ!
でもGPT-4o and DeepSeek-V3相当で
Command A｜$2.50 / 1M｜$10.00 / 1M
はちょっと高すぎやな cohereは富士通と協業しとるみたいやから日本語得意なんか？
cr+も日本語得意なイメージはあったけども >>746
というより多言語を前から意識してる感
ブログにも120↑言語を学習してアラビア語もイケるで みたいなこと書いとるし
LlamaとかMistralあたりの「ジャップ語?すまんワイら英語話者なんでw」なとこと比べてようやっとる印象 MoEモデルならMacでも速度出るって言われてたな
MoEだとそんなにGPUパワーを要求しないのかな commnad-A webでは申し訳食らうプロンプトもローカルでは通るな
ところで、qwq-bakeneko koboldで動いてる人いる？ >>750
でもrate limitあるんでしょ？使い放題じゃないよね？ cohereの無料APIなんか特殊だったな。
1000回/月だけど、使い切ってから一ヶ月経たないと補充されないから2垢必須だった。
Command R+の頃の知識だから今は変わってるかもしれんが。 >>754
googleメールのアカウント分だけトライアルAPI作れるから… command-A
メモリ64Gでの量子化はiQ4_xsまでいけるな。
R+よりエロい >>756
複垢防止が厳密じゃないということか でも他所もそんなもんじゃないの？
トライアルキーてこれか……新規キー作ればまたそっちで1000回呼び出せるんか？そんな甘くはない？
https://docs.cohere.com/docs/rate-limits
"In addition, all endpoints are limited to 1,000 calls per month with a trial key."
このサイズをローカルで動かせる環境ないのでAPIで試してみるか
あとsarashina2.2-3bも軽い割にはいい感じなんだけど10B程度でもう少し頭いいのが欲しい 今ダウンロードしてるんだけどsarashina2.2ってエロチャも行けるのかな？
極小モデルは大体厳しめの検閲入ってるのしかないイメージがあるけど
spaceで試した感じでは3bの割に賢かった qwq-bakeneko-32b使ってるとなぜか⚗が連続で表示される… やっべ
nagnum 123B超えたわ＞command-A
日本語のエロ表現良すぎるｗ command-aは公式がエージェント推しやったから表現力にはあんま期待しとらんかったけどそんなええんか… わかってる人にはくだらない質問で申し訳ないんだが
QwQをSillyTavernからちゃんと使えてる人いたら設定を教えてもらえないだろうか
モデルは例えばmradermacher/QwQ-32B-abliterated-i1-GGUFのQ4_K_Mで
llama.cppから次の引数で立ち上げてる
llama-server --model QwQ-32B-abliterated.i1-Q4_K_M.gguf \
--threads 16 \
--ctx-size 32768 \
--n-gpu-layers 99 \
--prio 2 \
--temp 0.6 \
--repeat-penalty 1.1 \
--dry-multiplier 0.5 \
--min-p 0.01 \
--top-k 40 \
--top-p 0.95 \
--samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" \
--host 0.0.0.0 \
--port XXXX
STの設定は次の通り
https://litter.catbox.moe/03x39v.png
https://litter.catbox.moe/umiwyw.png
会話例を貼るけど、正直ウチの環境だとあまり賢いようには見えなくて改善したい
(キャラカードは日本語wikiからの借り物でほかのモデルでは問題ない)
https://litter.catbox.moe/qt74jx.png >>764
qwen系はロールプレイはあんまり得意じゃないからそれだと思われ
あとabliteratedは少なからず性能が落ちるんでそれも一因かも llama.cppでgemma-3 12B Q5_K_L動かしてみたんだけど思ってた以上に日本の知識持っててびっくりした
マルチリンガルのモデルって知識が各国語に分散してて会話文とかが素っ気なくなりがちと思ってたけど、これは結構良いかも
あと設定間違えてCPUオンリーで動かしちゃったんだけどそれでも7token/s出てビビったわ。小さいモデルだと普通にCPUで実用可能な速度出るんだな command r+の８月版は規制強かったけど
今回のAは規制ゆるゆるだな
ただ文章が長くなると繰り返し現象が起きやすいのは同じか
日本語の表現力はかなり上がっている印象 ■ このスレッドは過去ログ倉庫に格納されています
