なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ LLMで再評価して自動修正出来ていい部分だと思うんだよな
LangFlowとかに手を出す必要があるんだろうか なんか今やってるセッション調子よくて、変な繰り返し少ないわ
同じルミメイドマグナム12bでも全然繰り返してたことあるんで原因不明
やたら長いシステムプロンプトが効いてるのか、
目まぐるしく変わる展開が効いてるのか、LMStudioのアプデ後が調子いいのかは分からん
繰り返しには困ってるからむしろ再現性欲しいぐらいなのだが 尻タブだとアプデすると繰り返しや出力文がおかしくなるからバックアップ取って一旦設定とかリセットすると治ったりするってたまに言われてる 一人称とかの頻出単語も修正することになったりしないの？
繰り返しペナルティで問題になるのも確か頻出単語が引っ掛かることだったはず 実際、変な癖覚える前に編集して改ざんしつつ続きから簡単に書かせられるのはLLMの大きなメリットだと思う
気になったら途中で出力止めて、少しだけ編集して助走つけつつ続きから書かせる形式がかなり良さげ
もうちょっとだけ文章欲しい時とか
「
だけ書くとセリフ書いてくれるし、その展開好みじゃないんだよなぁって時は主役側のセリフちょっと弄れば結構思い通りの展開になってくれる
TRPGのちょっと難しい処理とか、計算ミスしまくるんだけどそれはもう手動で修正することにしたし koboldとかだと>>366みたいに自分でちょっと書いて続きを書かせられるけど
これって尻タブでも出来る？
aaya-expance-8b試してみたけど結構良いね
ただ「私は女戦士だ。戦闘なら任せておけ」みたいな強そうな喋り方をなかなかしてくれないな
対話の例を書いても会話履歴を修正しても「私は女戦士よ。戦闘なら任せてね」みたいな女っぽい喋り方になりがち
他のモデルならちゃんと喋ってくれるんだけど 同じセリフを繰り返すなら、同じセリフを繰り返すキャラとエッチすればいいんじゃね？
と思って4種類のセリフだけを喋るNPC姦をやってみたけど相性抜群だな
延々と特定のセリフを繰り返すしエッチなことをすればセリフに喘ぎ声だけを足すことも出来る
設定をしっかり練らないとセリフには無いことを喋り出すけど geminiも繰り返し多いんだよな
claudeはちょっとマシになる
chatGPTが一番繰り返しは少ない LCMだとエロという概念を全て申し訳してしまう可能性 それ例えば練乳ぶっかけをエロと捉えるのか健全と捉えるのか気になるなw 4時間かけて学んだこと
ロードできるからって下手にコンテキストサイズ大きくして読み込んだら一発目から出力がおかしくなる
あと長いチャットしててコンテキスト上限に行くと直前の出力を繰り返す
パラやテンプレートが合ってないのかと思って時間溶けた.... 出力内容ってコンテキストサイズに影響されたっけ？
上限行ったら文章壊れるのはその通りだけど コンテキストシフトとかそういうのあるはず
上限に来たら古いものから忘れて容量を回復 10000トークンとかで入力読み込んだり3000程度にしたりと色々試すけど、そこが原因で壊れるかは怪しい気もする
はいそれ以上は無理ですみたいな感じに、なった記憶はあんまない >>366
まんまNovelAIの思想な気がする
生成確率のトップN単語の候補からポチポチ改変できたりメッチャUIUXが良いんだけど
どうもこのスレでは人気ないんだよなぁ メモwikiに掲示板を設定したついでにキャラカードを一つ配布してるから恥ずかしいけどよかったらどうぞ
気に入ったらやり取りをうｐしてくれると凄く嬉しい >>379
参考にさせてもらったよ
尻タブのテキストの修飾形式が載ってるページってどこにあるの？
**で囲うとかそういうやつ **とかはMarkdown記法だったような
違ったらごめん Markdownなのかな？
「」で囲っても色変わるんだけど まずmarkdown、次にhtmlの記法を覚えるのがいいかと。 LLMを使うならマークダウンは絶対に覚えたほうがいい 尻で使えるフォーマットを見るなら尻の入力欄に /? format で視覚的に確認できる
/? macros で確認できるマクロとかも頭が良ければ使えそうだけど、AI出力の頭に{{random:Joy,Anger,Grief,Pleasure,Hate}}:{{roll:d100}}で毎回違う感情値で文章を書かせる程度しかわからん hertogateis/SmallBot
これってdeepseekなんかな？
日本語性能すごくいい >>386
人格付与してみたけど2手目で剥がれちゃうな…
性能は結構良い印象だけど一部の指示追従性に難ありか？ hertogateis/deepseekchat
こっちの方はところどころ英文が混じるな
設定見ると同じdeekseek v3みたいだけど何でこんな差が出るんだろ 同じモデルでもどこが出してるかとかのちょっとの差でかなり差が出るイメージある 商用LLMはAIをどう使い倒すかハックするかという話だけど、ローカルLLMはAIを使って自分を使い倒してハックさせるのが強い気がする
ジャーナリングの要領で感想の感想まで深堀して聞き出すプロンプトを作ってもらって今日見たものの話をしてると、欲望がドロドロ吐き出されて文章を打つ手が震えてくる
音声入力音声応答まで揃った環境で同じことやると危険そう >>390
前に音声入力、応答ができるコード作ったことあるんだけどいる？
いるならgithubにでも上げるけど ありがたいけど、いまの性能だとシチュエーションとしては良くても快適では無いってなりそうなんだよな
TTS等のレスポンスもそうだけどタイピング並の速度で喋るのも困難なことですし
カウンセラー的振る舞いではなく合いの手や適切なまとめ方が出来るところまでローカルLLMが賢くなれば変わってくるのかな
こっちがノッてるときは最小限の合いの手、疲れてきてるなと思ったらブレイク入れてくれるとか ninjaのnsfw系モデル、エロ関係のセリフの語彙の理解度は多分一番高いな
こっちの指示あんま理解しないんで一瞬出力して他のモデルにそれ真似させるといい感じ deepseek-ai/DeepSeek-R1がhuggingfaceに上がってる〜
そしてOpenAI(笑)
[OpenAI は、o3 で記録を樹立する前に、独立した数学ベンチマークに密かに資金を提供しました: r/LocalLLaMA](https://www.reddit.com/r/LocalLLaMA/comments/1i55e2c/openai_quietly_funded_independent_math_benchmark/) どういう裏口入学を想定してるんだろう？
いくらでもユーザーが追試出来る以上事前学習でベンチマーク対策というのも無理筋ですし digital mateとSBV2 APIサーバーの接続、うまくいかん理由が分からず唸ってたんだが、コレ単にDigital MateかVITS-APIプラグインにバグがあるやつだな
キャラクターを編集→音声→音声朗読エンジンでVITS-API選択
VITS API SiteでNew Site押して、 タイトルを SBV2にする
URLの 127.0.0.1:23456/voice/vits&id=
の部分を 127.0.0.1:5000/voice&model_id= に置き換え
Speakersをモデルidの数だけ増やしておく
決定後VITS API Siteのプルタブの一番下にSBV2があるから選択
決定を押すと狂いだしてLocalhostのあらゆるポートから喋りかけてきて怖いのでタスクトレイから強制終了
再起動、キャラクターを編集でモデルidを選択、プレビュー再生、であとは問題なく喋ってくれる、パラメータも効いてる DeepSeek-R1-Distillっていう蒸留モデルもリリースされてるやん
R1出力をデータセットにしてQwen2.5あたりをベースに知識蒸留させたっぽい 試したが、量子化モデルだとやたら他国語出るし、量子化しないと小さいモデルしか使えないのでちと微妙かも。 moeって使うところだけVRAMにロードってできんのかな
読み出し元がnvmeならまぁまぁな速度で動作すると思うんだけど
全部読み込もうとしたら671Bはさすがに量子化しても一般人には扱えんわ https://files.catbox.moe/xyfjir.jpg
calm3、試しにコンテクストに自分の小説入れたらかなり文体模写してくれてて偉いわ
語調や文のつなぎ方が明らかに小説形式になってくれている 二人羽織をして遊ぶの難しいな
7Bモデルじゃなかなか理解してくれない DeepSeek-R1-Distill使ってみたけどAIが自分の頭の中を出力して考えをまとめていくの面白い
ui側が対応してないから心の声だだ漏れなのがすごいかわいい。日本語力は壊滅的だけどね SillyTavern + OpenRouter
でDeepsheek R1使えてるやつおる?
なんか
Chat Completion API
Provider returned error
ってなっちゃうわ
V3は使えるんやけど >>405
LMstudioもなんかエラー出て使えんね
よくわかんなかったけど、多分llamaだかの動かしてる側のアップデート待ちっぽい気配を感じた 尻タブにもAIの考えを出力させる拡張機能あるよな
一度考えさせることで応答精度を高めるものだけど
俺には上手く使えなかったが…… Balaur of thoughtかな？CoT系はよくわからん... >>406
LM Studio 0.3.7 (Build 2)でDeepSeek R1に対応したね
うちではいい感じに動いてるわ β板のLM Studio0.3.8にするとThinkingって表示が追加されてDeepSeek R1派生のモデルがちゃんと表示されるようになる
0.3.7だとThinkingの工程まで表示されてしまっていたけど
DeepSeek R1 は思考プロセスが他と違うのかな
まぁ、まだ文系の作業が得意なモデルは見当たらないんで、コーディングとかして遊ぶ用かな。今のとこ。 deepseekR1すごいな。繰り返し癖がなくなってる。
GithubにあったLobechatっていうとこでapiを試してる。ここいろんなモデル試せて便利よ。
https://chat-preview.lobehub.com/ deepseek r1 70BもK4Mだと頭悪いよほほーん。
K8ならデモサイトくらい賢いのかな
例の5月発売マシン、はよ。(ローカルはロマン 日本語で使ってるならベースモデルがqwenの32bの方が性能いいかもね deepseek r1の70bはllamaベースで日本語に対応してないから日本語で使うならr1 32bの方がいいんじゃね？って話 ollamaがアプデで8B以外のモデルにも対応したから、Windows版exeでインストール、ターミナル開く、ollama run deepseek-r1:32b だけやればとりあえず動くね
すぐに他の環境も対応してくるだろうけど koboldでもdeepseek-r1動くようになったけど
7Bモデルだと「チャーハンの作り方教えて」って質問しても
udonの作り方を日本語、中国語、英語交じりの意味不明な文章で教えてくれる程度の能力だわ
何か設定間違えてるのかな 蒸留モデルだとまだ元のQwenの方がいいんじゃないかと言ってる人がいるね。Qwenのこのスレでの評価ってどうだったっけ。
言語変換部分の問題のような気がするから適切なプロンプトで回避できそうではあり。
14BのQ4_K_Mは出力たまに乱れるけど3060でそこそこ動いた。未成年非同意食える感じ。
8Bだとすぐ中国語吐き始めて発狂するね。
使ってるのはmmngaニキの量子化。量子化でバグってる可能性もそういや昔はよくあったな。 DeepSeek-R1-DistillにはLlamaを混ぜてあるのとQwenのと2種類あるいから
日本語の応答はQwen版のがマシじゃね？って話かと8BはLlamaだな
DeepSeek-R1-Distill-Qwen-14BとQwen-32B使ってる人よく見るが ウチはlm studioだとちゃんと動くけど英語で考えて英語で答えてくる
だから一回「日本語で会話しろ/分かりました」をログに残す必要がある >>406
LMStudioとモジュールをアップデートすれば使えるはず
deepseekR1よりも重いけど、最近ではBehemoth-v2.2-Magnum-v4-123B.i1-Q2_Kが日本語でエロロールプレイをするにはいい感じだったわ LM Studioええな〜使いやすいわ
ソフトウェアもLllama.cppとかのバックエンドのアプデもサクサクできる
モデルもポチポチするだけでダウンロードできる
なによりUIがモダンで洗練されててたすかる
>>1 テンプレに入れとくべきやな LM Studio使いやすくてええよね
音声も対応してくれるといいんだけど そんでDeepSeek-R1-Distill、LM studio0.3.8にしたら動いたけど
「さて、ユーザーからメッセージが届きました……。「やっほー！こんばんは。調子どう？」と書いてあるようです。
私はファッションに興味のある17歳の少女を演じることになっているので、彼女の性格に合った方法で応答する必要があります。……」
みたいな脳内のシミュレートみたいなのめっちゃしてから返答するのな
レスポンス性能皆無だぞコレ think機能は推論を長くすればそれだけめ賢くなるよって話の最速実装だから、これからのLLMはレスポンス遅くて賢い(or創造的)か逆かってことになるんじゃないかな Qwenってもとからオールオッケーなんだっけ？
R1 Qweb 32b動かしてるけど全部行けるしかなり書いてのける さっきは14Bだったけど32Bに至っては
挨拶しただけなのにいきなり電卓作り始めて草
こら公式APIでR1なりV3なりを使ったほうがええかな……(まだわからんけど)
https://i.imgur.com/PuW5vWQ.jpeg えっち書いてもらってる最中に電卓作り始めたらどうしよう LMスタジオ１年ぶりくらいに更新したらUI変わりすぎててビックリ deepseekのローカル、英語で思考してから日本語に直して答えるの賢いと思うけど
回答を弄って誘導しにくいっすね Qwen 32b、Ollamaで実行するとガイドラインを言い出すのにLM Studioだと全くないな
何かが変なような Mac使ってるニキに聞きたいんだが、どのモデルもMLX変換したほうがパフォーマンスよくなるの？ ほとんどの場合mlxのほうが速いね
mlxだとNeural Engine(ANE)とGPUをAppleのライブラリ内でうまく分散させてくれてるらしい。
ただpowermetricsで見てる限りANEは0%だな(笑)
FaceTimeのリアルタイム文字起こしの時はビンビンに上がる
画像から文字を取り出す時にたまにピクリと上がる
ただ変換ミスしているのかggufでは日本語がうまく取り扱えてたのに
mlxだとダメということはあけどたかだか数十個しか試してないから逆もあるかもしれん mlxみたいなOSSからもANE使えるの？
使えないものだと思ってたけど、使えるなら触ってみるか 蒸留版の方のDeepSeek 14B試してみたけど有名な9.11と9.9どっちが大きいのか問題出したらきちんと考えて9.9と解答してたな
確かに賢くはなってる deepseek-Qwen-14B調整しようとしてるんだけど
think /thinkの中身そのものをロールプレイ風に思考させるのは難しそう Open WebUI最新版の0.5.6にしてもThinkingみたいなタグ出てこないんだがどこの設定いじればいいんだ？ Ollamaで`ollama run deepseek-r1:14b`して動かしたらターミナル上でだけどちゃんと推論できたわ(いきなり電卓も作らんぞ……!
めちゃくちゃサクサク動くしだいぶ賢いかもしれん
ただSillyTavernで接続したらThinkができないせいか返答がスゴい雑になるな
https://i.imgur.com/Twlzar2.jpeg DeepSeek-R1は何にしろエロ目的だと使いづらいか オナニースレでは流行してるよ
ただしクセが極めて強い やっぱり蒸溜版はそれなりの性能しかない印象
使うなら671Bの本物なんだろうけどおま環で動かないし
本家のサービスは提供主体が信用しきれないのがな…… deepseekは全データを中国に置いて中国の法律で管理します！が怖いからむしろ叡智な目的以外じゃ使いづらいんだよな
ローカル671Bの8ビット量子化なら容量半分くらいになって350GBくらいか・・・
digits3つで動・・・くか？流石に3つとかポンと買えないが >>450
むしろ4つ繋ぎたいが
あれって2つ以上繋げられたっけ？ 2つしか繋げられなかったような？
あれそもそも帯域幅もハッキリしてなかったよね あー、俺が調べた時は「2つ繋げばどうのこうのって言う記載があったから2つは繋げるけれども3つ以上はわかんない」みたいな状態だったんだが、2つまでって確定した感じ？
ならすまん・・・ nvlinkでの接続は2台までで確定してるけどLLMの場合Lan経由での接続も可能だし4台買えばR1もローカルで動かせると思う 元のものよくいじってるからこそ強く思うけど、
正直、蒸留版は元の方がR1っぽくなったってイメージ
それでもいいところはいっぱいあるけど、語彙とか展開の作りとかは元のものに相当引っ張られてる印象 R1の破茶滅茶な感じは蒸溜モデルから得られないからそこを期待するとがっかりするよね 英語でやってるとすごか表現力高いのがわかるよ
まあ暴走もしっかりするけどさ
APIだと編集でいじれるのはいいよね いい加減64GBくらいのVRAM積んだGPUが出てくれないとなぁ ■ このスレッドは過去ログ倉庫に格納されています
