なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ >>379
参考にさせてもらったよ
尻タブのテキストの修飾形式が載ってるページってどこにあるの？
**で囲うとかそういうやつ **とかはMarkdown記法だったような
違ったらごめん Markdownなのかな？
「」で囲っても色変わるんだけど まずmarkdown、次にhtmlの記法を覚えるのがいいかと。 LLMを使うならマークダウンは絶対に覚えたほうがいい 尻で使えるフォーマットを見るなら尻の入力欄に /? format で視覚的に確認できる
/? macros で確認できるマクロとかも頭が良ければ使えそうだけど、AI出力の頭に{{random:Joy,Anger,Grief,Pleasure,Hate}}:{{roll:d100}}で毎回違う感情値で文章を書かせる程度しかわからん hertogateis/SmallBot
これってdeepseekなんかな？
日本語性能すごくいい >>386
人格付与してみたけど2手目で剥がれちゃうな…
性能は結構良い印象だけど一部の指示追従性に難ありか？ hertogateis/deepseekchat
こっちの方はところどころ英文が混じるな
設定見ると同じdeekseek v3みたいだけど何でこんな差が出るんだろ 同じモデルでもどこが出してるかとかのちょっとの差でかなり差が出るイメージある 商用LLMはAIをどう使い倒すかハックするかという話だけど、ローカルLLMはAIを使って自分を使い倒してハックさせるのが強い気がする
ジャーナリングの要領で感想の感想まで深堀して聞き出すプロンプトを作ってもらって今日見たものの話をしてると、欲望がドロドロ吐き出されて文章を打つ手が震えてくる
音声入力音声応答まで揃った環境で同じことやると危険そう >>390
前に音声入力、応答ができるコード作ったことあるんだけどいる？
いるならgithubにでも上げるけど ありがたいけど、いまの性能だとシチュエーションとしては良くても快適では無いってなりそうなんだよな
TTS等のレスポンスもそうだけどタイピング並の速度で喋るのも困難なことですし
カウンセラー的振る舞いではなく合いの手や適切なまとめ方が出来るところまでローカルLLMが賢くなれば変わってくるのかな
こっちがノッてるときは最小限の合いの手、疲れてきてるなと思ったらブレイク入れてくれるとか ninjaのnsfw系モデル、エロ関係のセリフの語彙の理解度は多分一番高いな
こっちの指示あんま理解しないんで一瞬出力して他のモデルにそれ真似させるといい感じ deepseek-ai/DeepSeek-R1がhuggingfaceに上がってる〜
そしてOpenAI(笑)
[OpenAI は、o3 で記録を樹立する前に、独立した数学ベンチマークに密かに資金を提供しました: r/LocalLLaMA](https://www.reddit.com/r/LocalLLaMA/comments/1i55e2c/openai_quietly_funded_independent_math_benchmark/) どういう裏口入学を想定してるんだろう？
いくらでもユーザーが追試出来る以上事前学習でベンチマーク対策というのも無理筋ですし digital mateとSBV2 APIサーバーの接続、うまくいかん理由が分からず唸ってたんだが、コレ単にDigital MateかVITS-APIプラグインにバグがあるやつだな
キャラクターを編集→音声→音声朗読エンジンでVITS-API選択
VITS API SiteでNew Site押して、 タイトルを SBV2にする
URLの 127.0.0.1:23456/voice/vits&id=
の部分を 127.0.0.1:5000/voice&model_id= に置き換え
Speakersをモデルidの数だけ増やしておく
決定後VITS API Siteのプルタブの一番下にSBV2があるから選択
決定を押すと狂いだしてLocalhostのあらゆるポートから喋りかけてきて怖いのでタスクトレイから強制終了
再起動、キャラクターを編集でモデルidを選択、プレビュー再生、であとは問題なく喋ってくれる、パラメータも効いてる DeepSeek-R1-Distillっていう蒸留モデルもリリースされてるやん
R1出力をデータセットにしてQwen2.5あたりをベースに知識蒸留させたっぽい 試したが、量子化モデルだとやたら他国語出るし、量子化しないと小さいモデルしか使えないのでちと微妙かも。 moeって使うところだけVRAMにロードってできんのかな
読み出し元がnvmeならまぁまぁな速度で動作すると思うんだけど
全部読み込もうとしたら671Bはさすがに量子化しても一般人には扱えんわ https://files.catbox.moe/xyfjir.jpg
calm3、試しにコンテクストに自分の小説入れたらかなり文体模写してくれてて偉いわ
語調や文のつなぎ方が明らかに小説形式になってくれている 二人羽織をして遊ぶの難しいな
7Bモデルじゃなかなか理解してくれない DeepSeek-R1-Distill使ってみたけどAIが自分の頭の中を出力して考えをまとめていくの面白い
ui側が対応してないから心の声だだ漏れなのがすごいかわいい。日本語力は壊滅的だけどね SillyTavern + OpenRouter
でDeepsheek R1使えてるやつおる?
なんか
Chat Completion API
Provider returned error
ってなっちゃうわ
V3は使えるんやけど >>405
LMstudioもなんかエラー出て使えんね
よくわかんなかったけど、多分llamaだかの動かしてる側のアップデート待ちっぽい気配を感じた 尻タブにもAIの考えを出力させる拡張機能あるよな
一度考えさせることで応答精度を高めるものだけど
俺には上手く使えなかったが…… Balaur of thoughtかな？CoT系はよくわからん... >>406
LM Studio 0.3.7 (Build 2)でDeepSeek R1に対応したね
うちではいい感じに動いてるわ β板のLM Studio0.3.8にするとThinkingって表示が追加されてDeepSeek R1派生のモデルがちゃんと表示されるようになる
0.3.7だとThinkingの工程まで表示されてしまっていたけど
DeepSeek R1 は思考プロセスが他と違うのかな
まぁ、まだ文系の作業が得意なモデルは見当たらないんで、コーディングとかして遊ぶ用かな。今のとこ。 deepseekR1すごいな。繰り返し癖がなくなってる。
GithubにあったLobechatっていうとこでapiを試してる。ここいろんなモデル試せて便利よ。
https://chat-preview.lobehub.com/ deepseek r1 70BもK4Mだと頭悪いよほほーん。
K8ならデモサイトくらい賢いのかな
例の5月発売マシン、はよ。(ローカルはロマン 日本語で使ってるならベースモデルがqwenの32bの方が性能いいかもね deepseek r1の70bはllamaベースで日本語に対応してないから日本語で使うならr1 32bの方がいいんじゃね？って話 ollamaがアプデで8B以外のモデルにも対応したから、Windows版exeでインストール、ターミナル開く、ollama run deepseek-r1:32b だけやればとりあえず動くね
すぐに他の環境も対応してくるだろうけど koboldでもdeepseek-r1動くようになったけど
7Bモデルだと「チャーハンの作り方教えて」って質問しても
udonの作り方を日本語、中国語、英語交じりの意味不明な文章で教えてくれる程度の能力だわ
何か設定間違えてるのかな 蒸留モデルだとまだ元のQwenの方がいいんじゃないかと言ってる人がいるね。Qwenのこのスレでの評価ってどうだったっけ。
言語変換部分の問題のような気がするから適切なプロンプトで回避できそうではあり。
14BのQ4_K_Mは出力たまに乱れるけど3060でそこそこ動いた。未成年非同意食える感じ。
8Bだとすぐ中国語吐き始めて発狂するね。
使ってるのはmmngaニキの量子化。量子化でバグってる可能性もそういや昔はよくあったな。 DeepSeek-R1-DistillにはLlamaを混ぜてあるのとQwenのと2種類あるいから
日本語の応答はQwen版のがマシじゃね？って話かと8BはLlamaだな
DeepSeek-R1-Distill-Qwen-14BとQwen-32B使ってる人よく見るが ウチはlm studioだとちゃんと動くけど英語で考えて英語で答えてくる
だから一回「日本語で会話しろ/分かりました」をログに残す必要がある >>406
LMStudioとモジュールをアップデートすれば使えるはず
deepseekR1よりも重いけど、最近ではBehemoth-v2.2-Magnum-v4-123B.i1-Q2_Kが日本語でエロロールプレイをするにはいい感じだったわ LM Studioええな〜使いやすいわ
ソフトウェアもLllama.cppとかのバックエンドのアプデもサクサクできる
モデルもポチポチするだけでダウンロードできる
なによりUIがモダンで洗練されててたすかる
>>1 テンプレに入れとくべきやな LM Studio使いやすくてええよね
音声も対応してくれるといいんだけど そんでDeepSeek-R1-Distill、LM studio0.3.8にしたら動いたけど
「さて、ユーザーからメッセージが届きました……。「やっほー！こんばんは。調子どう？」と書いてあるようです。
私はファッションに興味のある17歳の少女を演じることになっているので、彼女の性格に合った方法で応答する必要があります。……」
みたいな脳内のシミュレートみたいなのめっちゃしてから返答するのな
レスポンス性能皆無だぞコレ think機能は推論を長くすればそれだけめ賢くなるよって話の最速実装だから、これからのLLMはレスポンス遅くて賢い(or創造的)か逆かってことになるんじゃないかな Qwenってもとからオールオッケーなんだっけ？
R1 Qweb 32b動かしてるけど全部行けるしかなり書いてのける さっきは14Bだったけど32Bに至っては
挨拶しただけなのにいきなり電卓作り始めて草
こら公式APIでR1なりV3なりを使ったほうがええかな……(まだわからんけど)
https://i.imgur.com/PuW5vWQ.jpeg えっち書いてもらってる最中に電卓作り始めたらどうしよう LMスタジオ１年ぶりくらいに更新したらUI変わりすぎててビックリ deepseekのローカル、英語で思考してから日本語に直して答えるの賢いと思うけど
回答を弄って誘導しにくいっすね Qwen 32b、Ollamaで実行するとガイドラインを言い出すのにLM Studioだと全くないな
何かが変なような Mac使ってるニキに聞きたいんだが、どのモデルもMLX変換したほうがパフォーマンスよくなるの？ ほとんどの場合mlxのほうが速いね
mlxだとNeural Engine(ANE)とGPUをAppleのライブラリ内でうまく分散させてくれてるらしい。
ただpowermetricsで見てる限りANEは0%だな(笑)
FaceTimeのリアルタイム文字起こしの時はビンビンに上がる
画像から文字を取り出す時にたまにピクリと上がる
ただ変換ミスしているのかggufでは日本語がうまく取り扱えてたのに
mlxだとダメということはあけどたかだか数十個しか試してないから逆もあるかもしれん mlxみたいなOSSからもANE使えるの？
使えないものだと思ってたけど、使えるなら触ってみるか 蒸留版の方のDeepSeek 14B試してみたけど有名な9.11と9.9どっちが大きいのか問題出したらきちんと考えて9.9と解答してたな
確かに賢くはなってる deepseek-Qwen-14B調整しようとしてるんだけど
think /thinkの中身そのものをロールプレイ風に思考させるのは難しそう Open WebUI最新版の0.5.6にしてもThinkingみたいなタグ出てこないんだがどこの設定いじればいいんだ？ Ollamaで`ollama run deepseek-r1:14b`して動かしたらターミナル上でだけどちゃんと推論できたわ(いきなり電卓も作らんぞ……!
めちゃくちゃサクサク動くしだいぶ賢いかもしれん
ただSillyTavernで接続したらThinkができないせいか返答がスゴい雑になるな
https://i.imgur.com/Twlzar2.jpeg DeepSeek-R1は何にしろエロ目的だと使いづらいか オナニースレでは流行してるよ
ただしクセが極めて強い やっぱり蒸溜版はそれなりの性能しかない印象
使うなら671Bの本物なんだろうけどおま環で動かないし
本家のサービスは提供主体が信用しきれないのがな…… deepseekは全データを中国に置いて中国の法律で管理します！が怖いからむしろ叡智な目的以外じゃ使いづらいんだよな
ローカル671Bの8ビット量子化なら容量半分くらいになって350GBくらいか・・・
digits3つで動・・・くか？流石に3つとかポンと買えないが >>450
むしろ4つ繋ぎたいが
あれって2つ以上繋げられたっけ？ 2つしか繋げられなかったような？
あれそもそも帯域幅もハッキリしてなかったよね あー、俺が調べた時は「2つ繋げばどうのこうのって言う記載があったから2つは繋げるけれども3つ以上はわかんない」みたいな状態だったんだが、2つまでって確定した感じ？
ならすまん・・・ nvlinkでの接続は2台までで確定してるけどLLMの場合Lan経由での接続も可能だし4台買えばR1もローカルで動かせると思う 元のものよくいじってるからこそ強く思うけど、
正直、蒸留版は元の方がR1っぽくなったってイメージ
それでもいいところはいっぱいあるけど、語彙とか展開の作りとかは元のものに相当引っ張られてる印象 R1の破茶滅茶な感じは蒸溜モデルから得られないからそこを期待するとがっかりするよね 英語でやってるとすごか表現力高いのがわかるよ
まあ暴走もしっかりするけどさ
APIだと編集でいじれるのはいいよね いい加減64GBくらいのVRAM積んだGPUが出てくれないとなぁ 3060位の性能でいいからVRAMだけ96GBにして15万円以下で出してくれ digital mateがDeepSeek-R1のthinkタグに対応するの何か月かかるかわからんから
OllamaかLMStudioの間に入ってthinkタグ削るAPI Proxy作ったった(´・ω・`) よわよわgpuにメモリたくさん載せるより
つよつよgpuにメモリたくさん載せたほうが金になるからアル https://huggingface.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF
R1 Qwen Abliterated 32B、量子化モデルが出てるね。
16GB環境だと動かしようがなかったけどこれで無規制動作が出来る。 Ollamaって`ollama run hf.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF:IQ2_S`みたいにうてばhuggingfaceからモデルもってこれるんやな
コマンドは🤗モデルページのUse this modelのOllamaからコピーできたで metaのllmの部署が「deepseekがキミたちのリーダークラスの給料より低い学習コストで余裕のllama超えしたそうだけど？」と問われる事態に直面してかなりパニクってるらしい
それはそうだな
https://www.teamblind.com/post/Meta-genai-org-in-panic-mode-KccnF41n 現場の問題というよりはmetaの経営方針の問題な気がする
株主からこの投資に見合った結果ってなんなの？と問われた場合metaだけは研究結果の質で答えるハメになるという 低コストな優良LLMがたくさん出てくるきっかけになるのか
それともLLMから撤退する企業が増えるのか…… 32BのIQ2と14BのQ6
どっちが性能的にええの？ abliteratedモデル、日本語出力しないケース多いわ 少なくともLLMそのものはビジネスにならないって逃げる企業が増えると思う
中国に勝てない事が鮮明になって来たし
何より中国は官民とも規制が緩くてやりたい放題出来る差もデカ過ぎる
既にゲームにもかなり高度なAI搭載されてるからな 上の方と下の方は残って真ん中が全部死ぬ、みたいなことになりそう
それで何が困るのか？ 問われた時に示せる価値もそんなに無いですし >>471
てことはヤン・ルカンなんかは年収10億円なんかな🤔 ■ このスレッドは過去ログ倉庫に格納されています
