なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ deepseek r1 70BもK4Mだと頭悪いよほほーん。
K8ならデモサイトくらい賢いのかな
例の5月発売マシン、はよ。(ローカルはロマン 日本語で使ってるならベースモデルがqwenの32bの方が性能いいかもね deepseek r1の70bはllamaベースで日本語に対応してないから日本語で使うならr1 32bの方がいいんじゃね？って話 ollamaがアプデで8B以外のモデルにも対応したから、Windows版exeでインストール、ターミナル開く、ollama run deepseek-r1:32b だけやればとりあえず動くね
すぐに他の環境も対応してくるだろうけど koboldでもdeepseek-r1動くようになったけど
7Bモデルだと「チャーハンの作り方教えて」って質問しても
udonの作り方を日本語、中国語、英語交じりの意味不明な文章で教えてくれる程度の能力だわ
何か設定間違えてるのかな 蒸留モデルだとまだ元のQwenの方がいいんじゃないかと言ってる人がいるね。Qwenのこのスレでの評価ってどうだったっけ。
言語変換部分の問題のような気がするから適切なプロンプトで回避できそうではあり。
14BのQ4_K_Mは出力たまに乱れるけど3060でそこそこ動いた。未成年非同意食える感じ。
8Bだとすぐ中国語吐き始めて発狂するね。
使ってるのはmmngaニキの量子化。量子化でバグってる可能性もそういや昔はよくあったな。 DeepSeek-R1-DistillにはLlamaを混ぜてあるのとQwenのと2種類あるいから
日本語の応答はQwen版のがマシじゃね？って話かと8BはLlamaだな
DeepSeek-R1-Distill-Qwen-14BとQwen-32B使ってる人よく見るが ウチはlm studioだとちゃんと動くけど英語で考えて英語で答えてくる
だから一回「日本語で会話しろ/分かりました」をログに残す必要がある >>406
LMStudioとモジュールをアップデートすれば使えるはず
deepseekR1よりも重いけど、最近ではBehemoth-v2.2-Magnum-v4-123B.i1-Q2_Kが日本語でエロロールプレイをするにはいい感じだったわ LM Studioええな〜使いやすいわ
ソフトウェアもLllama.cppとかのバックエンドのアプデもサクサクできる
モデルもポチポチするだけでダウンロードできる
なによりUIがモダンで洗練されててたすかる
>>1 テンプレに入れとくべきやな LM Studio使いやすくてええよね
音声も対応してくれるといいんだけど そんでDeepSeek-R1-Distill、LM studio0.3.8にしたら動いたけど
「さて、ユーザーからメッセージが届きました……。「やっほー！こんばんは。調子どう？」と書いてあるようです。
私はファッションに興味のある17歳の少女を演じることになっているので、彼女の性格に合った方法で応答する必要があります。……」
みたいな脳内のシミュレートみたいなのめっちゃしてから返答するのな
レスポンス性能皆無だぞコレ think機能は推論を長くすればそれだけめ賢くなるよって話の最速実装だから、これからのLLMはレスポンス遅くて賢い(or創造的)か逆かってことになるんじゃないかな Qwenってもとからオールオッケーなんだっけ？
R1 Qweb 32b動かしてるけど全部行けるしかなり書いてのける さっきは14Bだったけど32Bに至っては
挨拶しただけなのにいきなり電卓作り始めて草
こら公式APIでR1なりV3なりを使ったほうがええかな……(まだわからんけど)
https://i.imgur.com/PuW5vWQ.jpeg えっち書いてもらってる最中に電卓作り始めたらどうしよう LMスタジオ１年ぶりくらいに更新したらUI変わりすぎててビックリ deepseekのローカル、英語で思考してから日本語に直して答えるの賢いと思うけど
回答を弄って誘導しにくいっすね Qwen 32b、Ollamaで実行するとガイドラインを言い出すのにLM Studioだと全くないな
何かが変なような Mac使ってるニキに聞きたいんだが、どのモデルもMLX変換したほうがパフォーマンスよくなるの？ ほとんどの場合mlxのほうが速いね
mlxだとNeural Engine(ANE)とGPUをAppleのライブラリ内でうまく分散させてくれてるらしい。
ただpowermetricsで見てる限りANEは0%だな(笑)
FaceTimeのリアルタイム文字起こしの時はビンビンに上がる
画像から文字を取り出す時にたまにピクリと上がる
ただ変換ミスしているのかggufでは日本語がうまく取り扱えてたのに
mlxだとダメということはあけどたかだか数十個しか試してないから逆もあるかもしれん mlxみたいなOSSからもANE使えるの？
使えないものだと思ってたけど、使えるなら触ってみるか 蒸留版の方のDeepSeek 14B試してみたけど有名な9.11と9.9どっちが大きいのか問題出したらきちんと考えて9.9と解答してたな
確かに賢くはなってる deepseek-Qwen-14B調整しようとしてるんだけど
think /thinkの中身そのものをロールプレイ風に思考させるのは難しそう Open WebUI最新版の0.5.6にしてもThinkingみたいなタグ出てこないんだがどこの設定いじればいいんだ？ Ollamaで`ollama run deepseek-r1:14b`して動かしたらターミナル上でだけどちゃんと推論できたわ(いきなり電卓も作らんぞ……!
めちゃくちゃサクサク動くしだいぶ賢いかもしれん
ただSillyTavernで接続したらThinkができないせいか返答がスゴい雑になるな
https://i.imgur.com/Twlzar2.jpeg DeepSeek-R1は何にしろエロ目的だと使いづらいか オナニースレでは流行してるよ
ただしクセが極めて強い やっぱり蒸溜版はそれなりの性能しかない印象
使うなら671Bの本物なんだろうけどおま環で動かないし
本家のサービスは提供主体が信用しきれないのがな…… deepseekは全データを中国に置いて中国の法律で管理します！が怖いからむしろ叡智な目的以外じゃ使いづらいんだよな
ローカル671Bの8ビット量子化なら容量半分くらいになって350GBくらいか・・・
digits3つで動・・・くか？流石に3つとかポンと買えないが >>450
むしろ4つ繋ぎたいが
あれって2つ以上繋げられたっけ？ 2つしか繋げられなかったような？
あれそもそも帯域幅もハッキリしてなかったよね あー、俺が調べた時は「2つ繋げばどうのこうのって言う記載があったから2つは繋げるけれども3つ以上はわかんない」みたいな状態だったんだが、2つまでって確定した感じ？
ならすまん・・・ nvlinkでの接続は2台までで確定してるけどLLMの場合Lan経由での接続も可能だし4台買えばR1もローカルで動かせると思う 元のものよくいじってるからこそ強く思うけど、
正直、蒸留版は元の方がR1っぽくなったってイメージ
それでもいいところはいっぱいあるけど、語彙とか展開の作りとかは元のものに相当引っ張られてる印象 R1の破茶滅茶な感じは蒸溜モデルから得られないからそこを期待するとがっかりするよね 英語でやってるとすごか表現力高いのがわかるよ
まあ暴走もしっかりするけどさ
APIだと編集でいじれるのはいいよね いい加減64GBくらいのVRAM積んだGPUが出てくれないとなぁ 3060位の性能でいいからVRAMだけ96GBにして15万円以下で出してくれ digital mateがDeepSeek-R1のthinkタグに対応するの何か月かかるかわからんから
OllamaかLMStudioの間に入ってthinkタグ削るAPI Proxy作ったった(´・ω・`) よわよわgpuにメモリたくさん載せるより
つよつよgpuにメモリたくさん載せたほうが金になるからアル https://huggingface.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF
R1 Qwen Abliterated 32B、量子化モデルが出てるね。
16GB環境だと動かしようがなかったけどこれで無規制動作が出来る。 Ollamaって`ollama run hf.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF:IQ2_S`みたいにうてばhuggingfaceからモデルもってこれるんやな
コマンドは🤗モデルページのUse this modelのOllamaからコピーできたで metaのllmの部署が「deepseekがキミたちのリーダークラスの給料より低い学習コストで余裕のllama超えしたそうだけど？」と問われる事態に直面してかなりパニクってるらしい
それはそうだな
https://www.teamblind.com/post/Meta-genai-org-in-panic-mode-KccnF41n 現場の問題というよりはmetaの経営方針の問題な気がする
株主からこの投資に見合った結果ってなんなの？と問われた場合metaだけは研究結果の質で答えるハメになるという 低コストな優良LLMがたくさん出てくるきっかけになるのか
それともLLMから撤退する企業が増えるのか…… 32BのIQ2と14BのQ6
どっちが性能的にええの？ abliteratedモデル、日本語出力しないケース多いわ 少なくともLLMそのものはビジネスにならないって逃げる企業が増えると思う
中国に勝てない事が鮮明になって来たし
何より中国は官民とも規制が緩くてやりたい放題出来る差もデカ過ぎる
既にゲームにもかなり高度なAI搭載されてるからな 上の方と下の方は残って真ん中が全部死ぬ、みたいなことになりそう
それで何が困るのか？ 問われた時に示せる価値もそんなに無いですし >>471
てことはヤン・ルカンなんかは年収10億円なんかな🤔 karakuri-ai/karakuri-lm-32b-thinking-2501-exp
QwQベースのkarakuriか
ggufもあるし帰ったら試すぜ
32bならだれか無規制化できるニキおらんかな？ DeepSeekはトレーニングの方法まで細かく公開してるから数カ月後にはこれを真似したLLMが出てくるんじゃないかな DeepSeekはどっかのCloseAIと大違いだな
ユーザーに寛大だし業界の発展にも寄与してる DeepSeekは作り方も全部公開しちゃったから、そういうこと喧伝しながら重要なところは何も出さず、特殊ライセンスで牛耳ろうとしていたMetaの特権を破壊してしまった、という見方もできそう とは言えdeepseekもゼロからじゃ作れなかったわけで ローカルで試してるがデモで見られた規制や優等生的受け答えは見られないな
koboldで試してるが際どい指示でも申し訳されないぞこれw
さすがkarakuriというべきか(｀・ω・´) karakuriは規制自体はあるっぽい
環境によってよく分からん挙動をするから、必要な設定がなにかあって、それがないと正しく振る舞わないけど規制も働かないとかかね DeepSeek-R1-Distill-Qwen-32B-Japanese
がhuggingfaceで観測出来るな
量子化モデルがないけど...
thinkも日本語で出来るなら振る舞いを理解するためのモデルとして使えるかも サイバーエージェントならthinking用の日本語データセット作ってそうだし期待できそう
R18は無理だろうけど サイバーエージェントってclamにしろ日本語すら怪しいAIドヤ顔で出してたイメージしか無いけど実力あんの？ >>493
ないよ
オープンモデルをいじってるだけ もしかしてエロ小説書かせるのもローカルモデルでやるより一般向けのチャットAI騙して書かせるのが主流なん？ どうなんだろ？
ローカルLLMは開始コストが猛烈に高くてゲーミング ゲーミングPCの強めのが既にありますって人しか気軽に出来ないから、割合で言えば商用LLMのひとのほうがずっと多いのでは ローカルでやる理由
・技術的興味
・一般AIの度重なる仕様変更にウンザリしている
・エロ文章をサーバーに送信したくない極度のシャイボーイ
逆にこういう理由が無いなら質も速さも安さも手軽さもローカルを選ぶ理由はないと思う そもそも日本語性能に焦点を当てたLLMを開発できる会社って日本だとサイバーエージェントぐらいしかないんだよなぁ…
合成データにしろthinking用データセットを用意して日本語ファインチューニングしてくれるだけでも感謝するしかない >>500
PFNかあるやん
サイバーエージェントと違ってゼロから開発してるぞ 基礎モデル作ってるのはありがたいけど現状三周遅れくらいしてるから
素直に海外の強いモデルにFTしたのを出してくれる方が一ユーザーとしてはありがたい ゼロから作られてもどうせショボいんだから金と人員の無駄なんだよな
こういうオープンソースをパクって行ってほしい ローカルは完全無規制がザラだから、プロンプトエンジニアリングの沼を避けて通れるのは強みだと思うわ
文章の質は限度があるけどめんどくさくないのがいい
ローカルでも規制あるやつはまぁうん karakuriとかsakana aiとか結果出してる企業がいる中でサイバーエージェントじゃね… まあやってないよりはマシかと
necやNTTみたいなゴミを作ってクローズにしてるよりは ちゃんと公開してくれるだけありがたいわな
DeepSeek-R1-Distill-Qwen-14B/32Bをベースに日本語データで追加学習を行ったLLMを公開いたしました。今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。
https://x.com/CyberAgent_PR/status/1883783524836413468? Calm3あの時期のモデルの中じゃかなり日本語良かった記憶があるが… ローカル最近触り始めたんやけどキャラAとBの口調を覚えさせて二人に会話させるのって難しいんか？
何度教えても口調が入れ替わったりして完璧に会話してくれへん ■ このスレッドは過去ログ倉庫に格納されています
