なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ LCMだとエロという概念を全て申し訳してしまう可能性 それ例えば練乳ぶっかけをエロと捉えるのか健全と捉えるのか気になるなw 4時間かけて学んだこと 出力内容ってコンテキストサイズに影響されたっけ？ コンテキストシフトとかそういうのあるはず 10000トークンとかで入力読み込んだり3000程度にしたりと色々試すけど、そこが原因で壊れるかは怪しい気もする >>366 メモwikiに掲示板を設定したついでにキャラカードを一つ配布してるから恥ずかしいけどよかったらどうぞ >>379 **とかはMarkdown記法だったような Markdownなのかな？ まずmarkdown、次にhtmlの記法を覚えるのがいいかと。 LLMを使うならマークダウンは絶対に覚えたほうがいい 尻で使えるフォーマットを見るなら尻の入力欄に /? format で視覚的に確認できる hertogateis/SmallBot >>386 hertogateis/deepseekchat 同じモデルでもどこが出してるかとかのちょっとの差でかなり差が出るイメージある 商用LLMはAIをどう使い倒すかハックするかという話だけど、ローカルLLMはAIを使って自分を使い倒してハックさせるのが強い気がする >>390 ありがたいけど、いまの性能だとシチュエーションとしては良くても快適では無いってなりそうなんだよな ninjaのnsfw系モデル、エロ関係のセリフの語彙の理解度は多分一番高いな deepseek-ai/DeepSeek-R1がhuggingfaceに上がってる〜 https://www.reddit.com/r/LocalLLaMA/comments/1i55e2c/openai_quietly_funded_independent_math_benchmark/ ) どういう裏口入学を想定してるんだろう？ digital mateとSBV2 APIサーバーの接続、うまくいかん理由が分からず唸ってたんだが、コレ単にDigital MateかVITS-APIプラグインにバグがあるやつだな DeepSeek-R1-Distillっていう蒸留モデルもリリースされてるやん 試したが、量子化モデルだとやたら他国語出るし、量子化しないと小さいモデルしか使えないのでちと微妙かも。 moeって使うところだけVRAMにロードってできんのかな https://files.catbox.moe/xyfjir.jpg 二人羽織をして遊ぶの難しいな DeepSeek-R1-Distill使ってみたけどAIが自分の頭の中を出力して考えをまとめていくの面白い SillyTavern + OpenRouter >>405 尻タブにもAIの考えを出力させる拡張機能あるよな Balaur of thoughtかな？CoT系はよくわからん... >>406 β板のLM Studio0.3.8にするとThinkingって表示が追加されてDeepSeek R1派生のモデルがちゃんと表示されるようになる deepseekR1すごいな。繰り返し癖がなくなってる。 https://chat-preview.lobehub.com/ deepseek r1 70BもK4Mだと頭悪いよほほーん。 日本語で使ってるならベースモデルがqwenの32bの方が性能いいかもね deepseek r1の70bはllamaベースで日本語に対応してないから日本語で使うならr1 32bの方がいいんじゃね？って話 ollamaがアプデで8B以外のモデルにも対応したから、Windows版exeでインストール、ターミナル開く、ollama run deepseek-r1:32b だけやればとりあえず動くね koboldでもdeepseek-r1動くようになったけど 蒸留モデルだとまだ元のQwenの方がいいんじゃないかと言ってる人がいるね。Qwenのこのスレでの評価ってどうだったっけ。 DeepSeek-R1-DistillにはLlamaを混ぜてあるのとQwenのと2種類あるいから ウチはlm studioだとちゃんと動くけど英語で考えて英語で答えてくる >>406 LM Studioええな〜使いやすいわ >>1 テンプレに入れとくべきやな LM Studio使いやすくてええよね そんでDeepSeek-R1-Distill、LM studio0.3.8にしたら動いたけど think機能は推論を長くすればそれだけめ賢くなるよって話の最速実装だから、これからのLLMはレスポンス遅くて賢い(or創造的)か逆かってことになるんじゃないかな Qwenってもとからオールオッケーなんだっけ？ さっきは14Bだったけど32Bに至っては https://i.imgur.com/PuW5vWQ.jpeg えっち書いてもらってる最中に電卓作り始めたらどうしよう LMスタジオ１年ぶりくらいに更新したらUI変わりすぎててビックリ deepseekのローカル、英語で思考してから日本語に直して答えるの賢いと思うけど Qwen 32b、Ollamaで実行するとガイドラインを言い出すのにLM Studioだと全くないな Mac使ってるニキに聞きたいんだが、どのモデルもMLX変換したほうがパフォーマンスよくなるの？ ほとんどの場合mlxのほうが速いね mlxみたいなOSSからもANE使えるの？ 蒸留版の方のDeepSeek 14B試してみたけど有名な9.11と9.9どっちが大きいのか問題出したらきちんと考えて9.9と解答してたな deepseek-Qwen-14B調整しようとしてるんだけど Open WebUI最新版の0.5.6にしてもThinkingみたいなタグ出てこないんだがどこの設定いじればいいんだ？ Ollamaで`ollama run deepseek-r1:14b`して動かしたらターミナル上でだけどちゃんと推論できたわ(いきなり電卓も作らんぞ……! https://i.imgur.com/Twlzar2.jpeg DeepSeek-R1は何にしろエロ目的だと使いづらいか オナニースレでは流行してるよ やっぱり蒸溜版はそれなりの性能しかない印象 deepseekは全データを中国に置いて中国の法律で管理します！が怖いからむしろ叡智な目的以外じゃ使いづらいんだよな >>450 2つしか繋げられなかったような？ あー、俺が調べた時は「2つ繋げばどうのこうのって言う記載があったから2つは繋げるけれども3つ以上はわかんない」みたいな状態だったんだが、2つまでって確定した感じ？ nvlinkでの接続は2台までで確定してるけどLLMの場合Lan経由での接続も可能だし4台買えばR1もローカルで動かせると思う 元のものよくいじってるからこそ強く思うけど、 R1の破茶滅茶な感じは蒸溜モデルから得られないからそこを期待するとがっかりするよね 英語でやってるとすごか表現力高いのがわかるよ いい加減64GBくらいのVRAM積んだGPUが出てくれないとなぁ 3060位の性能でいいからVRAMだけ96GBにして15万円以下で出してくれ digital mateがDeepSeek-R1のthinkタグに対応するの何か月かかるかわからんから よわよわgpuにメモリたくさん載せるより https://huggingface.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF Ollamaって`ollama run hf.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF:IQ2_S`みたいにうてばhuggingfaceからモデルもってこれるんやな ■ このスレッドは過去ログ倉庫に格納されています
