なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ digital mateがDeepSeek-R1のthinkタグに対応するの何か月かかるかわからんから よわよわgpuにメモリたくさん載せるより https://huggingface.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF Ollamaって`ollama run hf.co/bartowski/deepseek-r1-qwen-2.5-32B-ablated-GGUF:IQ2_S`みたいにうてばhuggingfaceからモデルもってこれるんやな metaのllmの部署が「deepseekがキミたちのリーダークラスの給料より低い学習コストで余裕のllama超えしたそうだけど？」と問われる事態に直面してかなりパニクってるらしい https://www.teamblind.com/post/Meta-genai-org-in-panic-mode-KccnF41n 現場の問題というよりはmetaの経営方針の問題な気がする 低コストな優良LLMがたくさん出てくるきっかけになるのか 32BのIQ2と14BのQ6 abliteratedモデル、日本語出力しないケース多いわ 少なくともLLMそのものはビジネスにならないって逃げる企業が増えると思う 上の方と下の方は残って真ん中が全部死ぬ、みたいなことになりそう >>471 karakuri-ai/karakuri-lm-32b-thinking-2501-exp DeepSeekはトレーニングの方法まで細かく公開してるから数カ月後にはこれを真似したLLMが出てくるんじゃないかな DeepSeekはどっかのCloseAIと大違いだな DeepSeekは作り方も全部公開しちゃったから、そういうこと喧伝しながら重要なところは何も出さず、特殊ライセンスで牛耳ろうとしていたMetaの特権を破壊してしまった、という見方もできそう とは言えdeepseekもゼロからじゃ作れなかったわけで ローカルで試してるがデモで見られた規制や優等生的受け答えは見られないな karakuriは規制自体はあるっぽい DeepSeek-R1-Distill-Qwen-32B-Japanese サイバーエージェントならthinking用の日本語データセット作ってそうだし期待できそう サイバーエージェントってclamにしろ日本語すら怪しいAIドヤ顔で出してたイメージしか無いけど実力あんの？ >>493 もしかしてエロ小説書かせるのもローカルモデルでやるより一般向けのチャットAI騙して書かせるのが主流なん？ どうなんだろ？ ゲーミングPCの強めのが既にありますって人しか気軽に出来ないから、割合で言えば商用LLMのひとのほうがずっと多いのでは ローカルでやる理由 そもそも日本語性能に焦点を当てたLLMを開発できる会社って日本だとサイバーエージェントぐらいしかないんだよなぁ… >>500 基礎モデル作ってるのはありがたいけど現状三周遅れくらいしてるから ゼロから作られてもどうせショボいんだから金と人員の無駄なんだよな ローカルは完全無規制がザラだから、プロンプトエンジニアリングの沼を避けて通れるのは強みだと思うわ karakuriとかsakana aiとか結果出してる企業がいる中でサイバーエージェントじゃね… まあやってないよりはマシかと ちゃんと公開してくれるだけありがたいわな https://x.com/CyberAgent_PR/status/1883783524836413468? Calm3あの時期のモデルの中じゃかなり日本語良かった記憶があるが… ローカル最近触り始めたんやけどキャラAとBの口調を覚えさせて二人に会話させるのって難しいんか？ >>512 >>512 R1 qwen 32b jpの量子化版も作ってくれてる人が居るね サイバーエージェントまじでいいわ >>513-515 DeepSeekがアメリカ中国でアプリストア1位！とか見たから確認したら71位だったわ 32b jp、いいっすね やっぱQwenの性格めっちゃ出てる気がする >>519 えーと https://pixibots.neocities.org/prompts/weep >>517 >>522 >>523 Deepseek 日本語追加版って3090で動くかな？ 初心者なんだけどLightChatAssistantの >526 >528 deepseekなら7900xtxでも実用的に使えるのか？ deepseekはh100を5万台持ってるんだっけ？ >529 MoEモデルの特徴として大規模な通信速度が無くてもパフォーマンスが出るっていうのがある >>534 何らかの方法でGPU直通の超高速通信ができないとGPU間のメモリやり取りで亀が寝てるような速度になる。 >>536 >533 MoEの場合はモデルサイズの割にアクティブパラメータが少ないから（deepseek V3やR1の場合671Bのパラ数に対して37Bを選択） >>538 DeepSeekの32Bってllama70Bより高性能なの？ やってみた Slliy Tavern自体をそんなに知らないので上の方で書いたPixibots Weep V4 prompt (+noass)を信頼してる >>530 信頼してる=任せっきり状態なのでchatgptでオナニースレとかのほうが詳しい人と遭遇し易いかも SillyTavernのキャラクターに設定を詰め込みまくってトークン数を4000使ったとする Silly TavernにDeepSeek APIでいけたけど、ネット接続って出来ないんだね できる方法ある？ >>546 キャラ設定とペルソナ合わせて1000token以下にしてるわ >>545 ジェミニにSillyTavernは日本語化出来ますかって聞いたら出来ませんって返ってきたけど Digital Mate買ったけど声がwindows TTSのおばさん声しか出せない… >>545 R1の32BQ4で健全もやってみたけど >550 >>554 LM Studioでcyberagentの日本語deepseek R1を使っているのですが >>556 空の〈think〉〈/think〉を先に与えて続きから推論させれば飛ばせる事が多い >>555 >>554 >>559 そういうキャラの再現度はやっぱりローカルよりオンラインモデルが強いな >562 ■ このスレッドは過去ログ倉庫に格納されています
