0001名無しさん＠ピンキー2024/12/26(木) 13:13:11.15ID:Vhp+tTX0
SillyTavernの作りから考えると、標準拡張のSummarizeやDiscordにあるImproved memory and summarizationで全文の要約を作って、初期設定+要約で新規チャットを始める形を想定してるように見える
が、自分は自動で受け渡す方法が分かんなかったな
やってるってひとは上の方に居たからよく読むと解決するかも
public linkのほうをctrl+クリックすればそれでイケる可能性もありそう
だめならChatGPTくんに聞けばDocker Desktopの設定を教えてくれるはず
>>951
openwebuiはdocker-compose.yamlにデフォルトでポートの設定が書いてあるから動く
docker-composeの書き方を調べればすぐにできるはず 0955名無しさん＠ピンキー2025/02/12(水) 16:14:55.41ID:zmrUEVW1
>>949
7860って画像生成のWebUIとかにもつかわれてるしポートダブってるんじゃね >>953
駄目やった…
>>954
Aに聞いたら127.0.0.1に書き換えろというのでgradio_interface.pyを書き換えてdocker-compose.ymlに追記したんやけど、けっきょく0.0.0.0で開かれるし何も解決せんかった
そもそもdocker desktopの画面のports欄が-になっとるんよね
これがopenwebuiだと3000:8080と出てるのでこの時点で上手く行っとらん気がする
>>955
確かにそっちも7860や！
でも同時起動しなければ問題ないという認識で、それはしとらんのやが… 0957!donguri2025/02/12(水) 18:02:37.22ID:BTRUcOMm
>>958
docker-compose.yml縺ｨ蜷後§繝輔か繝ｫ繝縺ｫ莉･荳九�ｮ蜀�螳ｹ繧 docker-compose.override.yml 縺ｨ縺励※菫晏ｭ倥＠縺溘ｉ http://localhost:17860/ 縺ｧ繧｢繧ｯ繧ｻ繧ｹ蜃ｺ譚･繧薙°�ｼ
https://pastebin.com/EeKFQ84N
runtime: !reset 莉･髯阪�ｮ陦後�ｯ縺�縺｡縺ｮ迺ｰ蠅�縺縺ｨ runtime 繧ｨ繝ｩ繝ｼ縺ｧ襍ｷ蜍輔〒縺阪↑縺九▲縺溘°繧芽ｨ倩ｼ峨＠縺ｦ繧九□縺代□縺九ｉ
繧ｨ繝ｩ繝ｼ襍ｷ縺阪↑縺�迺ｰ蠅�縺ｧ縺ｯ譖ｸ縺九↑縺上※螟ｧ荳亥､ｫ縲
縺ゅ→蛻晏屓繧｢繧ｯ繧ｻ繧ｹ譎ゅ�ｯ繝｢繝�繝ｫ縺ｮ繝繧ｦ繝ｳ繝ｭ繝ｼ繝峨〒邨先ｧ区凾髢薙°縺九ｋ縺｣縺ｽ縺縲 0961名無しさん＠ピンキー2025/02/13(木) 05:46:57.08ID:3j0o6e9p
そういやそろそろ次スレのこと考えんとだが、>>980あたりで引き続き避難所でええんかね？モデル一覧あたりの更新も相談したい >2でkoboldcppを勧めてるけど、初心者の人にはLM Studio使わせるほうがよさそう
使い易さもあるけど、llama.cpp含めて自動更新になったから環境依存問題が一回り減るはず
楽天だから期待してなかったけど規制ゆるゆるで結構賢い
mmnga/RakutenAI-2.0-8x7B-instruct-gguf
プロンプト書いてもらうのにdeepseekは優秀だなぁ
中々繫がらないけど‥
なんJ側の荒らしをしらないのでアレだけど、戻るかどうかをタイミングで決めるのは面倒な事が起こりそう
どうするにしてもスレ途中で行うのがいいのでは
モデルは個々の紹介よりは性質の違い、見分け方、分類のほうがニーズある気がする
ローカルだけでなくAPI経由でのLLM利用全体まで広げて、 OpenRouterを紹介するって方向もありえそう
モデルごとのシステムプロンプトよく分かんなくて泣く
構文が合ってないと上手いこと認識してくれないみたいな解釈でええんよな？
アナログ的な感覚がある気がする
試行錯誤しまくることで身につくというか
>>967
それもローカルLLMが流行らない原因の一つだと思うわ
AI画像生成ならモデルの推奨プロンプトをコピペするだけで良いのに あっちに戻ったらURLや数字入り文章を書けない人が続出すると思うよ
避難所というかここが本スレでいい気がするけどそうするとスレタイがアレだからねぇ
波風起こさずに今まで通りひっそり続けていくのが一番かな
>>969
koboldは自動的に推奨プロンプト入れてくれるんじゃなかったけ？
なんだかんだ言って初心者向きとは思う 無料だからずっとcohereAPIをSTに繋いでたけど
gemini2.0に代えたら凄いこれ‥
今までありがとうcohere
0973名無しさん＠ピンキー2025/02/13(木) 17:01:10.58ID:cIvYBfxO
テンプレ長すぎるしWikiでもSeesaaで作るか……と思いながら過ごしてたらスレ完走しそう
とりあえずテンプレはAMDユーザー用にrocm版koboldの案内と量子化は4bitまで劣化がほぼないこと
モデル系はgoogle aistudioのAPI取得の案内とmagnum系追加する感じでいいかな？
他にある？
4090上のIQ3_Mで今実験してるけどRakutenAI 2.0 8x7B Instructも日本語チャットならまあまあ
>>975
Mistral Small 24B Instruct 2501 Abliteratedの間違い申し訳ない >974
残り25だしとりあえず立ててしまって良いのでは
結局実用用途で言えば今はネットでデープシーク1択だよね？
>>978
PC無し生活でここに来るって珍しいねｗ >>964
7Bでもまともに動くの？
自分2年前にRinna使ってキチガイと話してるみたいな印象植え付けられてそれ以来７Bって敬遠してるわ。。。 >>962
うわぁ意図せず980踏んでしまった。。。
楽天なので建てれるか分からんけどこのまま新スレ建てればいいの？ 0982名無しさん＠ピンキー2025/02/13(木) 20:11:10.04ID:cIvYBfxO
>>974
LM Studio、OpenWebUIとかの触りやすいインターフェイスとかあるけど
そういうの冒頭に追加してくと無限に長くなってくからな >>983
いっぱいあるんだけどどれを入れたの？Q8？ テンプレとか弄りたいなら次スレの最初の方でやっといた方がいいんじゃねーの
このタイミングでやってもすぐ埋まるで
スレ立て乙！
Zonosで同じく格闘してたんだが
docker-compose.ymlを
version: '3.8'
services:
zonos:
build:
context: .
dockerfile: Dockerfile
container_name: zonos_container
runtime: nvidia
ports:
- "7860:7860"
stdin_open: true
tty: true
command: ["python3", "gradio_interface.py"]
environment:
- NVIDIA_VISIBLE_DEVICES=0
- GRADIO_SHARE=False
に書き換えて
DockerDesktopの7860:7860のリンクをクリックしたらいけた
>>985
メモリ足りるならQ8でいいじゃない？
速度重視なら下の使えばいい てか、rinnaも新しいの出してるな
deepseek蒸留版もあるし、今から試してみるわ
0994名無しさん＠ピンキー2025/02/13(木) 23:15:56.77ID:XkWSVi4J
>>991
おめでと、ポートを出せばうまくいくよね
>>958 は諦めたのかな？ もしこっちとのやりとりに行き違いがあって
gradio_interface.py の末尾をserver_name="127.0.0.1" に書き換えたままなら、コンテナ外からはアクセスできないし……まあもういいんだけど 0995名無しさん＠ピンキー2025/02/14(金) 00:14:44.85ID:0OnyLn+5
rinnaのbakeneko deepseek版使ってみたけど、日本語でしっかり考えてくれてすごい良い感触や
ワイの環境やとQ2までしか動かせんからそれなりに破綻してしまうけど、それでもええ感じや。Q4とかならかなり良さそうな気がするで
>>991
>>994
これも駄目だあ
そもそもdocker desktopにその7860:7860が出ないんよねえ
何時間待っても-のまま dockerは脇に置いといて、WSL経由でUbuntu起動してマニュアルでインストールしたほうが早そう
10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 49日 21時間 5分 52秒