なんJLLM部 避難所 ★5
レス数が1000を超えています。これ以上書き込みはできません。
0001名無しさん@ピンキー2024/12/26(木) 13:13:11.15ID:Vhp+tTX0
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/
0952名無しさん@ピンキー2025/02/12(水) 15:07:51.39ID:???
SillyTavernの作りから考えると、標準拡張のSummarizeやDiscordにあるImproved memory and summarizationで全文の要約を作って、初期設定+要約で新規チャットを始める形を想定してるように見える

が、自分は自動で受け渡す方法が分かんなかったな
やってるってひとは上の方に居たからよく読むと解決するかも
0953名無しさん@ピンキー2025/02/12(水) 15:10:41.74ID:???
public linkのほうをctrl+クリックすればそれでイケる可能性もありそう
だめならChatGPTくんに聞けばDocker Desktopの設定を教えてくれるはず
0954名無しさん@ピンキー2025/02/12(水) 15:17:09.02ID:???
>>951
openwebuiはdocker-compose.yamlにデフォルトでポートの設定が書いてあるから動く
docker-composeの書き方を調べればすぐにできるはず
0955名無しさん@ピンキー2025/02/12(水) 16:14:55.41ID:zmrUEVW1
>>949
7860って画像生成のWebUIとかにもつかわれてるしポートダブってるんじゃね
0956名無しさん@ピンキー2025/02/12(水) 16:41:04.70ID:???
>>953
駄目やった…
>>954
Aに聞いたら127.0.0.1に書き換えろというのでgradio_interface.pyを書き換えてdocker-compose.ymlに追記したんやけど、けっきょく0.0.0.0で開かれるし何も解決せんかった
そもそもdocker desktopの画面のports欄が-になっとるんよね
これがopenwebuiだと3000:8080と出てるのでこの時点で上手く行っとらん気がする
>>955
確かにそっちも7860や!
でも同時起動しなければ問題ないという認識で、それはしとらんのやが…
0957!donguri2025/02/12(水) 18:02:37.22ID:BTRUcOMm
>>956
これをみるかぎりネットワークがhostだけど、docker desktopのhostモードは問題があるし
https://github.com/Zyphra/Zonos/blob/main/docker-compose.yml
ほかのアプリがデモンとして動いてるなら、手動で起動しなくても7860をすでに掴んでるかもしれないしね

gradio_interface.py は書き換えずに(アプリ側のポートは7860のままにして)、docker-compose.ymlの次を
network_mode: "host"
次のように書き換えて(ここで8080は使ってなさそうなポート)
ports:
- 8080:7860
次でアクセスしたらどうなるんだろ?
http://localhost:8080/
0958名無しさん@ピンキー2025/02/12(水) 19:41:10.62ID:???
>>957
サンガツ
でもだめやな…
portsの欄が-のままだしhttp://localhost:8080/打ってもアクセスできない言われる
ワイ赤ちゃんすぎるのでzuntanニキあたりがeasyインストーラー作ってくれるの待つわ…
0959名無しさん@ピンキー2025/02/12(水) 22:41:21.03ID:???
>>958
docker-compose.yml縺ィ蜷後§繝輔か繝ォ繝縺ォ莉・荳九ョ蜀螳ケ繧 docker-compose.override.yml 縺ィ縺励※菫晏ュ倥@縺溘i http://localhost:17860/ 縺ァ繧「繧ッ繧サ繧ケ蜃コ譚・繧薙°シ

https://pastebin.com/EeKFQ84N

runtime: !reset 莉・髯阪ョ陦後ッ縺縺。縺ョ迺ー蠅縺縺ィ runtime 繧ィ繝ゥ繝シ縺ァ襍キ蜍輔〒縺阪↑縺九▲縺溘°繧芽ィ倩シ峨@縺ヲ繧九□縺代□縺九i
繧ィ繝ゥ繝シ襍キ縺阪↑縺迺ー蠅縺ァ縺ッ譖ク縺九↑縺上※螟ァ荳亥、ォ縲
縺ゅ→蛻晏屓繧「繧ッ繧サ繧ケ譎ゅッ繝「繝繝ォ縺ョ繝繧ヲ繝ウ繝ュ繝シ繝峨〒邨先ァ区凾髢薙°縺九k縺」縺ス縺縲
0960名無しさん@ピンキー2025/02/12(水) 22:42:16.11ID:???
めっちゃ文字化けしてた。。。

>>958
docker-compose.ymlと同じフォルダに以下の内容を docker-compose.override.yml として保存したら http://localhost:17860/ でアクセス出来んか?

https://pastebin.com/EeKFQ84N

runtime: !reset 以降の行はうちの環境だと runtime エラーで起動できなかったから記載してるだけだから
エラー起きない環境では書かなくて大丈夫。
あと初回アクセス時はモデルのダウンロードで結構時間かかるっぽい。
0961名無しさん@ピンキー2025/02/13(木) 05:46:57.08ID:3j0o6e9p
STのbackendにLM Studio使っててメッセージが無限化する現象、これで改善するかもしれん
LM Studioの最新ビルドであるbuild6でAPIエラーが多発するようになったからissue追ってて見つけた
もしbuild5使ってる人はbuild6への更新少し待つのがええかもしれんで
https://github.com/lmstudio-ai/lmstudio-bug-tracker/issues/411
0962名無しさん@ピンキー2025/02/13(木) 05:58:07.70ID:???
そういやそろそろ次スレのこと考えんとだが、>>980あたりで引き続き避難所でええんかね?モデル一覧あたりの更新も相談したい
0963名無しさん@ピンキー2025/02/13(木) 09:56:04.44ID:???
>2でkoboldcppを勧めてるけど、初心者の人にはLM Studio使わせるほうがよさそう
使い易さもあるけど、llama.cpp含めて自動更新になったから環境依存問題が一回り減るはず
0964名無しさん@ピンキー2025/02/13(木) 10:13:51.87ID:???
楽天だから期待してなかったけど規制ゆるゆるで結構賢い
mmnga/RakutenAI-2.0-8x7B-instruct-gguf
0965名無しさん@ピンキー2025/02/13(木) 10:33:17.73ID:???
プロンプト書いてもらうのにdeepseekは優秀だなぁ
中々繫がらないけど‥
0966名無しさん@ピンキー2025/02/13(木) 10:43:59.76ID:???
なんJ側の荒らしをしらないのでアレだけど、戻るかどうかをタイミングで決めるのは面倒な事が起こりそう
どうするにしてもスレ途中で行うのがいいのでは

モデルは個々の紹介よりは性質の違い、見分け方、分類のほうがニーズある気がする
ローカルだけでなくAPI経由でのLLM利用全体まで広げて、 OpenRouterを紹介するって方向もありえそう
0967名無しさん@ピンキー2025/02/13(木) 11:04:00.62ID:???
モデルごとのシステムプロンプトよく分かんなくて泣く
構文が合ってないと上手いこと認識してくれないみたいな解釈でええんよな?
0968名無しさん@ピンキー2025/02/13(木) 11:13:40.94ID:???
アナログ的な感覚がある気がする
試行錯誤しまくることで身につくというか
0969名無しさん@ピンキー2025/02/13(木) 14:39:52.44ID:???
>>967
それもローカルLLMが流行らない原因の一つだと思うわ
AI画像生成ならモデルの推奨プロンプトをコピペするだけで良いのに
0970名無しさん@ピンキー2025/02/13(木) 14:42:23.87ID:???
あっちに戻ったらURLや数字入り文章を書けない人が続出すると思うよ

避難所というかここが本スレでいい気がするけどそうするとスレタイがアレだからねぇ
波風起こさずに今まで通りひっそり続けていくのが一番かな
0971名無しさん@ピンキー2025/02/13(木) 14:52:52.17ID:???
>>969
koboldは自動的に推奨プロンプト入れてくれるんじゃなかったけ?
なんだかんだ言って初心者向きとは思う
0972名無しさん@ピンキー2025/02/13(木) 14:54:28.97ID:???
無料だからずっとcohereAPIをSTに繋いでたけど
gemini2.0に代えたら凄いこれ‥
今までありがとうcohere
0973名無しさん@ピンキー2025/02/13(木) 17:01:10.58ID:cIvYBfxO
テンプレ長すぎるしWikiでもSeesaaで作るか……と思いながら過ごしてたらスレ完走しそう
0974名無しさん@ピンキー2025/02/13(木) 17:15:59.06ID:???
とりあえずテンプレはAMDユーザー用にrocm版koboldの案内と量子化は4bitまで劣化がほぼないこと
モデル系はgoogle aistudioのAPI取得の案内とmagnum系追加する感じでいいかな?
他にある?
0975名無しさん@ピンキー2025/02/13(木) 17:38:28.07ID:???
4090上のIQ3_Mで今実験してるけどRakutenAI 2.0 8x7B Instructも日本語チャットならまあまあ
0979名無しさん@ピンキー2025/02/13(木) 19:56:23.70ID:???
結局実用用途で言えば今はネットでデープシーク1択だよね?

>>978
PC無し生活でここに来るって珍しいねw
0980名無しさん@ピンキー2025/02/13(木) 19:58:52.87ID:???
>>964
7Bでもまともに動くの?

自分2年前にRinna使ってキチガイと話してるみたいな印象植え付けられてそれ以来7Bって敬遠してるわ。。。
0981名無しさん@ピンキー2025/02/13(木) 20:00:15.34ID:???
>>962
うわぁ意図せず980踏んでしまった。。。
楽天なので建てれるか分からんけどこのまま新スレ建てればいいの?
0982名無しさん@ピンキー2025/02/13(木) 20:11:10.04ID:cIvYBfxO
>>974
LM Studio、OpenWebUIとかの触りやすいインターフェイスとかあるけど
そういうの冒頭に追加してくと無限に長くなってくからな
0987名無しさん@ピンキー2025/02/13(木) 21:05:47.07ID:???
テンプレとか弄りたいなら次スレの最初の方でやっといた方がいいんじゃねーの
このタイミングでやってもすぐ埋まるで
0991名無しさん@ピンキー2025/02/13(木) 21:53:32.30ID:???
スレ立て乙!
Zonosで同じく格闘してたんだが
docker-compose.ymlを
version: '3.8'

services:
zonos:
build:
context: .
dockerfile: Dockerfile
container_name: zonos_container
runtime: nvidia
ports:
- "7860:7860"
stdin_open: true
tty: true
command: ["python3", "gradio_interface.py"]
environment:
- NVIDIA_VISIBLE_DEVICES=0
- GRADIO_SHARE=False
に書き換えて
DockerDesktopの7860:7860のリンクをクリックしたらいけた
0993名無しさん@ピンキー2025/02/13(木) 23:10:21.25ID:???
てか、rinnaも新しいの出してるな
deepseek蒸留版もあるし、今から試してみるわ
0994名無しさん@ピンキー2025/02/13(木) 23:15:56.77ID:XkWSVi4J
>>991
おめでと、ポートを出せばうまくいくよね

>>958 は諦めたのかな? もしこっちとのやりとりに行き違いがあって
gradio_interface.py の末尾をserver_name="127.0.0.1" に書き換えたままなら、コンテナ外からはアクセスできないし……まあもういいんだけど
0995名無しさん@ピンキー2025/02/14(金) 00:14:44.85ID:0OnyLn+5
rinnaのbakeneko deepseek版使ってみたけど、日本語でしっかり考えてくれてすごい良い感触や
ワイの環境やとQ2までしか動かせんからそれなりに破綻してしまうけど、それでもええ感じや。Q4とかならかなり良さそうな気がするで
0997名無しさん@ピンキー2025/02/14(金) 08:43:36.12ID:???
>>991
>>994
これも駄目だあ
そもそもdocker desktopにその7860:7860が出ないんよねえ
何時間待っても-のまま
0998名無しさん@ピンキー2025/02/14(金) 09:42:39.35ID:???
dockerは脇に置いといて、WSL経由でUbuntu起動してマニュアルでインストールしたほうが早そう
10011001Over 1000Thread
このスレッドは1000を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 49日 21時間 5分 52秒
10021002Over 1000Thread
BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php
レス数が1000を超えています。これ以上書き込みはできません。