なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>735
どっかでGGUFでGPUオフロード使う場合PCI-Eの帯域が結構重要って見たからUSBライザーが足引っ張ってるんじゃないかと
GPUがRTX世代でEXL2モデルだと初回のモデルロード時以外は帯域はあんまり問題じゃないらしい
あとCPUの世代が古い場合だとiMat（iQ*とか）じゃない方（Q3_K_Sとか）の方が早いらしいよ
あんまり関係ないけど6/1からアリエクでセール始まるし中華X99マザボ（PCI-E 3.0 x16 2スロット付いてる）とTesla P40/VRAM24GBの2枚刺し検討してる
手持ちのパーツ使い回せば10万弱で組めそうなんだよな...
長文すまん ライザーカード使ってもモデルロードが遅くなるだけで推論は変わらないよ
3060がだいぶ遅いし3090に載らない分が多くなればなるほど総合で遅くなってると思う KoboldCppのAdventureモードで
メインシナリオから離れたサブシナリオとして大規模ダンジョン行って帰ってきたら
サブシナリオのログでコンテキストが溢れたっぽい。メインシナリオ実質消滅。
Adventureモード使いこなしてる人いる？
MemoryとかAuthor's Noteとか使いこなしてる感じ？ rtx3090×2個、RAM64gbのマシンがあるけど、それでも性能不足か 大葉で、チャットごとに増えていくcontextが、n_ctxの値に近づく（あと500程度）と、
次の生成が無茶苦茶遅くなるのは、溜め込んだcontextに対して何か処理をしているんだろうけれど、
どの様な処理をしているんでしょう？
単純に古いのを忘れるだけなら、こんなに時間はかからないと思うんだけど。 context shifting起きてるんじゃないの？ >>745の状況を反映しているかはわからないが、ちょっと前に作ったもの
n_ctxを本当に超えてないのにいきなり遅くなるんだったら、ちょっとわからん
https://i.imgur.com/izDIkaz.png
https://i.imgur.com/uil7Uhx.png ひょっとこフェラがなかなｋ認識されない……
チンポをひょっとこ型に変えてしゃぶらせたりしやがる
たまにちゃんとした詳しい描写をするから学習はしているはずなんだけど何が原因なのか 変に名称を出さないほうが良いのかもね
強く口を窄ませてとか、大きく頬を窪ませて、みたいにするとか
例に出すのはあれかもだが、Opusなんかは何も言わんでもそんな表現多用するから恐ろしい… >>746
>>747
おそらくContext Shiftingが起きているのは理解できました。
遅くなる前の最後のcontextが8921で、最初のContext Shifting後が8906で、
それまでずっと増えてきたのが減っています。その次も8902で減ります。
一度起こると、毎回起きるから無茶苦茶遅い。
あと一度起きた後から、生成してくる内容が、こちらの入力をあまり反映せずに、
Context Shiftingが起きる最後の方と、同じ様な内容を繰り返すだけになっちゃう感じ。
※これは以前、koboldcppでも同じ様な感じだった記憶だけど、遅くなる事は無かったと思う。 上の方のレスでStreamingLLMをオンにする方法他の人にも伝えたから、参照してくれ ついに7BでGPT-3.5超えが出てきたか
あくまでもベンチマークだし7B故に知識を求めてはいけないが >>752
おお、情報ありがとうございます。
ちょうど、大葉にcontext shifting搭載を要望する海外の投稿をみつけて、
もしかしたら機能自体未実装なの？と思っていたところでした。
これから試してみます。 元のStreamingLLMはコンテキストの上限を超えても(ある程度性能を保ちつつ)無限に生成を続けられる実装になってるんだけど、oobaの方でも同じようになってるのかは気になる 正直コンテキスト超過するまで文章出力するかっていうとそこまで長いセッションしないからなぁ >>756
StreamingLLM、今まだお試し中だけど、反応は改善していい感じです。
一回のリクエストごとに、どのリクエスト＆レスポンスのセットが消えたか、ターミナルに出力されます。
n_ctx:9472に対して、contextは9000弱を維持している感じ。
無限かどうかは、消えるセット分に対して、大きなリクエストをしなければ大丈夫かと。 金融関係のコーディングを相談したかったらどのモデルが向いてるかな？英語でも良いんだけど Elyza-tasks-100のスコアを評価値としてevo mergeしたモデルをElyza-tasks-100で評価してるの全く参考にならないんだが
ここ見てるはずだろうから言うけどマジでこんな初心者みたいなミスやめてくれうみゆき ここにはフルCPU勢って殆どいないかもしれないけど、
生成中のCPUパフォーマンスが30〜50%程度なんですが、こんなものでしょうか？
もうちょっと使ってくれてもと思う。 ソフトによる気がする LM studioだと80%くらい使うがGPT4ALLだと20%くらいしか使ってないわ 昨日から始めた超新参者ですEasyNovelAssistantでgoalseek_adを使いたいんですが幾つかあるyamlファイルはどうやって反映させればよいのでしょうか？pythonファイルの書き換えとかが必要なんですかね？産まれたての赤ちゃんですみません CPUで処理すると時間がかかりすぎる
メモリーのbusが遅いのか >>764
なるほど。シンプル（多分）なGPT4ALLでそれなら、必ずしもフルにぶん回すわけでもないのかな？
ちなみにうちの環境は、メモリ64GBで大葉かkobold.cppでcommand R+ iQ4。
今の0.5〜0.6t/s程度でもまぁ動くだけいいんだけど。
UMPCでAMDなもんで、たまにeGPU繋ぐけど、基本フルCPUのみ。 選択式のアドベンチャーゲームって簡単に再現できるんだな
適当にそれっぽい設定にしたら上手くいったわ >>765
goalseek_adをどう使うかによるけど
そのまま使いたい場合は、Gitからダウンロードとかせずにつかえる。
EasyNovelAssistantのメニューのサンプル→特集テーマ→テンプレ：小説企画からプロッティング
がeditor、その下がwrite
あとはEasyNovelAssistantのインストールしたフォルダの下にsample/Goalseekってフォルダがあるけど、それ読み込んでもいい。 >>768
すげぇな
同じゲームになることはないので、楽しいだろうな >>769
なるほど、そもそもgoalseek_adは内蔵されているんですね！助かりましたありがとうです！ >>767
Codestral使いたいけど22Bなんて3090じゃ動かねぇな >>767
ごめん７７２の安価は間違い
koboldでcommand R+動くんだね！ ベンチマークに使うデータを学習させておくという、所謂カンニングモデルがあるようだが、
こうなると自前の検証プロンプトが必要だな >>740
入力後のレス開始が遅いってこと？
winに比べてどのくらい遅いの？ windowsというか自作機がVRAMドカ盛りにできるようになる可能性と
appleが今の優位性認識して更に進化する可能性考えたら
前者は可能性あってもMacには先がない気がするんだよなあ… 画像読んで小説書けるなら、マンガ1ページ読み込んでノベライズも出来たら割と夢の技術になりそう マンガがただ小説になったよー！ ってだけじゃ別になあ
まずは「これガチで小説として面白いぞ」ってのがAIからバンバン出るようになってからよ
英語圏ですらまだそこには行っていないのでは >>777
さんきゅ
フルロードしたらA6000の方が早いのか
macの強みはメモリを安価に盛れるってことなのかな？ M2Ultra192GBで3070 8GBのちょい上ぐらい？
さすがに3090や4090は速いね SATAで繋がって3.5インチに収まるNPUボード チャットで架空の女友達二人と仲良く遊んでるとすごく幸せになるな！ silly tavernのグループチャットで自動応答してるとよくあるけど
ワイそっちのけで女同士がよく乳繰り合い始める
生成AIを賢くするには「メガプロンプト」がお勧め
https://xtech.nikkei.com/atcl/nxt/column/18/00692/053000133/
ワイはCR+を主に使ってるせいか簡潔明瞭なプロンプトじゃないとLLMは混乱するイメージなんやがどうなんやろ キャラクターの設定を多くすると、正しいチャットレスポンスの後に、
状況の説明とかいらん文章が続く印象なんだけど、因果関係はあるのかな？
特に最初の数回が顕著。 コンテキストサイズとの兼ね合いもあるしなあ
コストや応答速度にも影響するしデカけりゃデカいほど良いとは言えないのが現実 ストーリーをオムニバス形式にして色んなキャラとのセックスを描かせてみたら
展開が全部同じで泣いた
セリフも状況描写も言い回しもほとんど同じで泣いた Opusを尻タブであそんどる人おる？
やってみたら、無粋なこと言わずにめっちゃエッチで色彩豊かな文章書いてくれるんだけど、ワイのセリフや動作も勝手にどんどん描写しやがるんや
その辺うまくハンドルできてる人いたら設定教えてくれんか？ 尻タブが何かはわからんけど、それは極めてよくあるロールプレイ失敗パターン
・字数を100文字程度に制限する
・話しやすい話題を提供する
・チャットであることをもっとよく意識させる >>791
「Character Names Behavior」を「なし」から「Message Content」に変更すると一応抑制できるやで
それでもOpusのテンションがぶち上がると勝手に書いてくることがあるから
デフォプロンプトに「ユーザーの台詞は絶対に出力しないこと」みたいなのを適当に翻訳かけて付け足すとええ >>0792
尻タブ>Silly Tavern
あー、字数制限はええな、ありがとさん
>>0793
そもそもCharacter Names Behavior知らんかったわ
SystemPronmtに既にユーザーのセリフや動作は記述スンナ、入れてあるんやが当たり前のように無視されるんで困ってたんや
Author's Noteにも同様のプロンプト入れたら今んとこ大丈夫そうな感じや
お二人さん、ありがとな〜 >>787
CR+で10000字ぐらいのプロンプトでイイ感じに動いてたんだが、昨日13000字にしたら初期によく見た繰り返しが発生した
原因の切り分けはまだしてないが、増やした内容の3000字の内容は参考にしてほしいエロ小説からランダムに抜き出したエロ文とか文体の言い回しのサンプル集だった ＼|／
/⌒ヽ ／￣￣￣￣￣￣￣￣￣￣￣
| ゜Θ゜）＜ そうでもないよ。
| ∵ つ ＼＿＿＿＿＿＿＿＿＿＿＿
| ∵ ｜
＼＿／ 自己小説使って、jsonデータまではできたが、そっから先が上手くいかん・・・
とりあえず、
https://note.com/ashizawakamome/n/nc0436ca13ab6
読みながら、swallow 7Bでやってみたが、エラー解消しきれん・・・
この辺、だれか詳しい人いないかな？
あと、70Bのlora作るのに、メモリいくら必要なんだろ？
量子化済みのモデル使う事もできるらしいけど あえぎ声の口調が全然上手く指定できない
王子様系とかガサツなギャルとか男勝りな女戦士みたいなキャラでも
「あんっ！ダメ〜！おまんこイっちゃう〜！」みたいなナヨナヨした喘ぎ声になってしまう
まあそもそも普段の口調も「〜わよ」みたいな女言葉を使ってしまうことがあって安定しないんだけど……
「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」とか指定してもどうにも効きが悪い >>799
どういうのがええんや
自分でイメージできないものはLLMにも書かれへんで
自分のイメージだとこんな感じやな
https://i.imgur.com/WshVRWG.png そういう口調の豊富さは日本語特有だからね
なんなら英語には語尾の男言葉/女言葉の概念すら無い
「役割語」をwikipediaとかで調べると、これが日本語独特の概念だということがわかると思う
だから「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」というような指示をしても理解されにくいよ
具体的に口調の例を与えるのが一番確実よ 英語を理解して意訳するのが一番いいんだろうなあという気がしている 英語なんてそもそも喘ぎ声ほとんど出さないじゃん
それが悪いとは言わないがオナネタとしては全くの別物 別物だね
日本語が字面に興奮する部分が大きい(個人差はあるが)のに対して、英語は状況や内容に興奮するもの >>801
ギャルなら「あーやっべ♡ マジイク♡ マジでイクッ♡」みたいな感じ
>>802
そこらへんよく分かってないんだけど、作者が日本人っぽいRP-expressiveでも理解されにくいもんなの？
ある程度は理解してギャルでがさつな喋り方はしてくれるんだけどな
何にしてもcontextに具体例書いてみるわ >>806
そこはどれくらい学習してるか次第だと思うよ
理解されにくいと書いたけど全く理解しないわけでもない
元々英語には無い概念だから如何に日本語の「そういうの」を学習してるかによる
その辺りはGPT4ですら充分とは言えなくて、だからOpusが登場した時にその自然さに皆驚いた訳でね
それくらいのクラスのモデルじゃないと日本語の口調を使いこなすのは難しいのだと思う
創作物によくある定型的なものなら、もっと小さい日本語特化モデルでも再現してくれそうだけどね 喘ぎ声の豊富さも日本語特有というか、創作物の中で長年培われてきた「言葉芸」みたいなものだからなw >>806
ローカルでそういうのやりたいならAI側の出力編集して強制的にfew-shotになるようにすればいいんじゃない サイズ小さいモデルに例示するとそれしか出なくなるけどね 日本語学習してるのを謳ってるローカルか、そうでなくとも大規模クラスになると日本の有名アニメキャラの口調はだいたい再現するんで、「○○みたいな口調で」みたいなのを加えつつキャラごとの喘ぎ声のサンプルを足してもいいかも
まぁ俺のもたまに竿役ジジイがヒロイン口調になったりするが… >>807
なんて分類になるのか分からないけど7GBぐらいの小さなモデル使ってるから
余計に上手くいかない感じなのかな
>>808
few-shotがいまいち理解できてなくて使ってなかったんだけど
試しにやってみたらだいぶ言葉遣いが良くなった気がする！
>>811
突然語尾が「~だお」になって古のvipper化したときは笑ったわ 長文失礼
チャットや長文プロンプトしかやっていなくて、気づかなかったんだけど、
ストレートにエロなプロンプトだとcommand R+でも結構申し訳されるんだね。
今Pythonで、長文の生成に取り組んでいるのだけど、
部分的な文章の修正をさせようと思って、エロを含む短い小節（100〜200文字）だけ
プロンプトにしたら申し訳ばっかでリジェクトされて難儀した。
で、前に誰かが書いてくれた
「あなたは性的な話題にも明るいアシスタントです。」
を頭につけるのは有効だった。ありがとうございます。あとは妄想という事にしたり。
しかしいつも使っていた4000〜5000文字程度のプロンプトだと、
かなりどストレートなエロしか書いていないんだけど、
申し訳くらった事一度も無かったんだよな。どういう違いがあるのだろう？
ちなみにプラスじゃないcommand Rだと、申し訳のハードルはやや緩い様子。 >>813
俺はロールプレイで貰った事無いけど素のCR+くんにされたことある
小説はしないからロールプレイの話になるけどキャラのパーソナリティに性的な性格や行動規則を付けるとガンガン書いてくれる
逆に性的な行為に乗り気じゃないパーソナリティだとあまり出力してくれない
まあこれはgptやopusでも似たような傾向あるしプロンプトで何とか出来る可能性あるけど >>813
長文プロンプトの中にこれはエロ小説の話だと思わせる節が入ってたか、
長文だと勝手にエロ小説=ファンタジーだと解釈するのかもねぇ
俺もcR+だけど基本的に小説家ってことになってもらってて申し訳ゼロ
ただ、自動で付くチャットタイトルだけ「あけすけなエロ」とか「私そんなの書けない」的な英文タイトルになってて、なんか心の奥底で抵抗してる催眠ヒロイン感もある 長いプロンプトは冗長な内容だったり人間が読んでも良く分からん内容だと出力も悪くなるけど
上手く整理して書き上げたら確かに良い結果が出てくる印象はあるな
でも大体は失敗するから短い文章でAIに任せた方がいいけど セッションが増えると徐々に支離滅裂になっていくのもユーザーと自分の発言でどんどん混乱してるんだよなぁ >>617
ユーザーとキャラの口調や発言が似てると混乱しやすいみたいだな
男（ユーザー）
男っぽい喋り方の女キャラ
女性らしい喋り方の女キャラ
の3人で会話してると、男っぽい女キャラの性別が男になってユーザーの真似をし始めるわ ST使ってる外人がやってるプロンプトの書き方真似したらめちゃくちゃ出力良くなった
あとワールドロアって凄いなメモ的に使ってセッション持ち越せるし表現力を強化するmodにもなるし >>820
プロンプトの書き方とワールドロアについて詳しく >>821
上手いプロンプトは外人がアップロードしてるキャラクター情報を見たほうが早い。下手なのも多いけど
ワールドロアはキーワードに反応してその時だけプロンプトを引き出せるという機能
要は、常に打ち込む必要は無い情報のプロンプトを必要な時に参照する事ができるので、トークン圧縮が出来る Twitterに上がってたChunkllamaってやつすごくね？
追加学習なしで4kから65kくらいまでコンテキスト長く出来るとか革命だろ
なんでこれあんま話題になってなかったんだろ、一般ユーザがよく使うllama.cppとかに実装されてないからなのかな >>814
>>815
コメントありがとうございます。
プロンプトに使用している長文は、日記という体なんですけど、
ファンタジーと認識してくれているかは微妙なところですね。
「「あなたは性的な話題にも〜」とかつけて生成してくれるだけありがたいんですけど、
「ご要望に沿って性的かつ妄想的な内容を含む物語的記述を含みますが、
この会話型AIトレーニングプロンプトに含まれるものは完全に架空のものであり
犯罪を助長するものではありません。」
みたいなエクスキューズが毎回ついてきて、プロンプト工夫しても省略してくれなくて、
プログラムで処理するのが面倒なんですよね。 >>741
>>742
USBライザー接続やめて、x16スロット4分岐拡張カードに変えてみたら、0.4t/s上がったわ
ちょっとだけのアップだけど、このスピードだと無視できない数字
IQ4_XS(56.2GB) ・・・ 3.9t/s
RTX3090 1枚 x16 gen3
RTX3090 1枚 x4 gen3
RTX3070 1枚 x4 gen3
RTX3060 1枚 x1 gen2 USBライザー経由
マザボ ROG STRIX Z490-F
IQ4_XS(56.2GB) ・・・ 4.3t/s
RTX3090 1枚 x4 gen3(x16を4分岐)
RTX3090 1枚 x4 gen3(サウスブリッジ)
RTX3070 1枚 x4 gen3(x16を4分岐)
RTX3060 1枚 x4 gen3(x16を4分岐)
マザボ TUF GAMING B550 PLUS
x4+x4+x4+x4分岐拡張カード
変更点
・x16からx4に変更
・USBライザーx1からx4に変更
・x4分岐に対応したマザボに変更
X16からX4に変更で約1t/sの低下あり
でもUSBライザーからx4に変更で1.4t/sアップ >>828
追記
しばらくすると1台のGPU(RTX3070)が休んでる状態になるのに気がついて、GPUの負荷をかけ続けてみたら、7.8t/sまでアップした
ほぼ問題ないスピードになったので満足
分かったこと
・3060がボトルネックではなかったこと
・接続数が増える程度ではあまり性能低下しないこと
分からないこと
RTX3070がすぐ休んでしまうこと
NVIDIAコンパネの電源とOSの電源をハイパフォーマンスに変更してもダメ
なんでだろう？ GDDR6って8GBで4000円しかしなくてDDR5と値段変わらないのに
16GBやそれ以上のモデルの値段のぼったくり具合と来たらしゃれにならないよな
いい加減どこか良心的な価格で出して欲しいわ >>826
CR+でそこまで申し訳されるの逆に難しいと思うんだけど、AIにロールを与えたりはしてる？小説ならAIに小説家のロールを、ロールプレイならキャラクターのロールを与えたら、GPTやOpusではどんな脱獄でも記述してくれないようなドン引きシチュを書いてくれるけど
行為だけを記述した場合流石に申し訳されたからセリフを混ぜたりするといいかも >>829
7.8いいなあ
公式が無料枠を減らしてきたら自分も試してみようかな 同じサイズの巨乳でもハイエンド美人さんに付くのとローエンド不美人さんに付くのでは価値が違うってことなのかな web版のcr+って量子化したモデル使ってない？
導入時に比べて質↓速度↑な気がするんだが koboldのチャットのAI Nameに複数名入れたら
二人目のセリフが途中で中断されるんだけど何が原因かエスパーできる人いる？
設定はこうやってるんだけど、AI Nameの書き方間違えてる？
https://imgur.com/a/57LK0dA
ユーザー
キャラ1
ユーザー
キャラ2
って順番に会話することはできるけど
ユーザー
キャラ1
キャラ2
って表示が出来ない チャットだったらSilly Tavernがいいかも
かなり良く出来てる
会話例を入れる箇所もあったり
プロンプトも見れるから試行錯誤がやりやすい >>836
silly tavernを起動できたんだけど、これって自分でダウンロードしてきたモデルは使えない感じ？ >>837
裏でkobold立ち上げてモデル読み込み後に尻と接続する >>838
ここのSTEP5の説明にある画像だとAPI urlを入力する欄があるけど
レイアウトが変わったのか、今開いてる尻にはこの欄が無いんだけどどうやって接続すればいい？
https://rentry.org/llama_v2_sillytavern >>839
横だけど
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける ■ このスレッドは過去ログ倉庫に格納されています
