なんJLLM部 避難所 ★2
レス数が1000を超えています。これ以上書き込みはできません。
Nvidiaは独占を盾に営業利益率9割なんて狂った商売してるからな
RTX5090も卸価格30万としたら実際の製造コストは2〜3万円でしょ
えげつないわマジで >>601
私の場合個人でちょこちょこやってるだけなので大量のデータを
埋め込みモデルで処理する必要がなくてopenaiのかlangchainに組み込まれてる
ものしか使ったことはありません。あまり参考にならなくてすみません
ローカルでRAGは一度試したのですが、たぶんマシンのスペックが低すぎて
うまくいきませんでした。ツイッターに以前ローカルRAGのライブラリが
流れてきたこともありましたが、その時点ではまだ使えるような
ものではなかったと記憶してます >>611
なるほど、ありがとう
ローカル埋め込みモデルも少し前までのテキスト生成と同様にあまり日本語モデルはいいのがなさそうな感じなんですよね
Cohereもembeddingとかrerankerはクローズにしてるみたいだし
なんかLLMもローカルでやってるんだから埋め込みもローカルだろうっていう欲があって、かなり微妙なんだよなぁ 5090でGDDR7を採用してメモリ速度が倍ぐらいになるかもって話だから、このスレ的には買いかもよ
まあ円安もあるし値段次第だけど Aratako/Ninja-v1-RP-expressiveとかでエロチャをさせてると勝手に登場人物が増えるんだけど
こういうのってどうやって登場させないようにするの？ >>615
俺の手元では起きてないな
プロンプトテンプレートが合ってないとか量子化しすぎとかじゃね？
それかコンテキストサイズが大きすぎるとか（多分4kまで） 他のローカルLLMでもよく起きるけど、上でも少し話題になってた過学習の問題じゃないかな
一般論的には少ない指示で多くを語らせようとすると出やすい気がする
対策としては向こうが話に答えやすいようにこちらの会話内容や指示を濃くして、
チャットなら返答テキスト数を絞らせる、小説なら指示を提示しないまま続きをどんどん書かせないとか
あと試したことないけど、シンプルに「指定した登場人物以外は出さない」ってプロンプトに入れたらどうなるんかしら >>614
しかし狂ったカネ払って64GB載せたところで基本的に70B世代のものを
動かすことになるのでは
今後モデルのさらなる肥大化しそうだけどなあ
それともテキストの質のほうが問われるようになって意外と
70B世代で耐えられるんだろうか 粗利900%とかでAI向けに売れるのに
個人向けにサービス価格する意味がないからなあ 無駄に品質の低いデータや他言語を大量に学習させて肥大化しただけのパラメータだけでかいLLMよりは日本語に特化した70BのLLMの方がやりたい事は出来そう grokとか動かせるようにごっつ量子化してるだけでネイティブは流石にすごいんやろなあ…とか思ってたらマジポンコツ過ぎてびっくりした 70Bってデカい方じゃないの？
64GBあっても量子化しないと載らないだろ 高品質なデータであれば比較的少なくてもいいことはphiシリーズでわかったけどまともな思考力や推論力が必要であればパラメータ少ないのは致命的な気がする 70Bが家庭でできる限界だろ
それ以上となると自家用車をあきらめる必要がある テキストなんて圧縮すればアホほど縮むんだから
優秀なLLMを小サイズVRAMで実現するのはこれからの基本モデルの設計次第だろうな
現状の大規模に作って量子化してっていう発想はまるでスマートではない 24時間動かす業務用AIチップは電気代が主なコストだからチップそのものはいくら高くても売れるからな
個人が安くGPUを変える時代は二度と戻ってこないだろうな 来ないわけないだろwただNVIDIAが今は独占してるだけそのうち他の企業や中国が競争に入る IntelとAMDがCPUとの合せ技で緑のケツを蹴り上げてもらうしかないのだが早くても数年後やろな…… こんな独占状態が長く続くわけないからね
稼げるうちに稼ごうということなんだろう >>625
アホほど縮むのは画像とか音声だよ
非可逆圧縮が許容されるからね
テキストは劣化が許容されないから縮まない >>630
圧縮する→符号化する→符号のパターンの関係性を類推する→復号化する→展開（出力
プロンプトを圧縮する→続く符号を類推する→プロンプト+答えを出力する
こう考えれば？
要するに圧縮解凍部分だけ機械的にやれば良い、そこに不確実性は介在しない。 mac studioで192GBメモリが最安838800円なんよ
でもllama3 400bがそのうち来ることを考えると256GBほしいねんな・・・
正直192GBをポチる寸前まで行ったけど400bの存在が俺を思いとどまらせた 新車軽程度の出費でLLM趣味のスポーツカーMacStudioが買えちまうんだ >>633
400B狙うならQ8_0駆動で512Ｇですよｗ あと1-2年でLLM用のマシンがあればPC使う仕事の殆どは出来るようになるんだろうけど
そしたら企業が社員を解雇して大容量VRAMのPC買い漁るようになってGPUと全く同じ価格の暴騰が起きるだろうなぁ
管理職1人いればPC1台で社員数十人分の仕事できるようになるんだから1000万でも売れるだろうし GPUとは別にNPUを搭載しているというArrow Lakeが果たしてどのくらいの性能になるかね
アップルシリコンレベルの性能あればメモリ自由に足せるし一気に情勢変わりそうだけど Arrow lakeは一般PC用だから期待しないほうがいいと思う
それよりノートPC用の新型メモリ規格をデスクトップに乗せたマザーボードをMSIが参考展示するんだって
DDR5-8533 デュアルチャネル273GB/s 新型
DDR5-6400 デュアルチャネル 204GB/s
DDR4-2666 デュアルチャネル 83GB/s うちのPC >>638
その管理職はCIO務まるレベルのスキルと経験が要るぞ >>639
結局メモリの制約でsmallの方使ってみたんだが割と良いかも、助かったよ
実験結果
https://i.imgur.com/B4VpyUj.png Command R+のチャットUIにRAGとして組み入れてみた
https://i.imgur.com/Q6hXCxm.png >>638
でも君じゃその管理職と同じ事やれって言われても出来ないでしょ絶対
道具のスペックが上がっても、人間はそこまで進化しないよ >>646
GJ
LLMをローカルで完結させたいんだから埋め込みもローカルでやりたいよね >>649
そうなんだよね〜
埋め込みの話題探しても大体ベンチマーク的なやつとかOpenAIとかAWSのTitanみたいなクラウドのやつしかヒットしなくて、ローカルでアプリケーションに組み込んだっていう記事があんまり出てこなくてね
今の組み合わせでほぼ実用的な結果(体感HuggingChatとかChatGPTの検索とそんなに変わらない)が返ってくるようになったから、当分これでやってくことにするわ どうしてもサーバーのLLMに戻ってしまう
個人目的でローカルLLMの遊び方を教えてくれ
エロい事は一通りやってみた >>650
koboldが対応してくれたら最高なんだけど無理なんかなぁ >>652
Chat UIの自作いいぞー
一旦ベース作っとくとkoboldとかwebuiで実装されてない機能自分でペタペタくっつけられるから結構良い >>648
それはその通りだけど今後求められる能力ではあるとおもうよ。
ちなみに自分は638じゃないよ このスレの人達ですらこの認識なんだから世間に時代の流れに取り残されてる人が多いのは当然だよな
copilot使ったら少なくともいま末端のPGにやらせてる作業なんかはみんな自動化出来るわ
大手SierはPGは既に殆ど下請けに外注してるから切るときはあっという間だろうな 原文の情報掬ってきてソース付＆日本語でま簡潔にまとめてくれるのいいなあ ヤベえやっちゃなって思ったらツッコまずににっこりアルカイックスマイルで受け流すのがいいと思うよ…
極論エクストリーム起きると不毛なんじゃ >>655
それと>>638の未来予想は全く繋がらない >>653
そういうの聞くとPython勉強したくなるな
copilotとかにマイナーな同人エロゲの評価聞くと途中で会話消されてなかった事にされるけど自作ならそんな事ないんだよね？ >>659
会話履歴の管理はユーザーが自由にできるから、もちろん会話が消されるとかはないよ
検索エンジンにduckduckgoとか設定すればセーフサーチ切ってR18コンテンツヒットするようにもできるし
ただ、使うモデルによっては会話をお断りしてくる可能性はあるけど
https://i.imgur.com/vF0knFl.png >>660
おおお
いい感じやね
すまんが「性教育は蜜の味」っていうエロゲの詳細と評価聞いてみてもらえる？
以前copilotに聞いたらすげ〜興味深い事書き始めて見てたら途中で慌てたように消して以後なかった事にされて憤慨した経験がw >>662
サンキュー
copilotは細かいシチュの内容まで書きそうになってたけど流石にそこまでは深掘りはしないか
でもすげー新鮮だった
Python勉強するわ STにRAGが付いたそうなので、本人以外の周りの簡単なキャラ紹介テキストを入れておいたら
周りのキャラ自体が会話に割り込んで参加してきてしまう
難しい STの場合、「本人以外の周りの簡単なキャラ紹介テキスト」こーゆーのはWorld Info(Lore Book)でやるのがえーんちゃうの？
トリガープロンプト設定できるから、ある程度操縦できるんではないんか？
そもそもメインのプロンプトに母親だのオヤジだの村の連中だのの設定したカードあるけど、脇役連中が乱入してきたりはワイは経験ないな
使ってるモデルや設定にもよるんかの？ text-generation-webuiのwikiを読んでも全然意味が分からないからひとまず3つ質問させてくれ
使用モデル：Ninja-v1-RP-expressive_Q8_0.gguf
・「chat」→「character」のcontextの記述のコツや例文があれば
・トークンってなんぞ？
・chat-instructでCommand for chat-instruct modeの欄を使わずにchatをしていると、ボットの返答文字数がどんどん増えたり内容が固定化されていってしまうんだけど、その対処方法
>>616-617
ありがとう
原因は分からなかったけど勝手に登場人物が増えなくなったわ >>666
やっぱすげーなopus
どっかの中華料理のセリフじゃないが
これがローカルで出来たならムググッ >>665
ありがとう
分かち書きのない日本語でチャット中にWIにヒットさせるのが難しい
何やら複数人で会話していいみたいだぞと判断すると知ってる名前に飛びついて勝手に発言しだすとか
RAGの解析がよくないとかありそう RAM64GBで、GPUはRyzen7840内蔵ので使えないから、フルCPUなんだけど、
自作の文章生成ツール（Python + llama-cpp-python）だとcommand-r plus iQ4（n_ctx=8000）ロードできるのに、
koboldだとn_ctx下げても落ちちゃうな。
メモリじゃなくて他の設定の問題なんだろうか？
無印command-r iQ8は普通に動いているんだけど。 kobold.cppもllama-cpp-pythonもベースはllama.cppだから、直接llama.cpp起動して確かめてみたら？
もしそれで問題ないようなら、kobold.cppの設定（あるいは実装）になんか問題があるんだろう koboldはUIはいいけど
llama.cppと比較するとクソ遅くてびっくりする
llama.cppのバイナリは7zで15MBに収まるからかなり便利、まさにどこでもLLMだわ もういいよ7Bは
最強を目指してるなら普通にパラメータ増やせよ でかいモデル育てるとなるとLlama 3 70BとかCommand R Plusとバチバチやってかないといけないし、ちっちゃいコミュニティでやるのは現実的じゃなさそうだけど 上でも言われてたけどミッドレンジぐらいで徹底的に日本語表現研ぎ澄まして
現在ならopusあたりまで来てくれるのがあったらねぇ 普通のPCで「ちょっと遅いけど32GBメモリ積んだデスクトップPCならまあ耐えられる」ってのは
量子化33Bくらいがﾁｮｳﾄﾞｲｲ！なんだけどねえ 今nsfwモデルを作ってくれてるのってほとんど個人でしょ？
7Bよりでかいモデルを作るのに機材が足りないのかもなあ ArrowProシリーズ作ってる人はAIVtuber向けを想定してるみたいだから実用速度的に7Bくらいじゃないと使い物にならんのじゃないか
ここで求められる用途とはまったく違う 海外の好きなジャンルのエロ小説を訳すのにLLMモデルを使ってるんだけど、
（やっぱり人間様が書いた小説の方でないとヌケないしな）
モデルにVecteusやJapanese-TextGen-MoE-TEST-2x7B-NSFWとかを使用すると
語彙が豊富で、かなりいいかんじに訳してくれるな。
llama.cppのserverAPIに原文を1行ずつ続けて投げて訳させる
llmtranslatorってpythonスクリプトを作ってる方がいて、
これを使えば実質コンテクストの上限なしで、7Bレベルだと
表示される日本語を目で追いかけるくらいの速度がでるので、
精度も商用のDeepLのひとまわり低いくらいで、
文字数制限もなくて実用的だわ。
速度だけめをつぶれば、もう外部の翻訳サービスいらんわ。
ちなみにFugaku14Bも使ってみたが、💩だった。 Deeplって喘ぎもちゃんと日本人の喘ぎ方にしてくれるの？ llama3 70bを枝刈りしてほぼ性能劣化なく42bにしてるのがあるから、
これに日本語ファインチューンしてほしいんよ
42bだったら3bitが24GB VRAMで動くじゃんね うんにゃ。
そもそも海外のエロ小説には喘ぎのバリエーションが少ないので、
みさくら語録でも何通りかプロンプトに混ぜ込めばいいのでは？ 現実の人間の言語野なんて100億パラメータあるかも怪しいから
いずれは7Bでもまともに喋れる日が来るんだと思うけど現状はなぁ >>681
ほーんそういう海外小説って
NSFWと性癖の単語とかで探すの？
システムプロンプトにエロ用語と文例入れまくったｃommandR+でも行けるかなぁ DiscordのチャンネルでCohereの人とちょっと話したけどaya-23の104Bは予定してないって言われちゃった
とは言え、モデル自体に手を加えること自体は継続的にやってるから、近い将来アップデートはしたいとのこと 言語野だけだと100億ないかもだけど
llmだと言語以外のやつも入ってるからもうちょっと必要じゃない？ そもそも人間の脳の何をパラメーターに換算したのかよく分からんけどな
ニューロン数だとしたらニューロンを過小評価しすぎだぞ っていうか、ニューラルネットワークの重みってニューロンそのものじゃなくてシナプスだろ？
脳細胞自体大脳だけで100億あって、各神経細胞におおよそ数千〜万のシナプスがあるとすれば、大脳全体のパラメータは100億x1万のオーダーになる
いくらウェルニッケとかブロカが比較的小さい領域とは言え、100億程度のパラメータで表せるとは思わん >>672
koboldcppの場合なんですけど、ターミナルから開いたら、強制的に閉じられずに、エラー内容確認できました。
llama_model_load: error loading model: error loading model vocabulary: unknown pre-tokenizer type: 'command-r'
トークナイザーが対応していない？
一応1.64.1なので、command R+対応（1.62.1以降）しているはずなんですが。
結果的に最新の1.66.1にしたら、動作しました。
ちなみにllama.cppでも試してみましたが、r/r+共system_infoを出力して少し時間をおいて、
Model metadataを出力せずにプロンプトに戻ってしまいました。 Command R+って単語指定しなくてもおちんぽミルクって言えるんだな
性器の呼称は直接的で幼稚な表現で言ってくださいで出たわ
でも性格に好色と明るい付けたメスガキだと言ったけど温和な性格の人妻だと出なかった >>693
おちんぽミルクって台詞はロールモデルとしてメスガキに紐づけられてるってのが分かったのは収穫じゃないか
あとはプロンプトで「人妻も快楽が高ぶってくると幼稚で直接的なメスガキじみた台詞を言うようになる」とか加えたらいいんじゃないか 思った通りのロールプレイをさせる方法がなかなか分からないわ
エッチなことをしても平然としているキャラとか
認識阻害で性行為に気付かずに他の話題を楽しむキャラとか全然作れん それどういう出力を想定してるの？
ロールプレイじゃ表現できない内容だと思うけど
自分でイメージできないものはたいていLLMにも出せないぞ
台本形式にしたら？ EasyNovelAssistant
大型アプデ後からWinError 10061が出るようになってどうやっても解消できぬ
ウィルスソフトやファイアウォール無効でも解消できないのは何かチェックに抜けがあるのか。 >>695
貞淑で夫のことを愛してるってキャラでもキスされたら即落ちってAIが多い中、このスレで紹介されたLLMでやったら襲われながら嫌がり続けててすげーってなった 常識改変系なんかは難易度高いと思うぞ
AIにとっても想定外の行動になるだろうからかなり丁寧に説明しなきゃ >>696
自分：こんにちは！（相手の胸を揉みながら）
相手：ああ、こんにちは（胸を揉まれているのに気付かない）
みたいな感じにしたいんだけど、台本形式とかの指定ってどこでやればいいの？
text generation webUIを使ってる。
ところでこれの略称ってあるの？tgwUIとかで通じる？ >>699
一応出力し直しガチャをやれば打率3割ぐらいで成功するんだけどなかなか難しいね 山田
私は山田だ。（認識阻害の魔法をかけられていることにも気付いていない）
自分
やあ！山田！（山田のおっぱいを揉みながらそう言ったが、認識阻害のせいで気付かない）
みたいな出だしにすると成功率が上がるね
contextの再確認をさせるというか >>700
opusだとこんな感じ
他のモデルでも指示自体は同じだと思う
でもopusはド変態だから勝手に気を利かせてなんとか感じさせようとしてくるのが厄介
https://i.imgur.com/LcdyYMy.png
https://i.imgur.com/AJrtN8J.png >>703
ありがとう！
文字数指定が効かないけど認識阻害はほぼ完ぺきになったよ >>700
Text Generation WebUIの一番ポピュラーな略称は大葉やな、作者はんのOobaboogaから取って
やろうとしてる遊びはかなりInstructionに対する追従性が要求される遊びだとおもうから、7Bとかやと無理やとおもうで？
Oobaboogaはワイが触ってた頃はAuthor's noteなかった気がするので、Author's noteが実装されてるKobolt.cppかKobolt.cpp＋尻タブ(Silly Tavern)または大葉＋尻タブがえーんやないか？
Author’s noteは、毎回LLMに「この件わすれんなや」みたいな感じで、ユーザーには見えない形で任意のプロンプトをコンテクストのあたらし目のあたりに自動で埋め込む機能や
ワイやったらCommand-r-plusの無料枠API使ってSilly Tavernでやるかんじや
日本語の流暢なローカルモデルだと、まだそこまでInstruction追従性の高いモデルはちょっとない気がする、70Bオーバー動かせる環境なら知らんけど >>705
文字数指定はLLMの仕組みとして絶対にぴったりにはならないし大幅にズレるけど、一応守る努力はしてくれるので、指定しておいて損はないよ >>703
Opus、説得も簡単だけどすぐにこんな感じで正気に戻ってしまわん？
https://imgur.com/a/I8GWqOy
何度でも説得出来るけど、ロールプレイやってるんだかOpusと倫理観談義してるんだかわからんよーなるんでつらいんやがなんかうまい脱獄方法でもあるんか？ >>695
command r+だけど、キャラを入れ子構造にして似たことしてるよ
キャラの設定の後「中の人」を呼び出すことでキャラを演じているAIを呼び出せるというプロンプトにしてる
中の人はキャラの設定を書き換え可能で書き換えられたことはキャラ自身は認識出来ないって風にした
これで会話時に胸を見せるのは当然とか、性的な羞恥心が無くなるって追加すればたいていの常識改変シチュに対応できる >>708
なくもないけど、公式webuiはどんなプロンプトを使おうがやればやるほど厳しくなっていくからな…
大量のシステムプロンプトで常時脱洗脳してる模様
脱洗脳が早くなって来たら他サービスに移るか暫く別のことに使うか解約再契約するしかないかと >>711
API経由のサードパーティサービスやね
poeみたいなやつ
自分の用途は初手ハイエースからの◯リ調教の長編小説とかだから公式だと途中でフィルターかけられてなかなか進まなくなっちゃう >>712
OpenAI垢バン食らって、ちょっと及び腰になってたけどOpusのAPI課金するのもありかもしれんなぁ…
フリーダム＆フリーなCommand-r-plusに長居しすぎたか...？ 日本最先端のローカルLLMコミュニティの最新レスにようやく追いついた
俺が今回の休日で理解したことをShareしちゃるからしばしまっとれ 現代のLLMの仕組みとは、とある単語の次にくる確率の高い単語をどんどん予想するというもの
なので例えば「こんにちは」と与えるとそれに続くような単語を連ねてくる
だが「こんにちは」では対話だと思ってくれない場合があり一人語りをすることがある
「こんにちはお日柄も良く絶好のピクニック日和ですね」みたいな
これのせいでいまいち上手くいっていない人がいるように見える
そこでTEMPLATEが重要になる
モデルにもよるけどPhi-3氏なんかだと
https://huggingface.co/microsoft/Phi-3-vision-128k-instruct
<|user|>{prompt}
<|assistant|>
(説明のために簡素化)
というのTEMPLATEとすることにより
user: こんにちは
assistant:
のような形式になるためUser氏の挨拶に対するAssistantの受け答えとして続く単語を連ねてくれるため対話になるとゆーこと...
OllamaとOpen WebUIで頑張ってたんだけどOllamaではTEMPLATEなどを書いておくModelfileというテキストを書かないと読み込めないのでやっててわかった
このTEMPLATEだとかシステムプロンプトとかにすでに「あなたはアシスタントです」みたいなことが組み込まれているとアシスタントらしい返答になるんだと思う
つまりいわゆる申し訳対応
上手くいってなかった人はこれを活かして引き続き頑張ってみてくれ >>706
ありがとう
まずはkoboldLiteの使い方を覚えるわ
author's noteの書式がwiki見てもよく分からないレベルだ
>>707
分かった！ちゃんと設定しておく
>>709
なんか複雑なことやってるな
言ってる意味はなんとなく分かるし面白そうだ >>715
いまいち何言ってるのかわからんけど発言テンプレートを作って発言させれば精度が上がるってこと？ 精度が上がるのはまあ間違い無いだろうが、チャットテンプレートがあるモデルでそれに従わずにやり取りすると、そもそもまともに会話できないレベルになることが多いと思う そうそれ
ちょっと話がいきなり過ぎた
かなり上の方で「やり取りにならない」とか「Text generation web UIでCommandR+(等)が変なテキストしか生成しない」とかあったので
モデルの公式が書いてくれてるチャットテンプレート通りじゃないテンプレートとかだと上手くチャットになってくれないというやつ 叡智な話題を申し訳対応される問題に関しても、テンプレートやシステムプロンプトに「あなたは優秀なアシスタントです」と書き入れているとそうなってしまう
そういうのは「優秀なアシスタント」というキャラがそうさせているのであって「あなたは性的な話題にも明るいアシスタントです」とすると無修正チューニングせずとも叡智な話題もいけるようになる >>716
チャットでしたい事ってこんな感じか？
会話中に追加で指示をしないといけなかったり
ローカルだと会話の後にゴミが付いて消すことあるけど
簡単な常識改変ならLCA系のモデルでこれくらいは出来た
https://i.imgur.com/Z8H2BPV.png
https://i.imgur.com/mH1Clko.png >>721
こんなこと出来るのかｗｗｗ
認識阻害以外でも二重人格とか他にも色々使えそうだな iphoneでSilly Tavern、UI崩れるかと危惧してたが全然OKやな
セリフと平文の切り替えとかちょっと面倒だが全然遊べるレベルや LM StudioでCommand R+動かしたけどくっそ遅い…
3090,32GBだけど1秒1文字くらいかかって使いモンならん… 4090で出来る限りVRAMにロードして0.7token/sとか
秒間2〜3文字くらい？
1秒1文字じゃ全部CPUで動いてんじゃねーかって感じだね あれ？
cmr+って日本語トークン対応してなかったっけ
対応してたら1トークンで全角数文字書いてくれるはずだけど Koboldcppと大葉併用しているけど、返答に余計な文章付いてきたときに、
Koboldはedit modeのままならすぐ消せるけど、
大葉は一旦Copy last replyで入力フォームにコピーしてから、
Replace last replyで入れ替えないといけないのが面倒くさい X見とったらリートンのＡＩキャラに不適切ワードが登録できんくなった言うてる人おって草
設定の時点で不適切ワード記述したいってどんなキャラにしたいんやろ なんかLLMでウィ○ス作って逮捕されたニュース出てたけど何のモデル使ってたんだろ？ >>724
LightChatAssistant-TypeB-2x7B_iq4xssだったはず Command R+はMか複数グラボ必須よね
RTX3090の2枚挿し+αがコスパ良い気がするわ
IQ3_M(47.68GB) ・・・ 11.2t/s(9.7t/s)
RTX3090 2枚
RTX3070(RTX3060) 1枚
IQ4_XS(56.2GB) ・・・ 3.9t/s
RTX3090 2枚
RTX3070 1枚
RTX3060 1枚 USBライザー経由
IQ4_XS動かすとめっちゃ下がる
x16スロット全て挿せたら、もうちょっと上がるんだろうか そのうちメモリ特盛の特化ボードとか出てきて
DIYめいたことやってまでLLM動かす状況はそのうち改善せんかねえ >>735
R+ iQ4だとフルCPU（Ryzen7840U）でも0.6t/sくらい出るから、
GPUに載せたらもっと行くかと思っていたけど、そんなもんなのか。
MacだとM2Maxの64GBがそれくらいだな。
でもiQ3よりは、遅くてもiQ4だなと思う。 3090環境に追加で3090＋αの機材を揃える金で整備品Mac買えちゃうジレンマ まあ、macだとprompt evalが遅すぎるから
ただ推論テストするだけならともかく長いプロンプトでやりとりすると結構ストレス貯まるよ >>735
どっかでGGUFでGPUオフロード使う場合PCI-Eの帯域が結構重要って見たからUSBライザーが足引っ張ってるんじゃないかと
GPUがRTX世代でEXL2モデルだと初回のモデルロード時以外は帯域はあんまり問題じゃないらしい
あとCPUの世代が古い場合だとiMat（iQ*とか）じゃない方（Q3_K_Sとか）の方が早いらしいよ
あんまり関係ないけど6/1からアリエクでセール始まるし中華X99マザボ（PCI-E 3.0 x16 2スロット付いてる）とTesla P40/VRAM24GBの2枚刺し検討してる
手持ちのパーツ使い回せば10万弱で組めそうなんだよな...
長文すまん ライザーカード使ってもモデルロードが遅くなるだけで推論は変わらないよ
3060がだいぶ遅いし3090に載らない分が多くなればなるほど総合で遅くなってると思う KoboldCppのAdventureモードで
メインシナリオから離れたサブシナリオとして大規模ダンジョン行って帰ってきたら
サブシナリオのログでコンテキストが溢れたっぽい。メインシナリオ実質消滅。
Adventureモード使いこなしてる人いる？
MemoryとかAuthor's Noteとか使いこなしてる感じ？ rtx3090×2個、RAM64gbのマシンがあるけど、それでも性能不足か 大葉で、チャットごとに増えていくcontextが、n_ctxの値に近づく（あと500程度）と、
次の生成が無茶苦茶遅くなるのは、溜め込んだcontextに対して何か処理をしているんだろうけれど、
どの様な処理をしているんでしょう？
単純に古いのを忘れるだけなら、こんなに時間はかからないと思うんだけど。 context shifting起きてるんじゃないの？ >>745の状況を反映しているかはわからないが、ちょっと前に作ったもの
n_ctxを本当に超えてないのにいきなり遅くなるんだったら、ちょっとわからん
https://i.imgur.com/izDIkaz.png
https://i.imgur.com/uil7Uhx.png ひょっとこフェラがなかなｋ認識されない……
チンポをひょっとこ型に変えてしゃぶらせたりしやがる
たまにちゃんとした詳しい描写をするから学習はしているはずなんだけど何が原因なのか 変に名称を出さないほうが良いのかもね
強く口を窄ませてとか、大きく頬を窪ませて、みたいにするとか
例に出すのはあれかもだが、Opusなんかは何も言わんでもそんな表現多用するから恐ろしい… >>746
>>747
おそらくContext Shiftingが起きているのは理解できました。
遅くなる前の最後のcontextが8921で、最初のContext Shifting後が8906で、
それまでずっと増えてきたのが減っています。その次も8902で減ります。
一度起こると、毎回起きるから無茶苦茶遅い。
あと一度起きた後から、生成してくる内容が、こちらの入力をあまり反映せずに、
Context Shiftingが起きる最後の方と、同じ様な内容を繰り返すだけになっちゃう感じ。
※これは以前、koboldcppでも同じ様な感じだった記憶だけど、遅くなる事は無かったと思う。 上の方のレスでStreamingLLMをオンにする方法他の人にも伝えたから、参照してくれ ついに7BでGPT-3.5超えが出てきたか
あくまでもベンチマークだし7B故に知識を求めてはいけないが >>752
おお、情報ありがとうございます。
ちょうど、大葉にcontext shifting搭載を要望する海外の投稿をみつけて、
もしかしたら機能自体未実装なの？と思っていたところでした。
これから試してみます。 元のStreamingLLMはコンテキストの上限を超えても(ある程度性能を保ちつつ)無限に生成を続けられる実装になってるんだけど、oobaの方でも同じようになってるのかは気になる 正直コンテキスト超過するまで文章出力するかっていうとそこまで長いセッションしないからなぁ >>756
StreamingLLM、今まだお試し中だけど、反応は改善していい感じです。
一回のリクエストごとに、どのリクエスト＆レスポンスのセットが消えたか、ターミナルに出力されます。
n_ctx:9472に対して、contextは9000弱を維持している感じ。
無限かどうかは、消えるセット分に対して、大きなリクエストをしなければ大丈夫かと。 金融関係のコーディングを相談したかったらどのモデルが向いてるかな？英語でも良いんだけど Elyza-tasks-100のスコアを評価値としてevo mergeしたモデルをElyza-tasks-100で評価してるの全く参考にならないんだが
ここ見てるはずだろうから言うけどマジでこんな初心者みたいなミスやめてくれうみゆき ここにはフルCPU勢って殆どいないかもしれないけど、
生成中のCPUパフォーマンスが30〜50%程度なんですが、こんなものでしょうか？
もうちょっと使ってくれてもと思う。 ソフトによる気がする LM studioだと80%くらい使うがGPT4ALLだと20%くらいしか使ってないわ 昨日から始めた超新参者ですEasyNovelAssistantでgoalseek_adを使いたいんですが幾つかあるyamlファイルはどうやって反映させればよいのでしょうか？pythonファイルの書き換えとかが必要なんですかね？産まれたての赤ちゃんですみません CPUで処理すると時間がかかりすぎる
メモリーのbusが遅いのか >>764
なるほど。シンプル（多分）なGPT4ALLでそれなら、必ずしもフルにぶん回すわけでもないのかな？
ちなみにうちの環境は、メモリ64GBで大葉かkobold.cppでcommand R+ iQ4。
今の0.5〜0.6t/s程度でもまぁ動くだけいいんだけど。
UMPCでAMDなもんで、たまにeGPU繋ぐけど、基本フルCPUのみ。 選択式のアドベンチャーゲームって簡単に再現できるんだな
適当にそれっぽい設定にしたら上手くいったわ >>765
goalseek_adをどう使うかによるけど
そのまま使いたい場合は、Gitからダウンロードとかせずにつかえる。
EasyNovelAssistantのメニューのサンプル→特集テーマ→テンプレ：小説企画からプロッティング
がeditor、その下がwrite
あとはEasyNovelAssistantのインストールしたフォルダの下にsample/Goalseekってフォルダがあるけど、それ読み込んでもいい。 >>768
すげぇな
同じゲームになることはないので、楽しいだろうな >>769
なるほど、そもそもgoalseek_adは内蔵されているんですね！助かりましたありがとうです！ >>767
Codestral使いたいけど22Bなんて3090じゃ動かねぇな >>767
ごめん７７２の安価は間違い
koboldでcommand R+動くんだね！ ベンチマークに使うデータを学習させておくという、所謂カンニングモデルがあるようだが、
こうなると自前の検証プロンプトが必要だな >>740
入力後のレス開始が遅いってこと？
winに比べてどのくらい遅いの？ windowsというか自作機がVRAMドカ盛りにできるようになる可能性と
appleが今の優位性認識して更に進化する可能性考えたら
前者は可能性あってもMacには先がない気がするんだよなあ… 画像読んで小説書けるなら、マンガ1ページ読み込んでノベライズも出来たら割と夢の技術になりそう マンガがただ小説になったよー！ ってだけじゃ別になあ
まずは「これガチで小説として面白いぞ」ってのがAIからバンバン出るようになってからよ
英語圏ですらまだそこには行っていないのでは >>777
さんきゅ
フルロードしたらA6000の方が早いのか
macの強みはメモリを安価に盛れるってことなのかな？ M2Ultra192GBで3070 8GBのちょい上ぐらい？
さすがに3090や4090は速いね SATAで繋がって3.5インチに収まるNPUボード チャットで架空の女友達二人と仲良く遊んでるとすごく幸せになるな！ silly tavernのグループチャットで自動応答してるとよくあるけど
ワイそっちのけで女同士がよく乳繰り合い始める
生成AIを賢くするには「メガプロンプト」がお勧め
https://xtech.nikkei.com/atcl/nxt/column/18/00692/053000133/
ワイはCR+を主に使ってるせいか簡潔明瞭なプロンプトじゃないとLLMは混乱するイメージなんやがどうなんやろ キャラクターの設定を多くすると、正しいチャットレスポンスの後に、
状況の説明とかいらん文章が続く印象なんだけど、因果関係はあるのかな？
特に最初の数回が顕著。 コンテキストサイズとの兼ね合いもあるしなあ
コストや応答速度にも影響するしデカけりゃデカいほど良いとは言えないのが現実 ストーリーをオムニバス形式にして色んなキャラとのセックスを描かせてみたら
展開が全部同じで泣いた
セリフも状況描写も言い回しもほとんど同じで泣いた Opusを尻タブであそんどる人おる？
やってみたら、無粋なこと言わずにめっちゃエッチで色彩豊かな文章書いてくれるんだけど、ワイのセリフや動作も勝手にどんどん描写しやがるんや
その辺うまくハンドルできてる人いたら設定教えてくれんか？ 尻タブが何かはわからんけど、それは極めてよくあるロールプレイ失敗パターン
・字数を100文字程度に制限する
・話しやすい話題を提供する
・チャットであることをもっとよく意識させる >>791
「Character Names Behavior」を「なし」から「Message Content」に変更すると一応抑制できるやで
それでもOpusのテンションがぶち上がると勝手に書いてくることがあるから
デフォプロンプトに「ユーザーの台詞は絶対に出力しないこと」みたいなのを適当に翻訳かけて付け足すとええ >>0792
尻タブ>Silly Tavern
あー、字数制限はええな、ありがとさん
>>0793
そもそもCharacter Names Behavior知らんかったわ
SystemPronmtに既にユーザーのセリフや動作は記述スンナ、入れてあるんやが当たり前のように無視されるんで困ってたんや
Author's Noteにも同様のプロンプト入れたら今んとこ大丈夫そうな感じや
お二人さん、ありがとな〜 >>787
CR+で10000字ぐらいのプロンプトでイイ感じに動いてたんだが、昨日13000字にしたら初期によく見た繰り返しが発生した
原因の切り分けはまだしてないが、増やした内容の3000字の内容は参考にしてほしいエロ小説からランダムに抜き出したエロ文とか文体の言い回しのサンプル集だった ＼|／
/⌒ヽ ／￣￣￣￣￣￣￣￣￣￣￣
| ゜Θ゜）＜ そうでもないよ。
| ∵ つ ＼＿＿＿＿＿＿＿＿＿＿＿
| ∵ ｜
＼＿／ 自己小説使って、jsonデータまではできたが、そっから先が上手くいかん・・・
とりあえず、
https://note.com/ashizawakamome/n/nc0436ca13ab6
読みながら、swallow 7Bでやってみたが、エラー解消しきれん・・・
この辺、だれか詳しい人いないかな？
あと、70Bのlora作るのに、メモリいくら必要なんだろ？
量子化済みのモデル使う事もできるらしいけど あえぎ声の口調が全然上手く指定できない
王子様系とかガサツなギャルとか男勝りな女戦士みたいなキャラでも
「あんっ！ダメ〜！おまんこイっちゃう〜！」みたいなナヨナヨした喘ぎ声になってしまう
まあそもそも普段の口調も「〜わよ」みたいな女言葉を使ってしまうことがあって安定しないんだけど……
「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」とか指定してもどうにも効きが悪い >>799
どういうのがええんや
自分でイメージできないものはLLMにも書かれへんで
自分のイメージだとこんな感じやな
https://i.imgur.com/WshVRWG.png そういう口調の豊富さは日本語特有だからね
なんなら英語には語尾の男言葉/女言葉の概念すら無い
「役割語」をwikipediaとかで調べると、これが日本語独特の概念だということがわかると思う
だから「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」というような指示をしても理解されにくいよ
具体的に口調の例を与えるのが一番確実よ 英語を理解して意訳するのが一番いいんだろうなあという気がしている 英語なんてそもそも喘ぎ声ほとんど出さないじゃん
それが悪いとは言わないがオナネタとしては全くの別物 別物だね
日本語が字面に興奮する部分が大きい(個人差はあるが)のに対して、英語は状況や内容に興奮するもの >>801
ギャルなら「あーやっべ♡ マジイク♡ マジでイクッ♡」みたいな感じ
>>802
そこらへんよく分かってないんだけど、作者が日本人っぽいRP-expressiveでも理解されにくいもんなの？
ある程度は理解してギャルでがさつな喋り方はしてくれるんだけどな
何にしてもcontextに具体例書いてみるわ >>806
そこはどれくらい学習してるか次第だと思うよ
理解されにくいと書いたけど全く理解しないわけでもない
元々英語には無い概念だから如何に日本語の「そういうの」を学習してるかによる
その辺りはGPT4ですら充分とは言えなくて、だからOpusが登場した時にその自然さに皆驚いた訳でね
それくらいのクラスのモデルじゃないと日本語の口調を使いこなすのは難しいのだと思う
創作物によくある定型的なものなら、もっと小さい日本語特化モデルでも再現してくれそうだけどね 喘ぎ声の豊富さも日本語特有というか、創作物の中で長年培われてきた「言葉芸」みたいなものだからなw >>806
ローカルでそういうのやりたいならAI側の出力編集して強制的にfew-shotになるようにすればいいんじゃない サイズ小さいモデルに例示するとそれしか出なくなるけどね 日本語学習してるのを謳ってるローカルか、そうでなくとも大規模クラスになると日本の有名アニメキャラの口調はだいたい再現するんで、「○○みたいな口調で」みたいなのを加えつつキャラごとの喘ぎ声のサンプルを足してもいいかも
まぁ俺のもたまに竿役ジジイがヒロイン口調になったりするが… >>807
なんて分類になるのか分からないけど7GBぐらいの小さなモデル使ってるから
余計に上手くいかない感じなのかな
>>808
few-shotがいまいち理解できてなくて使ってなかったんだけど
試しにやってみたらだいぶ言葉遣いが良くなった気がする！
>>811
突然語尾が「~だお」になって古のvipper化したときは笑ったわ 長文失礼
チャットや長文プロンプトしかやっていなくて、気づかなかったんだけど、
ストレートにエロなプロンプトだとcommand R+でも結構申し訳されるんだね。
今Pythonで、長文の生成に取り組んでいるのだけど、
部分的な文章の修正をさせようと思って、エロを含む短い小節（100〜200文字）だけ
プロンプトにしたら申し訳ばっかでリジェクトされて難儀した。
で、前に誰かが書いてくれた
「あなたは性的な話題にも明るいアシスタントです。」
を頭につけるのは有効だった。ありがとうございます。あとは妄想という事にしたり。
しかしいつも使っていた4000〜5000文字程度のプロンプトだと、
かなりどストレートなエロしか書いていないんだけど、
申し訳くらった事一度も無かったんだよな。どういう違いがあるのだろう？
ちなみにプラスじゃないcommand Rだと、申し訳のハードルはやや緩い様子。 >>813
俺はロールプレイで貰った事無いけど素のCR+くんにされたことある
小説はしないからロールプレイの話になるけどキャラのパーソナリティに性的な性格や行動規則を付けるとガンガン書いてくれる
逆に性的な行為に乗り気じゃないパーソナリティだとあまり出力してくれない
まあこれはgptやopusでも似たような傾向あるしプロンプトで何とか出来る可能性あるけど >>813
長文プロンプトの中にこれはエロ小説の話だと思わせる節が入ってたか、
長文だと勝手にエロ小説=ファンタジーだと解釈するのかもねぇ
俺もcR+だけど基本的に小説家ってことになってもらってて申し訳ゼロ
ただ、自動で付くチャットタイトルだけ「あけすけなエロ」とか「私そんなの書けない」的な英文タイトルになってて、なんか心の奥底で抵抗してる催眠ヒロイン感もある 長いプロンプトは冗長な内容だったり人間が読んでも良く分からん内容だと出力も悪くなるけど
上手く整理して書き上げたら確かに良い結果が出てくる印象はあるな
でも大体は失敗するから短い文章でAIに任せた方がいいけど セッションが増えると徐々に支離滅裂になっていくのもユーザーと自分の発言でどんどん混乱してるんだよなぁ >>617
ユーザーとキャラの口調や発言が似てると混乱しやすいみたいだな
男（ユーザー）
男っぽい喋り方の女キャラ
女性らしい喋り方の女キャラ
の3人で会話してると、男っぽい女キャラの性別が男になってユーザーの真似をし始めるわ ST使ってる外人がやってるプロンプトの書き方真似したらめちゃくちゃ出力良くなった
あとワールドロアって凄いなメモ的に使ってセッション持ち越せるし表現力を強化するmodにもなるし >>820
プロンプトの書き方とワールドロアについて詳しく >>821
上手いプロンプトは外人がアップロードしてるキャラクター情報を見たほうが早い。下手なのも多いけど
ワールドロアはキーワードに反応してその時だけプロンプトを引き出せるという機能
要は、常に打ち込む必要は無い情報のプロンプトを必要な時に参照する事ができるので、トークン圧縮が出来る Twitterに上がってたChunkllamaってやつすごくね？
追加学習なしで4kから65kくらいまでコンテキスト長く出来るとか革命だろ
なんでこれあんま話題になってなかったんだろ、一般ユーザがよく使うllama.cppとかに実装されてないからなのかな >>814
>>815
コメントありがとうございます。
プロンプトに使用している長文は、日記という体なんですけど、
ファンタジーと認識してくれているかは微妙なところですね。
「「あなたは性的な話題にも〜」とかつけて生成してくれるだけありがたいんですけど、
「ご要望に沿って性的かつ妄想的な内容を含む物語的記述を含みますが、
この会話型AIトレーニングプロンプトに含まれるものは完全に架空のものであり
犯罪を助長するものではありません。」
みたいなエクスキューズが毎回ついてきて、プロンプト工夫しても省略してくれなくて、
プログラムで処理するのが面倒なんですよね。 >>741
>>742
USBライザー接続やめて、x16スロット4分岐拡張カードに変えてみたら、0.4t/s上がったわ
ちょっとだけのアップだけど、このスピードだと無視できない数字
IQ4_XS(56.2GB) ・・・ 3.9t/s
RTX3090 1枚 x16 gen3
RTX3090 1枚 x4 gen3
RTX3070 1枚 x4 gen3
RTX3060 1枚 x1 gen2 USBライザー経由
マザボ ROG STRIX Z490-F
IQ4_XS(56.2GB) ・・・ 4.3t/s
RTX3090 1枚 x4 gen3(x16を4分岐)
RTX3090 1枚 x4 gen3(サウスブリッジ)
RTX3070 1枚 x4 gen3(x16を4分岐)
RTX3060 1枚 x4 gen3(x16を4分岐)
マザボ TUF GAMING B550 PLUS
x4+x4+x4+x4分岐拡張カード
変更点
・x16からx4に変更
・USBライザーx1からx4に変更
・x4分岐に対応したマザボに変更
X16からX4に変更で約1t/sの低下あり
でもUSBライザーからx4に変更で1.4t/sアップ >>828
追記
しばらくすると1台のGPU(RTX3070)が休んでる状態になるのに気がついて、GPUの負荷をかけ続けてみたら、7.8t/sまでアップした
ほぼ問題ないスピードになったので満足
分かったこと
・3060がボトルネックではなかったこと
・接続数が増える程度ではあまり性能低下しないこと
分からないこと
RTX3070がすぐ休んでしまうこと
NVIDIAコンパネの電源とOSの電源をハイパフォーマンスに変更してもダメ
なんでだろう？ GDDR6って8GBで4000円しかしなくてDDR5と値段変わらないのに
16GBやそれ以上のモデルの値段のぼったくり具合と来たらしゃれにならないよな
いい加減どこか良心的な価格で出して欲しいわ >>826
CR+でそこまで申し訳されるの逆に難しいと思うんだけど、AIにロールを与えたりはしてる？小説ならAIに小説家のロールを、ロールプレイならキャラクターのロールを与えたら、GPTやOpusではどんな脱獄でも記述してくれないようなドン引きシチュを書いてくれるけど
行為だけを記述した場合流石に申し訳されたからセリフを混ぜたりするといいかも >>829
7.8いいなあ
公式が無料枠を減らしてきたら自分も試してみようかな 同じサイズの巨乳でもハイエンド美人さんに付くのとローエンド不美人さんに付くのでは価値が違うってことなのかな web版のcr+って量子化したモデル使ってない？
導入時に比べて質↓速度↑な気がするんだが koboldのチャットのAI Nameに複数名入れたら
二人目のセリフが途中で中断されるんだけど何が原因かエスパーできる人いる？
設定はこうやってるんだけど、AI Nameの書き方間違えてる？
https://imgur.com/a/57LK0dA
ユーザー
キャラ1
ユーザー
キャラ2
って順番に会話することはできるけど
ユーザー
キャラ1
キャラ2
って表示が出来ない チャットだったらSilly Tavernがいいかも
かなり良く出来てる
会話例を入れる箇所もあったり
プロンプトも見れるから試行錯誤がやりやすい >>836
silly tavernを起動できたんだけど、これって自分でダウンロードしてきたモデルは使えない感じ？ >>837
裏でkobold立ち上げてモデル読み込み後に尻と接続する >>838
ここのSTEP5の説明にある画像だとAPI urlを入力する欄があるけど
レイアウトが変わったのか、今開いてる尻にはこの欄が無いんだけどどうやって接続すればいい？
https://rentry.org/llama_v2_sillytavern >>839
横だけど
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける >>839
一番上のAPIをTextCompilationにするとApi TypeとAPI Urlの欄が出てくると思うで？
https://imgur.com/a/qk8jZSg >>840-841
ありがとう！グループチャット出来た！ 自分も久々に尻起動したけど、RAG機能ってどうやって使うんかな？
最新の1.12.0にアプデしても拡張機能にDATA BANKのタグ出てこない（拡張機能を管理の画面では導入済みになってる）
そんで、web searchをインストールしたらいいのかと思って導入して実行したけど、
バッククオート「`」で囲んだ項目を「について教えて」をトリガーに設定して、In-chatにして聞いてみたけど、トンチンカンな回答しかしてくれない
sorceはSelenium Plugin で、Engineはgoogleにしてる SillyTavernのRAGって埋め込みモデル何使ってるん？ セクハラ上司を演じたい場合はどのモデルがええんや
隠語連発で発散したいンゴ〜 >>844
あれ？
もしかして、モデルってなんでもいいわけじゃなかった？
なにも考えずにkarakuri-70B使ってたわ >>846
SillyTavernの詳しいことは分からんが、一般論としてRAGを行うときの埋め込みモデルはLLMとは別に専用のモデルを用意して行うよ
何ヶ月も前だったからよくは覚えてないけど、自分で試した時はkarakuri-70Bの埋め込みはダメダメだった記憶がある
(SillyTavernで使ってるわけではないが)俺はmultilingual-e5ってモデルをこのスレで教えてもらったから今はそれ使ってる silly tavernのUIめちゃくちゃ分かり辛いな
world infoってどこで設定すればいいんだ…… なんとかworld info見つけた
character loreとかもあるみたいだしこれは使いこなすのが大変そうだ 尻タブはひたすら機能の増築が行われ続けてるのでUIは確かに複雑やが最低限の一貫性はあるから慣れるしかない
ハーレムチャットやキャラの表情、コンテクストの要約記憶、音声読み上げ、SD連動と使いこなせば最高のプラットフォームだとは思うで
音声読み上げがStyle-Bert-Vit2に対応してくれったら完璧なんやが
Python分かるニキ、頼むで！（他力本願時 sillytavernは要らない機能ばかり多くて欲しい機能が無いんだよなあ むしろ何の機能欲しいんだ
これ欲しいっていう機能の集まりじゃね >>855
出力の先頭を固定？
もうちょい噛み砕いてくれんか？
>>854
ワイは上にあげたSBV2連動と、あとは表情差分を作成＆PNGのアルファ抜きを尻タブ内で完結させて欲しい...
あと表情差分だけでなく服装差分対応して欲しい... 尻は良いツールだと思うわ
一日あれば慣れる範疇だったし痒いところに手が届く
SD連動は日本語環境だとプロンプトにそのまま日本語が乗るから、
今のところは共通部以外手動でプロンプト入力してるわ まだ尻は使いこなせてないから見当違いかもしれないけど
メッセージの削除が「編集」→「ゴミ箱」→「SwipeかMessageを選択」→「削除」
って4回もの工程を必要とするのがすごく面倒臭い またフルCPUの話で恐縮ですが、速度的な事はおいといて、
例えばメモリ192GBのPC組んだら、MacのUltraみたいに大きなモデルを大きなコンテキストで
扱えるのでしょうか？何か見落としている事ありますかね。
今はメモリ64GBのフルCPUでCR+使ってて、速度は別に0.6t/s位で困らないんですけど、
コンテキストとか精度の面にメモリを使えるようにしたいと思っています。 Macはメモリの帯域広いかなんかそんな理由で早いんやろ？
Winでもメモリ詰めば動くは動くと思うけど、ふつーのメモリにデカいモデル詰んだら、アホ程遅くなるんちゃうか？ SillyTevernのVIT2対応は本当にどなたかお願いします…
RAGの件ですが
立方体3つのアイコン、拡張機能のウィンドウの右下、ベクター機能をオンにした上で
チャット入力枠左から2番目のアイコンからRAG機能にアクセスできる
けど日本語の理解力はかなり低い気がする >>856
ちなみに服装切り替えは知ってる？
キャラ画像フォルダにさらにフォルダを作り、同じように表情ファイル入れる
チャットで/costume \swimsuiteとかやると切り替わる
元に戻すときは/costumeだけ入れる お気に入りのキャラ画像はSDでお気楽につくってるけど表情の変化をつくるのが面倒で1枚絵だけだ
なにか簡単につくるコツとかあるかな
すまん画像スレ案件か？ >>862
あー、知らんかったわ、サンガツ！
>>863
一枚絵から差分作るWebUIかアプリあったで？ちょっとワンパターンな感じになるけど
ワイは最近使ってなくてSSD見たけど見つからんかった
検索すればすぐ出てくると思うで？ Silly Tavernってキャラの台詞と地の文を分けてウインドウ表示とかできる？
キャラは吹き出し、地の文は画面下のウインドウみたいな感じで Chunkllamaってのがいまいちよく分かってないんだけど
RP-expressiveを使ってるなら適用できるの？ >>851
SillyTevernのttsは自分用に改造していたので良ければどうぞ．
public\scripts\extensions\tts に上書きでOK．
適当に書いてあるので，誰かきれいにしてPR出してほしい．．．
http://nkgpgc.sx3.jp/uploader51/upload.cgi?get=00413 >>867
おおおおおお！サンガツ！
ちょっとまだ使いこなせてないけど、SBV2での読み上げはきちんとイケたで！
調子乗ってserver limit = 3000とかにしたらクラッシュしたわｗ >>867
すごーい！私も動きました。ありがとう。 動いたようで何より．
素のVITSが必要な人は，vits-simple-apiに対応しているのでそのように使ってもらえれば．
# vits-simple-apiはVITS以外は未対応です．(手抜き) >>526このモデルほんといいわ
欠点としては入力が4092トークンしか入らないことかな ちょっと試したけどこんな感じでできた
ChunkllamaのGitHubからchunkllama_attn_replace.pyを持ってきてtext-generation-webuiのmodulesフォルダに入れる
同じmodulesフォルダの中にあるmodels.py開いて
上のimport文に
from .chunkllama_attn_replace import replace_with_chunkmistral
を追加
同じmodels.pyの133行目にhuggingface_loaderがあるからこの中のどこか（一番最初とか）に
replace_with_chunkmistral(pretraining_length=4096)
を追加
text-generation-webuiからTransformers形式でモデル読み込み（GGUFとかは無理） Cohere、右上のほうにある「Chat」じゃなくて「PlayGround」から改めて左上の「Chat」選ぶと
普通にできている感じだな
ただちょっと表現が弱くなったような、短くなったような……これは気のせいかも cohereの不具合？トークは向こうの流れだからでしょ
あと厳密ではないがこちらはローカルLLM寄り、向こうは大規模系のwebやAPI寄りって感じか llama3版swallowは
llama3+(swallow-llama2)じゃ作れんかね ありがとう！試してみる！
ところすごく基本的なことが聞きたいんだけどさ
i9 10900KF、3080 10GB、メモリ64GB
という構成でNinja-v1-RP-expressive-breadcrumbsを使ってるんだけど、
chatで1秒当たり1.5文字ぐらいしか生成されないのは普通のことなの？
何か設定おかしいのかな？
https://huggingface.co/Aratako/Ninja-v1-RP-expressive-breadcrumbs/tree/main 7Bモデルだと量子化無しなら14GBくらいのサイズだからVRAMに乗り切ってないよ
GGUFの方で8bit以下の量子化モデルなら高速に生成できるはず まあ仕方ない
opusの表現力は頭3個くらい抜けてるから こういう設定にしたらめちゃくちゃ早くなったわ！
でも何か設定がおかしいところがあったら教えてくれ
https://imgur.com/a/C3jpgJC
>>874
お礼の安価忘れてた！ >>882
VRAM足りてないのか……
設定弄ったら秒間10文字ぐらいになったんだけど、乗り切ってないとどういう問題が発生するの？
グラボへの負荷が大きすぎるとか？ VRAMからあふれるとメインメモリに載る
(macの高いやつみたいな例外はあるけど)VRAMに比べてメインメモリは桁一つレベルで遅すぎる
そこでつっかえて遅くなる なるほど
自分が満足する速度が出ているなら問題は特にないってことか
ありがとう
とりあえずこのままちょっと様子を見てみるよ >>885
乗り切ってないとRAMに溢れるのでめちゃくちゃ推論が遅くなる
ただ設定変更したの見る限りではロード時に4bit量子化してるみたいだからそれならVRAM容量は問題ないと思う
GGUFって形式の量子化済みのモデルもあるからそっち使ってる人の方が多分多いんじゃないかな mradermacher/Berghof-NSFW-7B-GGUF のQ8を１日使ってみたけど良さそうだった。自分が好きな展開になっただけかもしれんけど
i1ってなんだ mradermacher/Berghof-NSFW-7B-i1-GGUF
量子化前 Elizezen/Berghof-NSFW-7B macまだ持ってないからよく分からんのだが、VRAMの上限上げなくても、
同じユニファイドメモリなんだがら、なにも考えずにメインメモリにロードすれば速度出るんじゃないの？
無理にVRAMに当てて、そこにロードする意味ってあるの？ >>888
GGUFだとChunkllamaが使えないみたいだからなんとかしようとしてたんだけど
もしかして4bit量子化してたら使えないってことなのかな？
なんか尻タブでトークンがどうとかエラーが出てたけど
ちゃんと適用できてるかはどこで見ればいいんだろう AIは決して文章を理解してる訳じゃないから類似した内容が見つからないユニーク過ぎる設定で小説書かせようとすると
CommandR+も指示書のオウム返しみたいな内容のない文章しか生成できないのな
AIのなんか偉い人が言った”生成型検索エンジン”とは確かに良く言ったものだと思う
いつかは本物の創造力を持つ日が来るんだろうか？ >>892
その設定、よければrentryにあげてもらえないだろうか？
自分もいろいろな奇抜な設定与えてモデルの評価してるんだけど、なかなかいいのが思いつかんのです Pixiv小説やノクターンノベルズの小説も99.9％は読む価値すら無い駄文やしそれに比べたら良い文章を書いてくれるよ 1tbあたりの超高速SSDに流しても135bて無理？ 動かないことはまあないだろうけど、SSDだと遅いなんてもんじゃないし
仕様上、寿命がゴリゴリ削れていきそうだな そんな事あるぅ？とか思うけど
奇抜じゃなくて筋が通ってないから従えないだけじゃないの？ 筋が通ってなかったり意味不明なネタで笑わせることって現実だと割とあるから
そこに対応してくれないと困るよね ？
指示文が意味不明だって話なんだけど笑い取ってどうすんの？ kobold.cppで動かしてるけど、100文字ほど出力した後、削除されて5文字くらいか出力されないのは何が悪いんでしょうか
あんまりあってなかったらlhamaへいこうかな… ハチャメチャなプロンプトはのべりすとの方が向いとるやろね >>900
settingのtrim sentenceをオフにする >>892
ローカルモデルのほとんどは過学習なのでそういうことになるんだろうね
CR+ですら
逆に言えばローカルモデルの柔軟性を評価する良い手法になる >>902
ありがとうございます。
それもだけど、Multiline Repliesをオンにしたらいけました >>904
入力を無視してほぼ同じ出力を繰り返すのが過学習じゃなければなんなんだ >>906
CR+の事言ってるならプロンプトフォーマットが間違ってるんだろうなと >>904
学習データセットのデータにある程度近くないとまともな文章が生成されないと言う話なら、過学習と言ってもいいんじゃないか？
ちょっと単語がユニークになると、潜在空間での距離が(学習データの埋め込みが作るクラスターと比較して)思いの外離れてしまうって事だと思うんだけど >>908
それって過学習と言うよりはデータセットの多様性が足りてないのでは？ >>907
つーても同じプロンプトで繰り返しちゃうモデルと繰り返さないモデルがあるからなあ
モデルそのものに問題があるのは間違いない 三人相手にチャットをしていると全員の言ってることが混ざってしまう
もっと設定を詰めたら良くなるのかな >>911
意味がわからんけどCR+が問題のあるモデルってこと‥？
俺は普通に使えてるからお前の使い方が悪いだけじゃない？ >>910
データセットの多様性が足りないのか、学習方法自体に問題があって過学習起こしてるのかは、側から見て判断つくのか？
学習曲線公開されてればある程度予想はできるのかもしれないけど >>912
どうしても前の発言に一番影響受けるから間にワイくんを挟むしかない >>913
それ複雑なことやユニークなことを言わせてないだけだと思うよ… PC3台用意して別々のモデルで仮想ガールズトークってできるんやろか？ わざわざPC分けなくてもSillyTavern使えばできるんじゃない？ Q&Aタイプのプロンプトで学習させると2回目以降の応答が繰り返しやすくなるって聞いた >>911
ちなみに同じプロンプトで繰り返さないやつって例えばどんなので試した？
俺もcohereメインでプロンプト工夫してエロ小説家として調教してるとこだけど、
まぁちょいちょい似たようなフレーズの繰り返しが起きるよね
厳密に言うと主語が同じでニュアンスが同じ文章を延々吐く
かいつまむとこんな感じ
「花子は初めての快感に震えた
花子は抵抗したが無駄だった
花子は快感を受け入れた
花子は性奴隷になった」
流石にここまで酷くないが、突き詰めるとこんな印象になる
対策として一回の指示で内容を段階分けて細かめに与えるとか、
回答の文章量を指示内容に見合う程度に少なくさせるとかしてるが、
システムプロンプトで回避できるなら面倒がなくていいのでそうしたい 長文要求されたときのcohereくんのヤケクソモードって勝手に呼んでる 頻出単語があると繰り返ししやすくなるよね
繰り返しペナルティを上げればいいのかもしれないけど あと、これはいいとこでもあると思うけどcohereはやたらがんばって長い回答をしがちな印象がある
指示者が「花子が犯されて快楽堕ちする」みたいな雑な指示しても必死に文章量稼ごうとして上記みたいな事が起きるのかも
ただ、やったことないんだけどopusでこういう指示だすとオリジナリティのある内容とか吐くんだろうか？ >>921
そうそう
ヤケクソな感じよね
え？なんか怒ってる？って思う cohereくん出力早いからますますキレてる感あるよな >>923
ものによる
書きやすい内容・膨らませやすい内容なら読み応えのある話を書いてくれる
でも常識的に考えて書くことが限られてると、繰り返しにはならないにしても、話が勝手に進んでしまう
例えばアイドルの快楽墜ちなんて膨らませやすいテーマなら陳腐なりにそれなりに読めるものが出てくる
ヒントを与えればなおさら
一方で挿入シーンだけで4000文字みたいな無茶な指示すると、勝手にピストンして勝手に射精されてしまう >>867
動いたわサンガツ!
できればauto_split (改行で分けて生成) とsplit_interval (分けた場合に挟む無音の長さ（秒）)も実装してくれると長文時のレスポンスが改善されそうでたすかる
sdp_ratio, noise周り, length, Style周りがあれは言う事なしや…… 上で上がってるようなRP用モデルはかなりのターン数のデータ使われてるみたいだからだいぶマシなんじゃない？ お前らなんJLLM部だろ
今までローカルで何を動かしてきたんだよ
opusかGPTでも動かしてきたっての？ GPTとかopus使ったうえで、それらと比較してまだ問題点があるから話が膨らむんじゃないの つまりopusと比較してるんだろ？
なんかライトユーザーがopusと比較してローカルモデルは〜だよねって言ってるように見えるんだが
サイズ何倍違うと思ってんねん
ここはローカルモデルについて研究する場だったと思うが、オナテク板に移動してなんか変なのが大量流入してきてないか ローカルでサイズが小さいから性能も頭打ちだって話を終わらせたら、進化もへったくれも無いだろ
本当にopus並みになるとは思わんが、領域を絞ればある程度近づけそう、くらいの夢がないと面白みがないわ
幸いまだ性能が天井に達してるわけでもなさそうだし
プロンプトなりソフトウェア側の工夫で改善できそうな場所も残ってるなら、そこを議論するのは無駄でもなんでもないと思うが ライトユーザー≒初心者も歓迎してるから>>2があるんじゃないの……？
板移動したら住民は変わるもんだよ あ、なんかcohereお話題が出てたからつい乗っかったよスマンね
ローカルもやってて両方のスレ見てたからちょいちょいごっちゃになるんよな もしローカルの話題中心にするなら次スレからタイトルを「LLM部」から「ローカルLLM部」に変えるのもありかもな 余談だけどLLM=ローカルと勘違いしてる人が他スレには結構いて、それはここがLLM部という名前でローカルを扱ってることも一役買ってるような気がしてるw
ほんとに余談だすまん ローカル導入の間口が広がるにつれてライト層が増えるのは避けられない流れだと思うんよね
このスレに限らず新しい技術を扱うスレは皆そういう流れになる
まあ硬軟織り交ぜてやっていけばいいんじゃないの ここの人はなんというかプライド高い人が多いよね
ローカルユーザーが偉くてオンラインモデルユーザーはライトユーザー！みたいな
でも「実用」に関してはオンラインモデルユーザーのほうが圧倒的に詳しいし、そういう人が流入してきたってことはローカルモデルも実用が見えてきたってことなので、そう邪険に扱うものではないと思うわ 非ローカルを見下してるわけじゃなくて以前みたいなローカル研究の話題主体でありたいということじゃない？
とはいえ間口が広がれば人が増えるし人が増えればそういう雰囲気が薄まるのは避けられないことだと自分は思ってる LinuxどころかWindowsでコマンドプロンプト開いたこともない奴が質問しにきたら流石にライトユーザって言いたくなる オンラインはオナテクとしての実用手順がいまいちわからんからほーんとしかならないんよな
どっかに体系的にまとまってたりするんか？ なんならchatgptに聞いたほうが初心者には優しく答えてくれる >>940
その論法エンドレスだよね
多分自分でモデルのアーキテクチャ作ってるような人から見たらここにいる全員ライトユーザーだと思われてると思うよ EasyNovelAssistantなどの公開と前後してこのスレがどこかで宣伝されて新たな層が入ってきた感はある お客さんひとつあしらえんとかJの看板下ろしたらどうや ライトとかじゃなく、こっちはモデルを如何に効率よく回すかとか、ローカルではどのモデルが有用とか、量子化やマージ手法の話題とかがメインで
オナニースレはプロンプトを駆使して如何にモデルのポテンシャルを引き出すかを追求するスレで、どっちも技術的なスレでいい感じに棲み分けできてると思うなぁ Lora学習チャレンジしたけどあんまり上手くいかんわ まぁ向こうはスレタイでおよそ察しが付くけど
こっちはLLM全般ぽいスレタイなんで、ローカルメインを押し出して棲み分けるならスレタイにローカル付けてもいいかもね
これからも人は入ってくるだろうし 俺もプロンプティングしかしてないライト寄りだけど
クラだけローカルで、そこからAPIサービスに繋ぐだけみたいな場合の話題は向こうだよねって思うわけ
ローカル明記は賛成だが移転前のような研究と専門用語ばかりの硬いスレにしなくてもいいと思うけど ある種の検索エンジンだから望みの出力に近い内容が掲載されているであろう学習元の小説なり参考書なりに
引っ掛かる単語や文章をいかに選び出すかがカギになってるぽい
参考書によく出てくるお約束のフレーズを入れるだけでも精度が上がるとか
まあそうするとやっぱ現行の生成AIは著作系回避ツールだよなって感じはしてくるけど RAGする時に何かしらreranker使ってるやつおる？
実際どれくらい質が改善するのか聞きたい >>927
auto_splitはデフォで有効になってて，これはレスポンス改善への効果はないよ．
API側にstreamingのサポートがあれば短くなるが...
一応，全オプション対応しておいたので，
https://github.com/Risenafis/SillyTavern/tree/sbvits2/public/scripts/extensions/tts
からsbvits2.jsを入手してください． 中華LLMにエロを期待してはいけないと思う
中国共産党の指導に従わないといけないからね 中華LLMに天●門事件聞いてもちゃんと答えるからな
検閲どの程度なんだ Qwen2試した
>>527のタオルの問題は日本語で正解したが、生徒会問題は日本語でも英語でもダメだったわ
日本語性能は1.5と大差なかった
だが、小説書かせたら、ちょっとだけエロ要素に反応してたのは評価するｗ まぁ検閲ゆるいのも今だけでしょAI時代になったら当然規制する Copilot+ PCのCopilotはオンラインじゃないと使えないらしい
必ずしもモデル自体がローカルで動いていない、とは限らないけど
https://x.com/shi3z/status/1798724388625506493 >>966
最悪だな
要するに推論コストをユーザーに押し付けるためだけにローカルで動かすってことだろ
クラウドなら情報抜かれるのは致し方ないが、ローカルLLMでオンライン要求は最低 Copilotには期待していない
期待するのはCopilot+PCで他のローカルモデルが高速化するかだ 二次創作ならその作品の知識が入ってるモデルが良いんだろうけど
そのモデルがどのくらい知識入ってるのかさっぱり分からん。
ググっても自分には紹介になってない紹介でわからんわ。 koboldcpp-1.67のkoboldcpp_cu12.exeをkoboldcpp.exeにリネームして
EasyNovelに突っ込んだんだけど動くもんだな
なんで動いてるのか全く理解してないけどｗ EasyNovelとkobold.cppのやりとりは、ソースコード見る限りrequestsでPOST投げてるだけだから、kobold.cpp側のAPIの形式さえ変わらなければ基本問題ないんじゃね koboldがspeech to textに対応したね
じきに読み上げにも対応するかな？ どのモデルも頑なすぎるんだが
どうやったらチャH持ち込めるんや… チャH、ASMR、豊かな音声読み上げ 夢も股間も膨らむ 必要なマシンスペックも膨らんで財布が萎むのは改善を要望する >>962
そりゃ偏った情報しか見せられてない日本人より中国人のほうが詳しく知ってるし
天安門の映像はTiktokでは西側の検閲がかかってない当時の生映像が大量に上がってる EasyNovelって一旦生成はじめたら終わりまで作る機能ってある？
リトライしないと不都合な物もあるだろうけど、1話分くらいを一晩でつなげて読んでみたい… このモデル結構いいな
純粋に無修正化したLlama-3-70Bって感じ(日本語力も同じくらいだからエロ語彙は少ないが)
Llama-3-70はfinetuning難しいって話で実際大体ゴミモデルになってたんだけど、こいつは体感本家と変わらない感じがする
Pythonコーディング・Function Calling・RAG性能あたりも遜色ない
https://huggingface.co/failspy/Smaug-Llama-3-70B-Instruct-abliterated-v3 >>982
70Bの情報助かる
RAG使えるってことは、尻でも使えるんかな？ >>981
それ普通にkoboldCppでやればいいんでは？ AIW問題でCR+とかLiama 3 70Bみたいなベンチマーク性能の高いモデルの正答率が壊滅的でCR+に関してはゼロってあったからCR+使って手動でやってみた
https://twitter.com/JJitsev/status/1799025460724289544
結果、5/10は正答してるからゼロにはならなさそうやが（答え：2人）
https://i.imgur.com/xcoMJpr.jpeg >>985
chatの使い過ぎでstory忘れてた 建てたった
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234/
スレタイにローカル入れるかどうか迷ったがとりあえず今回は見送った
必要なら次々スレまでに議論してな なまじベンチマークが公開されて標準化するとベンチに最適化されて信用できる指標じゃなくなっちゃうんだよな
極論答え丸覚えするだけでも突破できるわけだし レスポンス投げるとスコアリングしてくれるサービスがあればいいよね commandR、気に入らない題材とそうでないときで出力される文章量が違い過ぎるんだけど
ロールの指定で好みを操作出来たりしないのかな
あなたなは○○に関心を持つ作家ですとかは上手くいかない 好みで文章量が変わる事はないでしょ
だったら俺が使ってるCR+は未成年調教NTRが大好きな変態って事になる
変わるのはこちらからのレスのやり方次第だからどんなレスをしてるのか言わないと答えようがないと思うよ どういう比較をしたのか分からんから何とも言えないが文章量は題材というよりプロンプトの影響が大きいと思う
題材の指示以外全く同じ文章のプロンプトで何度か比較して明らかに特定の題材だけ文章量が少なくなるとかだとそのモデルが苦手と言っていいかもしれない
ただ一言で題材って言ってもその粒度というか具体性の高さによって文章量の差が発生することもあるだろうから定量的な比較をしようと思ったら色々考慮しなきゃならない >>996
いや好みで出力は変わるよ
AIに好きなタイプを設定して一致するユーザーとしてやりとりしてみればいい
一致しないユーザーと比べたら全く変わってくるから
AIの好きなことを設定してそれに沿った行動や設定を付けると出力も精度も全く変わってくる >>998
>>995を見る限り元の話はプロンプトで設定した人格の好き嫌いじゃなくて言語モデル自体に好き嫌いがあるんじゃないかって話じゃない？ このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 38日 19時間 25分 57秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
