なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/ >>735 ライザーカード使ってもモデルロードが遅くなるだけで推論は変わらないよ KoboldCppのAdventureモードで rtx3090×2個、RAM64gbのマシンがあるけど、それでも性能不足か 大葉で、チャットごとに増えていくcontextが、n_ctxの値に近づく（あと500程度）と、 context shifting起きてるんじゃないの？ >>745 の状況を反映しているかはわからないが、ちょっと前に作ったもの https://i.imgur.com/izDIkaz.png https://i.imgur.com/uil7Uhx.png ひょっとこフェラがなかなｋ認識されない…… 変に名称を出さないほうが良いのかもね >>746 >>747 上の方のレスでStreamingLLMをオンにする方法他の人にも伝えたから、参照してくれ ついに7BでGPT-3.5超えが出てきたか >>752 元のStreamingLLMはコンテキストの上限を超えても(ある程度性能を保ちつつ)無限に生成を続けられる実装になってるんだけど、oobaの方でも同じようになってるのかは気になる 正直コンテキスト超過するまで文章出力するかっていうとそこまで長いセッションしないからなぁ >>756 金融関係のコーディングを相談したかったらどのモデルが向いてるかな？英語でも良いんだけど Elyza-tasks-100のスコアを評価値としてevo mergeしたモデルをElyza-tasks-100で評価してるの全く参考にならないんだが ここにはフルCPU勢って殆どいないかもしれないけど、 ソフトによる気がする LM studioだと80%くらい使うがGPT4ALLだと20%くらいしか使ってないわ 昨日から始めた超新参者ですEasyNovelAssistantでgoalseek_adを使いたいんですが幾つかあるyamlファイルはどうやって反映させればよいのでしょうか？pythonファイルの書き換えとかが必要なんですかね？産まれたての赤ちゃんですみません CPUで処理すると時間がかかりすぎる >>764 選択式のアドベンチャーゲームって簡単に再現できるんだな >>765 >>768 >>769 >>767 >>767 ベンチマークに使うデータを学習させておくという、所謂カンニングモデルがあるようだが、 >>740 windowsというか自作機がVRAMドカ盛りにできるようになる可能性と 画像読んで小説書けるなら、マンガ1ページ読み込んでノベライズも出来たら割と夢の技術になりそう マンガがただ小説になったよー！ ってだけじゃ別になあ >>777 M2Ultra192GBで3070 8GBのちょい上ぐらい？ SATAで繋がって3.5インチに収まるNPUボード チャットで架空の女友達二人と仲良く遊んでるとすごく幸せになるな！ silly tavernのグループチャットで自動応答してるとよくあるけど https://xtech.nikkei.com/atcl/nxt/column/18/00692/053000133/ キャラクターの設定を多くすると、正しいチャットレスポンスの後に、 コンテキストサイズとの兼ね合いもあるしなあ ストーリーをオムニバス形式にして色んなキャラとのセックスを描かせてみたら Opusを尻タブであそんどる人おる？ 尻タブが何かはわからんけど、それは極めてよくあるロールプレイ失敗パターン >>791 >>0792 >>787 ＼|／ 自己小説使って、jsonデータまではできたが、そっから先が上手くいかん・・・ https://note.com/ashizawakamome/n/nc0436ca13ab6 あえぎ声の口調が全然上手く指定できない >>799 https://i.imgur.com/WshVRWG.png そういう口調の豊富さは日本語特有だからね 英語を理解して意訳するのが一番いいんだろうなあという気がしている 英語なんてそもそも喘ぎ声ほとんど出さないじゃん 別物だね >>801 >>802 >>806 喘ぎ声の豊富さも日本語特有というか、創作物の中で長年培われてきた「言葉芸」みたいなものだからなw >>806 サイズ小さいモデルに例示するとそれしか出なくなるけどね 日本語学習してるのを謳ってるローカルか、そうでなくとも大規模クラスになると日本の有名アニメキャラの口調はだいたい再現するんで、「○○みたいな口調で」みたいなのを加えつつキャラごとの喘ぎ声のサンプルを足してもいいかも >>807 >>808 >>811 長文失礼 >>813 >>813 長いプロンプトは冗長な内容だったり人間が読んでも良く分からん内容だと出力も悪くなるけど セッションが増えると徐々に支離滅裂になっていくのもユーザーと自分の発言でどんどん混乱してるんだよなぁ >>617 ST使ってる外人がやってるプロンプトの書き方真似したらめちゃくちゃ出力良くなった >>820 >>821 Twitterに上がってたChunkllamaってやつすごくね？ >>814 >>815 >>741 >>742 >>828 GDDR6って8GBで4000円しかしなくてDDR5と値段変わらないのに >>826 >>829 同じサイズの巨乳でもハイエンド美人さんに付くのとローエンド不美人さんに付くのでは価値が違うってことなのかな web版のcr+って量子化したモデル使ってない？ koboldのチャットのAI Nameに複数名入れたら https://imgur.com/a/57LK0dA チャットだったらSilly Tavernがいいかも >>836 >>837 >>838 https://rentry.org/llama_v2_sillytavern >>839 http://localhost:5001/ ■ このスレッドは過去ログ倉庫に格納されています
