>>922
使ってみたけどこっちはちゃんと指示に従うし描写の種類も豊富でかなり良い
NSFW版でもお断り率が高い感じするけど、ここは書き直せば良いから無問題
個人的にVecteusはアウトプットの方の文脈を優先で指示に従わない感じがあって使いにくかった
めっちゃ良いモデルありがとうやで Don't be evil
邪悪になるな(ズルしていいのは俺だけ)
がテック業界の標語なんでェ
>>916
koboldでエロプロンプトで試させて貰いました！
金玉を「パンパンに張り詰めた長靴下」と表現したのは茶吹きましたｗ
ところでこれはモデルと関係ないかもですが、koboldで生成してる途中の黄色い文字が、生成結果では最後の方だけ消されて文章が減る現象が結構起こるんですが、これは設定で調整できるんでしょうか？ 0955名無しさん＠ピンキー (ﾜｯﾁｮｲ f310-7iwU)2024/05/02(木) 02:45:32.84ID:1tIZbkbs0
Settings>Advancedの左下の方のTrim Sentecesのチェック外すと全部表示されるはずやで
文末まで出力できなかった文章を表示するか否かの設定や
kobolcCppをAPIから利用するときChat ModeとかInstruct Modeってどうやって設定するの？
もしかしてAPIからは設定不可能？
0958名無しさん＠ピンキー (ﾜｯﾁｮｲ f310-7iwU)2024/05/02(木) 10:19:56.49ID:1tIZbkbs0
>>957
Instructionモードとか、ChatモードってのはあくまでもWebUIの機能で
API経由でKoboldや大葉使う場合は自前で渡すシステムプロンプトでInstruction的な振る舞いを課したり、
Chat的な振る舞いを課すってのがワイの理解や 0959名無しさん＠ピンキー (ﾜｯﾁｮｲ f310-7iwU)2024/05/02(木) 10:32:18.71ID:1tIZbkbs0
ところでSillyTavernでCohereのCommand-r-plus使いたいんだが、上手く接続できん
トライアルAPIはValid表示されるが、メッセージのやり取りしようとするとスクショの様なBad Requestエラーがでてしまう
何を見落としてるんやろうか？SillyTavernでCommand-r-plusイケてるニキおったら、教えてくれんか？
https://imgur.com/a/dN0VxYR >>958
う〜ん、だとするとAPIからはやっぱ無理なのか
Ninjaはどのモデル使ってもAPIからではチャットしてくれないわ、Web UIのChat Modeでないと無理 自分はどこもいじらずcohere選んでAPIキーをペーストしてconnectしたら繋がったな
スクショ見る限り自分と同じに見える
とはいえそれは数日前の話で今帰省中だから再現を確認できん
とりあえずどこか別の画面で設定が必要とかはなさそうよということで
>>960
興味あるんだけど、挨拶送るとどんな出力を返してるのかな
関係なしに小説を書き始めるのかな 0963名無しさん＠ピンキー (ﾜｯﾁｮｲ f308-7iwU)2024/05/02(木) 11:01:40.74ID:1tIZbkbs0
>>961
サンガツ、と言うことはちょっと根が深そうやな…。
>>960
NinjaはAPIからは無理って意味がちょっとよく分からんのだが？
ワイはKobold.cppをバックエンドにしてSilly TavernでNinja遊んどるけどふつーに遊んどるが
この際Kobold.cppのAPIをSilly Tavernが叩くって構図なのでSilly TavernをInstructにしておけばえーやろの気持ちや >>963
とりあえずCohereのアカウント新規に作ってトライアルAPIも取得し直してみるのはどうかな
RedditのSillyTavernスレでBad requestで検索したらCohere以外でも悩まされてる人結構いるわ >>963
音声でリアルタイム会話できるようにした自作アプリからNinja使おうと試してるんだよ
でSilly Tavernがどうやってチャットしてるのか確認したら初手「こんばんわ」って挨拶するだけで
5000文字超の長大なプロンプト送信してたわ、今必死に中身解析してるところ Silly Tavernのリクエストの中身見て大体理解したわ
結局どんなモデルにも強制的にチャットさせてる方法は世間で言われてるプロンプトで頑張るやり方じゃなくて
最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ
>>956
サンガツやで！
もうちょっと見やすいようにメニューを構成するのとエロに直接リンク貼れない問題への対処を入れ込んどる
画像生成プロンプト生成なんやがNinjaやVecteusでもそこそこの結果が出とるっぽい
使えそうやったら記事でも補足しておいてもらえたらありがたいで 提案になるけどChub aiみたいなキャラカード共有するサイトの日本語版みたいなのがあったら需要ある気がする
他人の書いたキャラカを使い回しできたら文才なくても文章書く手間を省けるからな
0969名無しさん＠ピンキー (ﾜｯﾁｮｲ e387-6o3J)2024/05/02(木) 13:21:23.57ID:BxbvsKPT0
Vecteusのf16使ってるけど賢くて楽しいわ
小説向けだからかハルシネーションちょっと強めやけど、要約とか一般タスクもサクサクしてくれるのほんと助かる。あと文脈の拾いかたすごいわ
Ninjaの方はQ8の方使ってるからか案外Vecteusよりも更にハルシネーション強めやけど、ミドルスペックでも40t/s出るのはほんまストレスフリーや。f16も試してみたいわ
>>963
実家に置いてたN100ミニPCにSTインストールしてCohereのトライアルAPI入れたらちゃんと繋がったよ
https://i.imgur.com/zA6LvRx.jpeg
Seraphinaちゃんとチャットできるのも確認した
やはりST側の設定じゃなくて、そちらの接続がうまくいってないんじゃないかと思う
プロキシが悪さしてたりAPIがいつの間にか失効してたりとか色々なケースがあるみたいだ >>956
EasyNovelAssistantを更新して「特集テーマ」メニューにゴールシーク関連をまとめるようにしといたで
「作例や記事」メニューからもリンク貼っといた Silly Tavernを参考に何とかNinja使ってローカルだけで無制限に音声会話できるようになったわ
commandR+みたいな大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれないのは流石にしょうがないな
話してる女の子の名前がハルナだとしてwhisperの誤認識でアルナになってもcommnadR+は察してくれるけど
Ninjaその他の7Bモデルは別人の話だと思ってしまう
0973名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f69-7iwU)2024/05/02(木) 16:19:35.70ID:aApmX5gk0
>>970
別垢作ってもダメだったんで、Silly Tavernをクリーンインストールしたらすんなりいけたわ！
色々検証してもらったりで助かったで、ありがとうさんや！ 0974名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f69-7iwU)2024/05/02(木) 16:28:11.16ID:aApmX5gk0
>>972
おお、おめでとうさん
>>大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれない
名前と誤認識のパターンによってはあかんケースもあると思うが、せっかくAPI使ってるなら誤認識の結果の単語の辞書作って、
それらはNinjaに渡す前にアプリ側で全部”ハルナ”に置き換えてからNinjaに渡す方法でどうや？ワイは自作アプリではそんな感じでやってそこそこ機能しとった
なんか面白いアプリ出来たら是非遊ばせてや？ >>973
あまり役に立たなかった気もするが繋がってなにより
CohereのAPIは無料だし速いし性能良いしでありがたいな 自作アプリおじさん複数いて話の流れが掴めないな
Ninjaと会話できるの？小説しか無理なの？
たまたま安かったとはいえRTX3050買ったことを後悔しとる
画像生成は何とかなっとるけどVRAM8GBじゃローカルLLMはかなり厳しそうやな
次スレはこのままpinkに立てるとして冒頭のテンプレは結構見直す所が多そうだよね
お奨めモデルもかなり入れ替わったしEasyNovelAssistantもテンプレに入れたいな
メルカリにでも出して3060にしちゃえば？
今4万円くらいでしょ
なんなら3060もメルカリで買えばもっと安いかも
4060Tiとか3090・4090にいって放出する人いそうだし
EasyNovelAssistantをアプデしたら地の文を読み上げてくれなくなっちゃったのだ
女の子の一人称視点で書かせて読み上げてもらうの最高だったのだ
0981名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f31-7iwU)2024/05/02(木) 18:09:10.65ID:aApmX5gk0
>>976
完全ではないけど、ほぼストレスない形でNinjaと会話できるで
ワイはKobold.cpp + Silly Tavernでチャット形式であそんどる
ただ、小説書かせる方がモデルの性能発揮されるな、と感じた >>979
それも検討するわ
せやけどvecteus？のggml-model-Q4_K.ggufっていうやつ
EasyLightChatAssistantに放り込んで適当に設定したら一応動いたわ
めちゃめちゃ賢くてビビっとるんやけど >>>974
なるほどな、whisperはいつも同じ間違いするから辞書作っておくのは有効そうだな >>986
その他にチェック入れても地の文読んでくれませぬ…
名前無しの「」はその他の声で読んでくれました
「」が付いてない文だと読んでくれないみたいです >>979
時々画面にノイズが乗る3060が2万円代前半ぐらいであるね
ゲームやらないならわんちゃん >>987
不具合報告サンガツ！
アプデしてもろうたら直ってるはずや ゴミが増えない分直接ドブに金捨てたほうがマシレベル
>>989
アプデしたら直りました！
ホンマにサンガツです！ Ninjaは創作物から学習した比重高いんかな？プロンプト工夫してチャットさせてるけど
現実的な設定よりRPG世界で女の子と冒険するみたいな設定のほうが自然な流れで会話してくれる
これ軽いから使ってる soramikadukiStarling-RP-ja-westlake-chatvector
mmng氏の量子化モデルってK量子化にもiMatrixやってるのかな？
K量子化は見た目で分からんからなぁ
1000名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f31-7iwU)2024/05/03(金) 09:43:07.63ID:3NEtr/p00
>>966
>>最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ
この、でっちあげるって、Silly Tavernそのものが会話をでっちあげてる、って意味なんか？ 10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 137日 11時間 54分 9秒