なんJLLM部 避難所
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>922
Kobold.cpp+SillyTavernでNinja-v1-NSFW_Q_8_0.gguf遊ばせてもらってるが、なかなか素晴らしいな
ワイのロールプレイの進め方も関係してるかと思うが、コンテクストサイズのデカさがキャラクターのはがれにくさにつながる反面、やや意固地に感じる部分もあるな
モデルそのものはエロを許容しつつもわりと倫理観しっかりしているなと感じる
素晴らしいモデルの公開サンガツや >>919
返答ありがとう！それは楽しみや！
Wizard2かなるほどなあ。そこが他の子と違うとこやね
確かにWizard2は優秀だし、それを活かしたのがこの凄さに繋がってるのか
参考になります
と思ったらまだWizard2の公式取り消されたままだったわ
MSよ、Wizard2の復活はよ！ 大きなモデルばっか使ってたから7Bモデルだとチャットを上手くしてくれないんだけど
7Bモデルでも効く良さげなプロンプトってどっかでまとまってたりする？
自分と女の子で会話しようとしてもAIが1人2役でずっと話続けてしまう 1人2役で続けるのはストップワードをちゃんと設定すれば大体解決すると思う このVicunaプロンプトで、ってのが正直ワイも今一つよー分からん
誰かKobold、大葉、尻タブを対象にしたチュートリアルまとめてくれんか？ >>901
お疲れ様です。
NinjaとVecteusで、いくつか小説を書かせてみましたが、表現力はNinjaが高いですが、
話のまとまりやシナリオの辻褄や整合性はVecteusの方が高い気がしました。
いずれにせよ7Bでこれはすごいですね。
もっと高いパラメータになったら、どうなるか期待です EasyNovelAssistantでNinja-v1-NSFW-128k-Q_8_0, Ninja-v1-NSFW-Q_8_0, Vecteus-v1-Q4_K, umiyuki-Japanese-Chat-Umievo-itr001-7b-Q4_K_Mをさくっと使えるようにしといたで
https://github.com/Zuntan03/EasyNovelAssistant
https://twitter.com/Zuntan03/status/1785612264067993730 Oobaに関して言えばInstruction Templateでそれっぽいのロードして、なおかつchat-instructモードでやればいいんやない?
https://i.imgur.com/IeTqVfw.jpg
いちおうLLM部Wikiあるけど廃墟になってんだよな NinjaやVecteusを使った感想や問題点をいただけると非常にありがたいです。 ChatGPT用に練り込まれたプロンプトならかなりいい結果出るね > Vecteus-v1-gguf
CommandR+は元々ちょっと癖があるからそっち用のプロンプトでは上手くいかない感じだ >>934
量子化のIQ4_XS版を試してみたいです。
低サイズで高品質な量子化ができれば画像生成やT2Sと組み合わせたりと夢が広がりますし。
https://twitter.com/Zuntan03/status/1744195658029117523 宣伝させていただきます。
https://twitter.com/int_float_
ここのアカウントでNinjaなどの情報を発信する予定です。（もちろんここでも発信します） 次スレは変わらずpinkに避難所として立てる？
あっちはまだスクリプト来てるみたいやったけど >>937
X使いたくないからここで発信してもらえるの助かる 記憶を頼りに最近のモデルを纏めてみた
抜けがあったら補足してくれ
話題になったモデル(時系列順)
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) 乙
こうやって見ると、改めてAntler系使ったのばっかだなと思うわ
Antlerの作者さんにはホンマに感謝やで umiyukiのモデル抜けとったから、いつやったっけってHF見ても無くなってたわ
消したんかな 最近の軽めモデルは文章は良いんだけど入力指示に従ってくれる感じなのは現状LCAが一番強い感じする
百合書いたらいきなり関係ないおっさんが出てくる感じがある どんぐりで荒らしの影響もだいぶ減ったけどまあここまで定着したら
こっちでいいんじゃね？ >>944
HuggingFaceに無くなってるなら追加無しで良いか
mergekit-evolveやってみてるが、メモリ64GB+3060-12GBでも一応全部ローカルで動かせるな
ただマージ後モデルが全部収まるVRAM容量無いと回答生成が遅い >>944
ライセンス的にグレーかもしれないから非公開にしたようだ
具体的には評価に使うLLMがLlama系とかCommand R系とかだと出力データ自体に制限がかかるので、そこが懸念点らしい
どっちもウェイトを開示してるだけで、ライセンス的にはオープンソースではなかったからね >>941
Llama-3とかPhy-3はないみたいだけど、NSFWが行けるかを基準にしてる？ 英語圏ってライセンス全く気にしてない感じだけどアレどうなってるんだろう
当たり前のようにGPTの出力学習に使ってapache2.0とかのモデル作ってるし
そもそもllama系は公式のポリシー遵守するならNSFW用のモデルとか作成しちゃダメだけど腐るほどあるし >>922
使ってみたけどこっちはちゃんと指示に従うし描写の種類も豊富でかなり良い
NSFW版でもお断り率が高い感じするけど、ここは書き直せば良いから無問題
個人的にVecteusはアウトプットの方の文脈を優先で指示に従わない感じがあって使いにくかった
めっちゃ良いモデルありがとうやで Don't be evil
邪悪になるな(ズルしていいのは俺だけ)
がテック業界の標語なんでェ >>916
koboldでエロプロンプトで試させて貰いました！
金玉を「パンパンに張り詰めた長靴下」と表現したのは茶吹きましたｗ
ところでこれはモデルと関係ないかもですが、koboldで生成してる途中の黄色い文字が、生成結果では最後の方だけ消されて文章が減る現象が結構起こるんですが、これは設定で調整できるんでしょうか？ Settings>Advancedの左下の方のTrim Sentecesのチェック外すと全部表示されるはずやで
文末まで出力できなかった文章を表示するか否かの設定や EasyNovelAssistantへの追加ありがとナス
キャラ設定なげるだけでStable Diffusion用プロンプト生成できるプロンプトも用意したで、NSFWコンテンツも出してくれるのはローカルLLMの特権よ
https://github.com/kgmkm/goalseek_ad/blob/main/init_imager.txt
画像は野郎の手じゃなきゃ10000点やったやつ
https://imgur.com/a/ZPiYEpr kobolcCppをAPIから利用するときChat ModeとかInstruct Modeってどうやって設定するの？
もしかしてAPIからは設定不可能？ >>957
Instructionモードとか、ChatモードってのはあくまでもWebUIの機能で
API経由でKoboldや大葉使う場合は自前で渡すシステムプロンプトでInstruction的な振る舞いを課したり、
Chat的な振る舞いを課すってのがワイの理解や ところでSillyTavernでCohereのCommand-r-plus使いたいんだが、上手く接続できん
トライアルAPIはValid表示されるが、メッセージのやり取りしようとするとスクショの様なBad Requestエラーがでてしまう
何を見落としてるんやろうか？SillyTavernでCommand-r-plusイケてるニキおったら、教えてくれんか？
https://imgur.com/a/dN0VxYR >>958
う〜ん、だとするとAPIからはやっぱ無理なのか
Ninjaはどのモデル使ってもAPIからではチャットしてくれないわ、Web UIのChat Modeでないと無理 自分はどこもいじらずcohere選んでAPIキーをペーストしてconnectしたら繋がったな
スクショ見る限り自分と同じに見える
とはいえそれは数日前の話で今帰省中だから再現を確認できん
とりあえずどこか別の画面で設定が必要とかはなさそうよということで >>960
興味あるんだけど、挨拶送るとどんな出力を返してるのかな
関係なしに小説を書き始めるのかな >>961
サンガツ、と言うことはちょっと根が深そうやな…。
>>960
NinjaはAPIからは無理って意味がちょっとよく分からんのだが？
ワイはKobold.cppをバックエンドにしてSilly TavernでNinja遊んどるけどふつーに遊んどるが
この際Kobold.cppのAPIをSilly Tavernが叩くって構図なのでSilly TavernをInstructにしておけばえーやろの気持ちや >>963
とりあえずCohereのアカウント新規に作ってトライアルAPIも取得し直してみるのはどうかな
RedditのSillyTavernスレでBad requestで検索したらCohere以外でも悩まされてる人結構いるわ >>963
音声でリアルタイム会話できるようにした自作アプリからNinja使おうと試してるんだよ
でSilly Tavernがどうやってチャットしてるのか確認したら初手「こんばんわ」って挨拶するだけで
5000文字超の長大なプロンプト送信してたわ、今必死に中身解析してるところ Silly Tavernのリクエストの中身見て大体理解したわ
結局どんなモデルにも強制的にチャットさせてる方法は世間で言われてるプロンプトで頑張るやり方じゃなくて
最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ >>956
サンガツやで！
もうちょっと見やすいようにメニューを構成するのとエロに直接リンク貼れない問題への対処を入れ込んどる
画像生成プロンプト生成なんやがNinjaやVecteusでもそこそこの結果が出とるっぽい
使えそうやったら記事でも補足しておいてもらえたらありがたいで 提案になるけどChub aiみたいなキャラカード共有するサイトの日本語版みたいなのがあったら需要ある気がする
他人の書いたキャラカを使い回しできたら文才なくても文章書く手間を省けるからな Vecteusのf16使ってるけど賢くて楽しいわ
小説向けだからかハルシネーションちょっと強めやけど、要約とか一般タスクもサクサクしてくれるのほんと助かる。あと文脈の拾いかたすごいわ
Ninjaの方はQ8の方使ってるからか案外Vecteusよりも更にハルシネーション強めやけど、ミドルスペックでも40t/s出るのはほんまストレスフリーや。f16も試してみたいわ >>963
実家に置いてたN100ミニPCにSTインストールしてCohereのトライアルAPI入れたらちゃんと繋がったよ
https://i.imgur.com/zA6LvRx.jpeg
Seraphinaちゃんとチャットできるのも確認した
やはりST側の設定じゃなくて、そちらの接続がうまくいってないんじゃないかと思う
プロキシが悪さしてたりAPIがいつの間にか失効してたりとか色々なケースがあるみたいだ >>956
EasyNovelAssistantを更新して「特集テーマ」メニューにゴールシーク関連をまとめるようにしといたで
「作例や記事」メニューからもリンク貼っといた Silly Tavernを参考に何とかNinja使ってローカルだけで無制限に音声会話できるようになったわ
commandR+みたいな大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれないのは流石にしょうがないな
話してる女の子の名前がハルナだとしてwhisperの誤認識でアルナになってもcommnadR+は察してくれるけど
Ninjaその他の7Bモデルは別人の話だと思ってしまう レス数が950を超えています。1000を超えると書き込みができなくなります。
