なんJLLM部 避難所
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>858
乙！プロンプト作ろうとしてたタイミングで、超参考になる！
良いもの共有してくれてサンガツやで！ >>859
API経由の奴は基本無理だから頑張ってcommand-r plusをローカルで動かすか
いっそのことこれみたいなテキストのエロさを判定するモデル使った方がいいかも
https://huggingface.co/oshizo/japanese-sexual-moderation-v2
それか手動評価にする >>858
サンガツ！
ちょっと今EasyNovelAssistantにStyle-Bert-VITS2連携をつっこんどる最中なんで少し後にはなるんやが
ヘルプメニューからGitHubにリンク貼りつつサンプルメニューにinit_editor.txtとinit_writer.txtを追加さしてもらおうと思っとるで
サンプルメニュー開いた時にGitHubから取得するようにもできるんはずなでファイル名が変わらんのやったらアプデにも追随できるはずや
リンク先がnote記事のほうがええとかあったら都度伝えてもろうたら
紹介する時はアイコンやIDから@kagami_kami_mニキとして紹介させてもろたらええやろか？ >>861
短文の判定だとエロ語出力以外の能力落ちそうやから最低限ElyzaTaskの判定できるくらいのほしい、てなるとCommand-R+かなあ
方針としては、Aの出力文とBの出力文を比較してどちらがより高得点か、てのを自分の感覚と照らし合わせて、評価プロンプトの[評価基準]を随時修正していこうかと考えてる
最終的に自分好みの表現を高得点とできるように調整できれば良き
プロンプトは全然知識ないからどこまでできるか分からんけども、よくわからんからこそ挑戦してみるわ
手動評価は最終手段かな。200回以上手動評価はキツいわ… 長編ADVみたいなロールプレイを上手くさせる方法ってないのかな？
最初は良くてもターン数重ねるとどんどん出力が短くなったり同じ応答ばかりになってしまう。 >>864
チャット風ロールプレイでやってる方法だけど、
「今までの内容を要約してくれ」って要約を作らせてプロンプト差し替えてる
要約を英語で作らせると精度上がったりする Qwen1.5-110B-Chat
huggingfaceのSpaceで試したけど中国語と英語が混ざっちゃってダメやね
いちおう日本語は喋るけどね >>862
それでええよ
pixiv小説からEasyNovelAssistantで調べたらヒットするかも知れん gpt2-chatbotという謎のモデルがchat.lmsys.orgでテストできるようになってなんか話題になっとるな
前評判ではGPT4レベルだとかアスキーアートが生成できるとか言われてて、わいも日本語でSFWな音声作品の脚本書かせてみたけど申し訳もされずCommand R+と同等かそれ以上の分かってる文章を生成してびっくりした
うわさではGPT4.5がゲリラマーケティングされてるとか言われてるけどなんなんやろうね >>869
gpt2-chatbotってモデル選択に無いけどどれですか？ 普通にプロンプト打って動かすと、どちらがいい？って聞いてくるから選択するとこっちがgpt2でしたって出てくる 自作アプリでAIと音声会話するのかなりできるようになって来たけど意外な敵が部屋のノイズで苦しんでるわ
PCのファンの音すら拾って「これはまだ発言が続いてんな？」ってずっと発言終了待機してクッソ応答が遅くなる NVIDIA BROADCASTのノイズキャンセル使いな >>876
ひとまずマイクの調整で何とかなったわ
VITS2で好きな声優の音声でリアルタイムの会話は破壊力やばかったわ、世界が変わった… >>878
乙、音声あるとないでは全然違うよね
後は音声入力にさえ対応すれば完全体に… 音声良いね
音声ありはどちらかというと小説読み上げよりもロールプレイとかなりきりチャット的な用途で欲しいな…（俺がエロチャ大好きなだけかもしれんが） Llama3 70Bよりもcommand R +の方が自然な日本語を返してくれる気がする。
日本語のベンチマークではどっちが上なんだろうね？ Llama3 70Bよりもcommand R +の方が自然な日本語を返してくれる気がする。
日本語のベンチマークではどっちが上なんだろうね？ Command R+の方が上のはず
そもそもllama-3は公式的には多言語対応じゃない（多言語対応版も後で出しますよみたいなのをリリース文に入れてたはず） GPT2を変な形でお披露目したOpenAIの真意はなんだろな？ シンプルにリリース前にベンチマーク取ってるだけな気がする 音声読み上げいいね
VOICEVOXとかVOICEPEAKと連携できたら一般層にリーチできるかもしれない… 肝心は日本語の能力だからなあ
いくら海外のなんかのテストがよくてもなあ LLMの読み上げは、BOOTHに上がってるAnneliとかいうNSFWのstyle-bert-vits2のモデル（を自分で学習したモデルとマージしたやつ）使ってるんだけど、学習データの出所不明で人に勧めづらいんだよな
ここで読み上げやってるやつは何使ってるの？ 俺も同人音声作品だなぁ
コーパス準拠のモデルはまだ性能が低すぎるしな 俺もそうだが、やっぱりASMRとかで学習させてるやつが多いか
まあ背景に変な音とかなくて使いやすいよね >>877
声の学習のときに作った文字起こし結果あるから、それでロールプレイさせればいいのか。考えたことなかった Command +RをAPI経由かウェブかローカルでもいいのでお手軽に実行できる環境ってある？
ローカルだと4090+64GBメモリでもキツイと聞いたので。。。 cohereでトライアルAPIが貰えるよ
自分はこれを使ってSillyTavernで遊んでる
月1000回だったかの回数制限はあるけどね 公式ページにも普通にChat UIあるからそれでもいいと思う >>894-896
ハギチャットは一昨日試したら落ちてた。。。
シリーターバンは入れたけどあまり使ってなかった
公式にもあったのね！サンガツ！ NovelHacja/vecters-v1
5/1の人のモデルかな？
今日やってるLOCAL AI HACKATHON #001で出したモデルらしい
メンバーがHFに出してたモデル見ると、Antler系とchatntqを使ってる
これもそうだったら、このスレの功績がまた一つ増えたことになるな 騒ぎになってたgpt2-chatbot、使えなくなってんね
みんな殺到しすぎたか まあ最近出てきてるMistralの日本語強いやつは皆LCAの影響受けてんじゃね
あれから一気に数出てくるようになったし
願わくばこのままどんどん良くなっていってほしいもんだ 面白そうだがLMstudioユーザーで知識も環境もないワイはgguf待ちやな…
Vecteus-v1はggufあるみたいだがVRAM 16GBじゃ乗らんわ
ハッカソンとやらは覗いてみるか >>901
ポッとHFに出てたからそうかと思っとったらやっぱそうだったんか
お疲れさんでした。良いモデルサンガツやで
以前貼ってたのはNSFW無しNinjaの出力かな？ >>901のモデル、yarnのコンテキスト拡張を使っとるんやね
128k対応とかオーバーキル過ぎる
マージレシピ的には、chatntqに各々の抽出vectorを足した感じか
当時はevolveも無かったし、重み調整が大変そうやな
ホントにお疲れ様やで
(これでLCAフォロワーの優れたモデルがまた一つ生まれたわけやな…) >>904
Antlerがマージされている開発版だったと思います >>906
開発版だったんか。リリース版は更に改良されていると。凄いなあ
差し障りなかったら尋ねたいんやけど、今後はどんなモデルを作るとかの予定あったりします？
mergekit-evolve使うとか、他のベースやパラメータのを作るとか
内緒なら、この質問はスルーしてください
改めて、お疲れ様でした。良いモデルをリリースしてくれてありがとう わいもStyle-Bert-VITS2で学習させたTTSモデルに喋ってもらいたいんだが誰かOobaの拡張機能書いてくれないかなー(ﾁﾗｯ >>901
サンガツ！試すのを楽しみにしてるよ
VecteusはNinjaをさらにマージしたモデルと理解していいのかな？ >>908
SillyTervanでも良いんだけどなー(ﾁﾗ それにしてもこの1ヶ月の進捗は劇的だったと思う
>>80が公開されたのが4月3日
それまでは70B以上のモデルで何とかまともな日本語が出せるかという世界だったのになあ
改めて開発者諸ニキに感謝と敬意を捧げるわ
この先の展開が楽しみでたまらない safetensorsはkoboldでも動くのかな？初心者でゴメン。。。 とりあえず>>901のモデルを大葉で試してるけど良い感じにチャット出来てる >>901
試してみた、小説の出力みたいなタスクは7Bとは思えない日本語能力だね
3月までの状況考えると進化の速度が凄いわ >>907
今日には間に合いませんでしたが、フランケンマージやEvo-mergeモデルも作成しています。
その他モデルのアップデートもすると思います。
Ninjaの強さの秘密はWizard2なのでMistralベース以外のモデルはおそらく作れないと思います。 >>901
チャットも多人数が登場しても破綻してないな >>909
そうですね
Ninjaと開発途中だったモデルも混ぜて性能を上げてるらしいです >>922
Kobold.cpp+SillyTavernでNinja-v1-NSFW_Q_8_0.gguf遊ばせてもらってるが、なかなか素晴らしいな
ワイのロールプレイの進め方も関係してるかと思うが、コンテクストサイズのデカさがキャラクターのはがれにくさにつながる反面、やや意固地に感じる部分もあるな
モデルそのものはエロを許容しつつもわりと倫理観しっかりしているなと感じる
素晴らしいモデルの公開サンガツや >>919
返答ありがとう！それは楽しみや！
Wizard2かなるほどなあ。そこが他の子と違うとこやね
確かにWizard2は優秀だし、それを活かしたのがこの凄さに繋がってるのか
参考になります
と思ったらまだWizard2の公式取り消されたままだったわ
MSよ、Wizard2の復活はよ！ 大きなモデルばっか使ってたから7Bモデルだとチャットを上手くしてくれないんだけど
7Bモデルでも効く良さげなプロンプトってどっかでまとまってたりする？
自分と女の子で会話しようとしてもAIが1人2役でずっと話続けてしまう 1人2役で続けるのはストップワードをちゃんと設定すれば大体解決すると思う このVicunaプロンプトで、ってのが正直ワイも今一つよー分からん
誰かKobold、大葉、尻タブを対象にしたチュートリアルまとめてくれんか？ >>901
お疲れ様です。
NinjaとVecteusで、いくつか小説を書かせてみましたが、表現力はNinjaが高いですが、
話のまとまりやシナリオの辻褄や整合性はVecteusの方が高い気がしました。
いずれにせよ7Bでこれはすごいですね。
もっと高いパラメータになったら、どうなるか期待です EasyNovelAssistantでNinja-v1-NSFW-128k-Q_8_0, Ninja-v1-NSFW-Q_8_0, Vecteus-v1-Q4_K, umiyuki-Japanese-Chat-Umievo-itr001-7b-Q4_K_Mをさくっと使えるようにしといたで
https://github.com/Zuntan03/EasyNovelAssistant
https://twitter.com/Zuntan03/status/1785612264067993730 Oobaに関して言えばInstruction Templateでそれっぽいのロードして、なおかつchat-instructモードでやればいいんやない?
https://i.imgur.com/IeTqVfw.jpg
いちおうLLM部Wikiあるけど廃墟になってんだよな NinjaやVecteusを使った感想や問題点をいただけると非常にありがたいです。 ChatGPT用に練り込まれたプロンプトならかなりいい結果出るね > Vecteus-v1-gguf
CommandR+は元々ちょっと癖があるからそっち用のプロンプトでは上手くいかない感じだ >>934
量子化のIQ4_XS版を試してみたいです。
低サイズで高品質な量子化ができれば画像生成やT2Sと組み合わせたりと夢が広がりますし。
https://twitter.com/Zuntan03/status/1744195658029117523 宣伝させていただきます。
https://twitter.com/int_float_
ここのアカウントでNinjaなどの情報を発信する予定です。（もちろんここでも発信します） 次スレは変わらずpinkに避難所として立てる？
あっちはまだスクリプト来てるみたいやったけど >>937
X使いたくないからここで発信してもらえるの助かる 記憶を頼りに最近のモデルを纏めてみた
抜けがあったら補足してくれ
話題になったモデル(時系列順)
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) 乙
こうやって見ると、改めてAntler系使ったのばっかだなと思うわ
Antlerの作者さんにはホンマに感謝やで umiyukiのモデル抜けとったから、いつやったっけってHF見ても無くなってたわ
消したんかな 最近の軽めモデルは文章は良いんだけど入力指示に従ってくれる感じなのは現状LCAが一番強い感じする
百合書いたらいきなり関係ないおっさんが出てくる感じがある どんぐりで荒らしの影響もだいぶ減ったけどまあここまで定着したら
こっちでいいんじゃね？ >>944
HuggingFaceに無くなってるなら追加無しで良いか
mergekit-evolveやってみてるが、メモリ64GB+3060-12GBでも一応全部ローカルで動かせるな
ただマージ後モデルが全部収まるVRAM容量無いと回答生成が遅い >>944
ライセンス的にグレーかもしれないから非公開にしたようだ
具体的には評価に使うLLMがLlama系とかCommand R系とかだと出力データ自体に制限がかかるので、そこが懸念点らしい
どっちもウェイトを開示してるだけで、ライセンス的にはオープンソースではなかったからね >>941
Llama-3とかPhy-3はないみたいだけど、NSFWが行けるかを基準にしてる？ 英語圏ってライセンス全く気にしてない感じだけどアレどうなってるんだろう
当たり前のようにGPTの出力学習に使ってapache2.0とかのモデル作ってるし
そもそもllama系は公式のポリシー遵守するならNSFW用のモデルとか作成しちゃダメだけど腐るほどあるし >>922
使ってみたけどこっちはちゃんと指示に従うし描写の種類も豊富でかなり良い
NSFW版でもお断り率が高い感じするけど、ここは書き直せば良いから無問題
個人的にVecteusはアウトプットの方の文脈を優先で指示に従わない感じがあって使いにくかった
めっちゃ良いモデルありがとうやで Don't be evil
邪悪になるな(ズルしていいのは俺だけ)
がテック業界の標語なんでェ >>916
koboldでエロプロンプトで試させて貰いました！
金玉を「パンパンに張り詰めた長靴下」と表現したのは茶吹きましたｗ
ところでこれはモデルと関係ないかもですが、koboldで生成してる途中の黄色い文字が、生成結果では最後の方だけ消されて文章が減る現象が結構起こるんですが、これは設定で調整できるんでしょうか？ Settings>Advancedの左下の方のTrim Sentecesのチェック外すと全部表示されるはずやで
文末まで出力できなかった文章を表示するか否かの設定や EasyNovelAssistantへの追加ありがとナス
キャラ設定なげるだけでStable Diffusion用プロンプト生成できるプロンプトも用意したで、NSFWコンテンツも出してくれるのはローカルLLMの特権よ
https://github.com/kgmkm/goalseek_ad/blob/main/init_imager.txt
画像は野郎の手じゃなきゃ10000点やったやつ
https://imgur.com/a/ZPiYEpr kobolcCppをAPIから利用するときChat ModeとかInstruct Modeってどうやって設定するの？
もしかしてAPIからは設定不可能？ >>957
Instructionモードとか、ChatモードってのはあくまでもWebUIの機能で
API経由でKoboldや大葉使う場合は自前で渡すシステムプロンプトでInstruction的な振る舞いを課したり、
Chat的な振る舞いを課すってのがワイの理解や ところでSillyTavernでCohereのCommand-r-plus使いたいんだが、上手く接続できん
トライアルAPIはValid表示されるが、メッセージのやり取りしようとするとスクショの様なBad Requestエラーがでてしまう
何を見落としてるんやろうか？SillyTavernでCommand-r-plusイケてるニキおったら、教えてくれんか？
https://imgur.com/a/dN0VxYR レス数が950を超えています。1000を超えると書き込みができなくなります。
