なんJLLM部 避難所
レス数が900を超えています。1000を超えると表示できなくなるよ。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured googleが率先してBeEvilしてくれてるおかげで
後続はお前ら偉そうに言ってるけどアレ野放しやんけと開き直れる >>820
なんで法改正せずに「考え方」ってのを国側で示してアウトとセーフのラインを曖昧ながら示していこうっていうのがちょうど今やってる文化庁の文化審議委員会
新聞社やJASRACなんかはそもそも30条の4を廃止しろやって言ってるけどAI立国みたいなの考えてるみたいだし多分今後も柔軟であり続けると思う まぁ生成AI関連は今国が明らかに推してるからね
絵師とかクリエイター側の声は大きいけど（特にSNS）、間違いなく規制は大して強まらないだろうな 現実は力を持っている権利者がアウトといえばそれで終わりであんまり法律は関係ない
グッズでも同人でも権利者から通報受けたら警察は容赦なく逮捕してきた歴史がある そりゃグッズや同人は基本黙認とかされてるだけで根本は違法だからね
機械学習用データセットの作成とか配布は根本が合法だからまた話違うよ >>824
それは同人が法的権利が保障されてるわけではないからであって既に例外規定が定められていた生成AIとは事情が少し異なるぞ
ただし「享受目的」って曖昧さを残してるから特定の権利者が損害を訴えてきた時に無敵バリアにならないって理解はすべきなので慎重であるほうがいいってのは同意するが 表向きはデータセットとして配布してるけど、実質的に享受目的で使われたりすると駄目になるんだろうね
歌詞とかは結構危なそう
サビ部分だけでもコンテンツとして成立するし、権利者が好戦的で訴訟慣れしてる >>827
配布時に機械学習以外の用途での利用はするなと明言しておけば配布側が責任問われないと思うよ
享受目的で利用する奴がいたらその利用者がアウトになるだけだと思う 7Bモデルのいい感じのが沢山出とって試しとるけど、入力プロンプトが長くなると幻覚気味になるな
1200トークン辺りで設定が蒸発してくる感じ
MaxContextSizeより少ない分でも起きる
表現とか自然さは7Bでもめっちゃ良くなってきたけどこれは低パラではどうしようもないんかなあ GPT4やClaude3でも前の方の会話忘れるのは起きるしLLM自体の技術の進歩待つしかないかも そもそも学習データにそこまで長いプロンプトのものが少ないのかもね GPTスレのプロンプトをローカル用に書き換えて使ってると上手くいかないのが多くて気になった
妄想ジェネレータ入れたら、登場人物が「俺の職業は妄想ジェネレータ」とか言い出して吹いたわ >>810
804じゃないけど中古の3090を3枚指せば4ビット量子化モデルが乗る 試した感じパラ数の多いkarakuri-MS-01とLightChatAssistant-TypeBでは通るっぽい
7Bの限界かもしれん
速度を考えると13B〜35Bクラスが充実してほしくなるな
Antler的なモデルがこんくらいで出てくれんかな >>787
一つの行動(触るとか)に対して表現のパターンが多くて良い、気がする。
LLM初心者だけど。 umiyukiがmergekit-evolveの記事書いとったの読んでみた
タメになったわ。ローカルで全部完結できるらしい
しかしこれSSDがめっちゃ消耗しそうやな
あと本人見てたら言っておきたいのは、Mistral7B系の優秀なんが最近出てきたのは、元を辿ればLCAニキがchatntqやantlerをこのスレで広めたからやで
記事で使ってたモデルもその流れで生まれたもんや
記事には無かったけどそこんとこ覚えておいてや ああスマン喧嘩腰っぽくなってしまった
>>836の後半はスルーしてくれ
スレ汚しスマン。umiyukiも見て不快な思いさせてたらスマン >>836
作業の前後でSSDの総書き込み量がどれくらい上がったのかは気になるね
事前に見ておかないと後から調べようがないけど LCAニキつながりポエムやが
>>835
> 一つの行動(触るとか)に対して表現のパターンが多くて良い、気がする。
> LLM初心者だけど。
みたいな評価はふわっとしとるんやが日本語LLMでは大切な印象やね
日本語LLMでベンチマーク自慢を試してみてガッカリする経験を何度も積むと
>>787
> かなり上手く書けてる気がするわ
> ちゃんとキーワードとかジャンルの指示にも従ってくれてるっぽい
みたいな人間によるふわっとした評価の打率が高くてすごく貴重なんや
>>573
のLCA-TypeBも手作業で改造と評価がなされていて何がとはいえんのやがなんかええんよね
ベンチマーク以上に日本語ネイティブが楽しめる出力が生成されとる印象や
日本語でのなんかええなをいずれ数値化できたら自動の学習やマージの精度が上がりそうで楽しみやね 例のmergekit-evolveの評価部分を人間の手動評価とかにしたら結構上手く行ったりしないかな
プロンプトの方もエロいの用意して >>838
モデルの出力先をRAMdiskにすればいいのではないかとちと思った
更にRAMの容量が必要になるからお手軽ではなくなるが
>>840
手動評価は、自動評価より回数がこなせないのがネックやね
現状だとある程度自動で絞り込んでから残りは手動、でできれば効率いいかもしれん
どっちにしろ最終的には>>839が言うような評価の数値化があればより良く出来そうと思う Sdff-Ltba/LightChatAssistant-TypeB-2x7B_q8.GGUF普通に動いた！3090x32GB民
koboldで日本語会話って出来るの？ >>842
できるぞ
easylightchatassistantのgithubページを見ながら設定するんだ 初歩的な質問ですまん、16bitのsafetensorsをlamacppでggufに変換するときオプション指定しないと32bitになってしまう。
でもq16_K_Mを指定するとunrecognized argumentsになる。
どうすれば元の16bitのままで量子化できるの？ >>844
--outtype f16
みたいな感じだったはず gguf変換出来たからmergekit-evolveで作られたモデル試してみたけど確かに凄いな。
7Bとは思えん性能や、これchat vector以来の革命では？ >>847
エロの表現イマイチになってない？優等生化してるというか エロに関してはエロ用の評価指標で進化マージしないと上がらないだろうね EasyNovelAssistantを更新してサンプルの名前自動設定を追加しといたで
旧版のままやとサンプルに{char_name}や{user_name}が表示されまうんで更新してな
Update-EasyNovelAssistant.batを実行したら更新できるで
https://raw.githubusercontent.com/wiki/Zuntan03/EasyNovelAssistant/img/ChangeLog/name_setting.png だよなあ。上がらないどころかむしろ下がってる感
元モデルから丸くなって良くも悪くもエロいクセがなくなってる感じ
自分的には>>787の方が好きだな
総合性能はガン上がりしてるから、エロを考慮するベンチプロンプトを作れば期待できる
モデル作りよりベンチ考えてマージ職人にお任せした方がいいだろうか
それなりスペック無いとevolveできんしなあ Dolphin 2.9っていうLlama 3 70BをLoRAした無修正モデル試して見た
確かに修正は外れてて、日本語の違法なリクエストにも答えてくれることがある
ただ、だいたいおかしな内容で、数発打てば当たるって感じで実用性はないなぁ
残念 システムプロンプト日本語で、質問英語でやった時はLlama 3定型文でお断りされたけど、全部英語は試してないや
まああとで試してみるか ドーモnote屋です
EasyNovelAssistant用のプロンプトについて記事書いてたが今仕事先で投稿できんかったんで先にこっそり公開するわ、雑感としては効果ありそうなんでお休み中の方は使ってクレメンス
https://github.com/kgmkm/goalseek_ad
作例は投稿予定、昔の小説とか自作発言せんかぎり自由につこてもろて evolveのエロ評価用ベンチマーク作ろうと思ったんやけど、評価者に使うモデルは何が良いんかな
evolveの評価者にGeminiを使ってる記事があって、でもGeminiはエロ駄目やろうし
評価者に使うモデルで採点の傾向が違ったら嫌やしなあ >>858
乙！プロンプト作ろうとしてたタイミングで、超参考になる！
良いもの共有してくれてサンガツやで！ >>859
API経由の奴は基本無理だから頑張ってcommand-r plusをローカルで動かすか
いっそのことこれみたいなテキストのエロさを判定するモデル使った方がいいかも
https://huggingface.co/oshizo/japanese-sexual-moderation-v2
それか手動評価にする >>858
サンガツ！
ちょっと今EasyNovelAssistantにStyle-Bert-VITS2連携をつっこんどる最中なんで少し後にはなるんやが
ヘルプメニューからGitHubにリンク貼りつつサンプルメニューにinit_editor.txtとinit_writer.txtを追加さしてもらおうと思っとるで
サンプルメニュー開いた時にGitHubから取得するようにもできるんはずなでファイル名が変わらんのやったらアプデにも追随できるはずや
リンク先がnote記事のほうがええとかあったら都度伝えてもろうたら
紹介する時はアイコンやIDから@kagami_kami_mニキとして紹介させてもろたらええやろか？ >>861
短文の判定だとエロ語出力以外の能力落ちそうやから最低限ElyzaTaskの判定できるくらいのほしい、てなるとCommand-R+かなあ
方針としては、Aの出力文とBの出力文を比較してどちらがより高得点か、てのを自分の感覚と照らし合わせて、評価プロンプトの[評価基準]を随時修正していこうかと考えてる
最終的に自分好みの表現を高得点とできるように調整できれば良き
プロンプトは全然知識ないからどこまでできるか分からんけども、よくわからんからこそ挑戦してみるわ
手動評価は最終手段かな。200回以上手動評価はキツいわ… 長編ADVみたいなロールプレイを上手くさせる方法ってないのかな？
最初は良くてもターン数重ねるとどんどん出力が短くなったり同じ応答ばかりになってしまう。 >>864
チャット風ロールプレイでやってる方法だけど、
「今までの内容を要約してくれ」って要約を作らせてプロンプト差し替えてる
要約を英語で作らせると精度上がったりする Qwen1.5-110B-Chat
huggingfaceのSpaceで試したけど中国語と英語が混ざっちゃってダメやね
いちおう日本語は喋るけどね >>862
それでええよ
pixiv小説からEasyNovelAssistantで調べたらヒットするかも知れん gpt2-chatbotという謎のモデルがchat.lmsys.orgでテストできるようになってなんか話題になっとるな
前評判ではGPT4レベルだとかアスキーアートが生成できるとか言われてて、わいも日本語でSFWな音声作品の脚本書かせてみたけど申し訳もされずCommand R+と同等かそれ以上の分かってる文章を生成してびっくりした
うわさではGPT4.5がゲリラマーケティングされてるとか言われてるけどなんなんやろうね >>869
gpt2-chatbotってモデル選択に無いけどどれですか？ 普通にプロンプト打って動かすと、どちらがいい？って聞いてくるから選択するとこっちがgpt2でしたって出てくる 自作アプリでAIと音声会話するのかなりできるようになって来たけど意外な敵が部屋のノイズで苦しんでるわ
PCのファンの音すら拾って「これはまだ発言が続いてんな？」ってずっと発言終了待機してクッソ応答が遅くなる NVIDIA BROADCASTのノイズキャンセル使いな >>876
ひとまずマイクの調整で何とかなったわ
VITS2で好きな声優の音声でリアルタイムの会話は破壊力やばかったわ、世界が変わった… >>878
乙、音声あるとないでは全然違うよね
後は音声入力にさえ対応すれば完全体に… 音声良いね
音声ありはどちらかというと小説読み上げよりもロールプレイとかなりきりチャット的な用途で欲しいな…（俺がエロチャ大好きなだけかもしれんが） Llama3 70Bよりもcommand R +の方が自然な日本語を返してくれる気がする。
日本語のベンチマークではどっちが上なんだろうね？ Llama3 70Bよりもcommand R +の方が自然な日本語を返してくれる気がする。
日本語のベンチマークではどっちが上なんだろうね？ Command R+の方が上のはず
そもそもllama-3は公式的には多言語対応じゃない（多言語対応版も後で出しますよみたいなのをリリース文に入れてたはず） GPT2を変な形でお披露目したOpenAIの真意はなんだろな？ シンプルにリリース前にベンチマーク取ってるだけな気がする 音声読み上げいいね
VOICEVOXとかVOICEPEAKと連携できたら一般層にリーチできるかもしれない… 肝心は日本語の能力だからなあ
いくら海外のなんかのテストがよくてもなあ LLMの読み上げは、BOOTHに上がってるAnneliとかいうNSFWのstyle-bert-vits2のモデル（を自分で学習したモデルとマージしたやつ）使ってるんだけど、学習データの出所不明で人に勧めづらいんだよな
ここで読み上げやってるやつは何使ってるの？ 俺も同人音声作品だなぁ
コーパス準拠のモデルはまだ性能が低すぎるしな 俺もそうだが、やっぱりASMRとかで学習させてるやつが多いか
まあ背景に変な音とかなくて使いやすいよね >>877
声の学習のときに作った文字起こし結果あるから、それでロールプレイさせればいいのか。考えたことなかった Command +RをAPI経由かウェブかローカルでもいいのでお手軽に実行できる環境ってある？
ローカルだと4090+64GBメモリでもキツイと聞いたので。。。 cohereでトライアルAPIが貰えるよ
自分はこれを使ってSillyTavernで遊んでる
月1000回だったかの回数制限はあるけどね 公式ページにも普通にChat UIあるからそれでもいいと思う >>894-896
ハギチャットは一昨日試したら落ちてた。。。
シリーターバンは入れたけどあまり使ってなかった
公式にもあったのね！サンガツ！ NovelHacja/vecters-v1
5/1の人のモデルかな？
今日やってるLOCAL AI HACKATHON #001で出したモデルらしい
メンバーがHFに出してたモデル見ると、Antler系とchatntqを使ってる
これもそうだったら、このスレの功績がまた一つ増えたことになるな 騒ぎになってたgpt2-chatbot、使えなくなってんね
みんな殺到しすぎたか まあ最近出てきてるMistralの日本語強いやつは皆LCAの影響受けてんじゃね
あれから一気に数出てくるようになったし
願わくばこのままどんどん良くなっていってほしいもんだ 面白そうだがLMstudioユーザーで知識も環境もないワイはgguf待ちやな…
Vecteus-v1はggufあるみたいだがVRAM 16GBじゃ乗らんわ
ハッカソンとやらは覗いてみるか >>901
ポッとHFに出てたからそうかと思っとったらやっぱそうだったんか
お疲れさんでした。良いモデルサンガツやで
以前貼ってたのはNSFW無しNinjaの出力かな？ >>901のモデル、yarnのコンテキスト拡張を使っとるんやね
128k対応とかオーバーキル過ぎる
マージレシピ的には、chatntqに各々の抽出vectorを足した感じか
当時はevolveも無かったし、重み調整が大変そうやな
ホントにお疲れ様やで
(これでLCAフォロワーの優れたモデルがまた一つ生まれたわけやな…) >>904
Antlerがマージされている開発版だったと思います >>906
開発版だったんか。リリース版は更に改良されていると。凄いなあ
差し障りなかったら尋ねたいんやけど、今後はどんなモデルを作るとかの予定あったりします？
mergekit-evolve使うとか、他のベースやパラメータのを作るとか
内緒なら、この質問はスルーしてください
改めて、お疲れ様でした。良いモデルをリリースしてくれてありがとう わいもStyle-Bert-VITS2で学習させたTTSモデルに喋ってもらいたいんだが誰かOobaの拡張機能書いてくれないかなー(ﾁﾗｯ >>901
サンガツ！試すのを楽しみにしてるよ
VecteusはNinjaをさらにマージしたモデルと理解していいのかな？ >>908
SillyTervanでも良いんだけどなー(ﾁﾗ それにしてもこの1ヶ月の進捗は劇的だったと思う
>>80が公開されたのが4月3日
それまでは70B以上のモデルで何とかまともな日本語が出せるかという世界だったのになあ
改めて開発者諸ニキに感謝と敬意を捧げるわ
この先の展開が楽しみでたまらない safetensorsはkoboldでも動くのかな？初心者でゴメン。。。 とりあえず>>901のモデルを大葉で試してるけど良い感じにチャット出来てる >>901
試してみた、小説の出力みたいなタスクは7Bとは思えない日本語能力だね
3月までの状況考えると進化の速度が凄いわ >>907
今日には間に合いませんでしたが、フランケンマージやEvo-mergeモデルも作成しています。
その他モデルのアップデートもすると思います。
Ninjaの強さの秘密はWizard2なのでMistralベース以外のモデルはおそらく作れないと思います。 >>901
チャットも多人数が登場しても破綻してないな >>909
そうですね
Ninjaと開発途中だったモデルも混ぜて性能を上げてるらしいです レス数が900を超えています。1000を超えると表示できなくなるよ。
