なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured スタンフォードでそんなことするんだね
マニングではないよね？
やったのは研究室の中国人だろ？ Llama3 Elyza Japaneseめっちゃテンポ良く会話してくれて気持ちいいんだけど、事務的で文章短めで創作が苦手なのが寂しい
ElyzaベースのVecteusめっちゃ欲しいわ >>276
企業レベルなら日本も負けてないんだけどね自動運転とか
自称AI技術者のレベルの差よ エロに強いNinjaと頭の良い何かを悪魔合体させる話に戻して良い？ >>283
戻して下さい
こういうIdがない人ってどうやってNGするんですかね OpenLLM Leaderboardでもアプデされてベンチ用データセットにオーバーフィットしてスコア盛るのが効かなくなったのかQwenが相対的にランク上がってるっぽいし (前がどうだったのか忘れたけど
Qwenとかめっちゃオープンにモデル公開してるけどあれAlibabaなんよな(?)
Modelscope(魔塔社区)とかいう中国版huggingfaceみたいなんも出てきたしAI周り全部中国が自前で揃えるのも遠くはなさそう
>>270
Llama3-V(スタンフォード)が実は中身Mini-CPM(精華大学ほか)でしたとかあったな >>273が釣りだとしたら
何かが盛大に釣れた気がしてなんか怖い流れだな 7BモデルはあんまりXMLとか出力させるのには向いてないんだろうか
出力がぶっ壊れる ああ、すまん
mistralベースの日本語7Bモデルの話
KUJIRAにXML出させようとしたんだけど、うまく行かんかった 内容的にコーディング特化のモデルの方がよいんじゃないかな >>291
でかいモデルとかllama-3とかだと流石に動くんだけど、日本語流暢な小型モデルでも同じことできないかなと思ってな
出力内容と一緒に出力の属性みたいなのをXMLで出力させてるんだけど、まあ凝ったことやろうとするとでかいor特化モデルじゃないと厳しいか いろいろ試行錯誤するのが楽しいんだし片っ端からいろいろモデル試してみるのがいいよ
本当に結果最優先なら無料のAIサービスの方が遙かにマシだけどローカルでやる遊びだしね モデルのフレームワークをllamacppからTransformersへ変換することとかできるんでしょうか？
Ninjaと日本語強いモデルを悪魔合体させるにはこれができないといけない？ cohereの新しいモデルがもうすぐ出るみたいやな
commandシリーズみたいやし楽しみや CohereはCommandっていう検索しづらい名前なんとかして欲しい command-r-ultra 400B
だったらどうしようｗ 7Bでもそこそこ遊べるのに少し上を求めると70Bだの100Bだの400Bだのインフレし過ぎよね パラメーター10倍でも体感性能は2倍もないかんじがする koboldcppにあるLoRAってどういう機能なんだろ
画像生成のLoRAと同じなら特定キャラクターの設定や口調、知りうる知識なんかを読み込ませて演じさせたり出来るんだろうか >>295
探したけど見つからんかったわ
ソース貼ってくれ Oumuamua-7b-RP_Q8_0.ggufを使うの難しいな
下手な機械翻訳みたいな文章ばっかりになる 検索エンジンに頼りきりだから検索汚染食らってる問題にはほんとさっぱりだな
だからといって学習元絞ると頭悪くなるんだし解決難しそう 軽くてもよさげな検閲なし知識豊富なモデルでました？ ボイスドラマみたいな一方的に話しかけて進めてくれる文章て書けるかな…？
それをSBV2とかに投げたら横になりながら聞けるんだけどな Kohya氏が会話生成試みてるみたい もちろん他にもやってる人いるだろうけど
キャラ毎にLLM建てて間で応答を仲介したらいけるのかな……
話題が発散しちゃうか……ターン制にしたり、隠れて話題を制御するメタなLLMも必要か…… エロと実務以外だとAIのプレイヤーとAIのGMでTRPGを破綻なく1ゲーム出来るぐらいの精度と環境が欲しいよね
逆に翻訳やプログラムだと現状でもまぁ >>306
mmnga氏が出してくれたぞ
今日は眠いから、明日試すわ 自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか…… ごめんこれbaseモデルの方は追加学習前の素でアホなモデルなんだな、リリースもうちょっとしっかり読むべきだった
instructモデルの方でやってみたら普通に賢かったわ…… MCTCアルゴリズムをシステムプロンプトに組み込んだbotが文章表現力まで上がってたので、そのままプロンプトを拝借して色々捗る
難点は3000トークンも使う 今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど gemma-2-27b-it
エロプロンプトも通るな
ウェブ検索とかプログラミングも出来るっぽいので万能エージェントとして使えそう
https://i.imgur.com/RSDFsHO.png
https://i.imgur.com/GmrPkHA.png >>317
これはこれは
VecteusV1から引っ越す日が来たのか…？
ああでもVRAMうう 幼女もののエロ小説とかも、出力の先頭固定してお断り防げばそれなりに書けるな koboldが対応したからチャットに使ってみたけどエロの言い回しが単調な印象
プロンプトが悪いのかな
317みたいにするにはどうすりゃいいんだろう 相変わらずビーカーでコーヒー飲んでそうな色味のSSは見てない。しかも自分作の勝手アプリだろ？有益な情報も産んでないんだからどっか別のスレに消えてくれよ。 >>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？ >>323
俺は好きやでこういうの
ちなみにQ8でVRAMどれくらい食ってるの？ AI開発者はアダルト機能に制限をつけることで
性産業のみを保護している！！ >>324
macの共有メモリなのでロード前後で差をとった概算で、コンテキストは8192 tokensで31GBくらいモデルが占有してる感じ
知識詰め込まれてると量子化の影響大きいかも、と思ってとりあえずQ8にしてるんだが、もうちょい下げても大丈夫かなとは思う 322のﾃﾃﾝはGPTスレでご覧の言動で嫌われて発狂して荒らしまくったり乱立スレ立ててた札付きの荒らしだよ
触らずNGリストにぶち込むのが吉
しょうもない自演擁護したり
勝手にﾜｯﾁｮｲ・ID無しスレ立てようとするのでそれだけ注意ね 俺もQ5Sでsillyのチャットしてみてるけど応答はめちゃ早いもののVRAM24G埋まりっぱなしだー
けどエロは淡白だな
なんかチャットなのにナレーションでさっさと済ませようとしてくる >>328
証明する方法はぱっとは思いつかんが、別人と同一視されるのは不快なのでやめてもらえないか？
まぁこのスレの総意として消えろと言われれば、それは仕方ないので従うが・・・ >>330
これは内緒の話なんだけど、実はお前は>>322ではなく>>323なのだ アンカーつけると面倒なんで外したのが勘違いの元だったかな
ともあれ、煽り口調の楽天ﾜｯﾁｮｲはその手のアレなんでよろしく >>328
>>332
>>333
うお、これは失礼
肩を持ってくれたようなのに申し訳なかったな kobold+尻タブで運用してるんだけど使ってるモデルで設定を変えないと表現の差を感じにくかったりする？ >>326
確かにそう言われればそうだなw
AIのトップ企業が「Webに公開した時点でフリーウェアやぞ(笑)」とかいってる一方でNSFW界隈が守られてる皮肉 CALM3 22Bが出てきたね
デカすぎて自分は試せないけど オンラインモデルでもclaude3やGPT4oみたいなLLMはほぼエロ規制ないけど、dalle3や動画生成aiはエロ規制キツいままだね
まあこいつらはエロ学習もしてないから規制というより無能なんだけど ちょっと上に出てるcohereの新しいモデルってやつ、流れちゃったけどソース知ってるやついる？
本当なら割と楽しみなんだが >>340
sandra kublikのxに書いてある
今後のcommandシリーズの展開とかも
他の企業と同じくモデルサイズの縮小と特化型を目指すみたいだから思ってたのと違う感じになりそうだなぁ >>341
これか、サンクス
https://x.com/itsSandraKublik/status/1807801960738791491
まあR/R+も”本来は”エンタープライズ向けのモデルだとは思うから、特化型といいつつなんだかんだで色々使える〜ってのを少し期待して待っておくことにしよう >>339
言うなら女体の理解度でしょ
エロとは違う >>343
例えば”スマタ”って指示すれば太ももを強調した絵を描くぞ
検閲されるだけでエロ系概念も内部には持ってて引き出すのが難しいだけ >>344
いや、公式がエロは学習から抜いてるって言ってたんだけど… >>351
たぶん、スマタの"マタ"に反応しただけだと思うよ… 擬音語とか擬態語を的確に使わせるのって難しいね
「ふわふわ」が適切な場面で「ゴツンゴツン」とか言い始めることがある >>353
あんまり気になったことないけど、どのモデルでも似たような傾向はあるん？ >>354
モデルによって違うと思う
GGUFばっかり使ってるから余計におかしいのかもしれない
今GPT4で試してみたら的確な擬音語使ってくれたわ shadowsをエロチャットで使ってみた
暴れ馬な感じがする
やっぱエロはVecteusV1の扱いやすさが際立つなあ Calm3期待してるわ
こういうときサクッと自分でGGUF変換できればいいけど未だにImatrix Quantizationのやり方わからん
トレーニングデータってWikiTextなるものを与えるらしいけどどっからダウンロードできんのか一生わからん
……とか書いてたら早速GGUF上がってたわありがたい(grapevine-AI/CALM3-22B-Chat-GGUF) 色々な方向性で作ってくれるのは業界発展にも良いことだと思うんです
しかし愛らしい応答の雰囲気はそのままに、エロ以外の話題にも耐えられるベクテウス1+的なものが欲しいかなあ
ちょっと前ならローカルの小型モデルで望むレベルは遥かに超えてるわけで贅沢なお願いではあるのだけどね。 >>361
試すのは明日以降になるけど「AI〇〇りすとっぽく使える」のはまさに求めてたものですよ >>361
ありがとうございます
EasyNovelAの更新を待って使いたいと思います Ninjaでも富士山答えられるのにElyzaが答えられないのってなんでなん？東大って・・・ >>363
EasyNovelAssistantにKagemusya-7B-v1を追加しといたで >>366
いつもありがとうございます
毎日使わせてもらっています
モデル作成の方もありがとうございます Kagemusyaさんエロに微妙では、、、
NSFW版を、、、、、、 silly tavernとSBV2で喋らせてる人、マージしたモデルちゃんと使えてる？
一覧に表示されるモデル名がマージ元のままになってて、実際喋らすとマージ前の声になっちゃうんだけど
でもTTS設定のavailable voicesのとこからいろはにほへと〜って喋る時はちゃんとマージ後の声になってる
何かしらバグってそう マージ元のモデルフォルダをSBV2から移動させてマージ後のモデルだけにしてみたらsillyでちゃんと使えた
でもやっぱりマージ元の名称で表示されてる
やっぱりこれが原因で不具合起きてるみたい 大体わかった．SillyTarvernとしては同名のvoiceNameは想定してないので，1つ目を選んだ扱いになる．
model_assets\マージモデル名\config.jsonのspk2idを変更すれば回避可能．
マージスクリプトの修正のPR出しとくわ． Oumuamua-7b-RP_Q8_0.ggufを使ってるんだけど
userを罵りながらのエッチとか女キャラに乱暴なエッチをさせようとすると文章がかなりおかしくなるな
攻めっ気の強い女キャラが上手く表現できないのかな Kagemusya試してみたけど、日本語バグってるよ >>372
対応ありがとうございます！
なるほど、確かにspk2idって箇所の名称はマージ元のままになってます
sillyはここを参照して一覧に表示させてるってことか >>375
speakerID(spk##ID)ってモデル側のconfig.jsonで書き換えられんかったっけ？ >>376
マージ後の名称に書き換えたら正しく反映されて解決したよ 最近流行ってるflorence-2っていうmicrosoftの画像からテキスト生成するモデルでなんちゃってマルチモーダルやってるけど、画像から小説生成する程度のタスクならそこそこ遊べるな お聞きしたいのですが、チャットモデル、小説生成モデル、RPモデル
どれに魅力を感じますか？
教えていただけると幸いです。
もしくは、あったらいいなと思うモデルがあったらそれもまた教えていただきたいです。 自分の代わりに検索してくれるモデルとかかな
ローカルLLMって時点でモデル自体の知識には限界があるから最初から検索して回答する前提のモデル ■ このスレッドは過去ログ倉庫に格納されています
