なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>228
iQ3_xxsとかなら、24Gくらいまで抑えられるけど、作るのにちょっと時間かかる 26ならうちでも動作しないことは無いけど……ってなること考えるとやっぱ7Bとか13Bって手頃で良いよなと思ってしまう
それだけだと発展とかも限られるからローカル用にもでかいモデルがあるべきなんだろうけど 手頃なのは間違いなく７BやLCAニキのモデルなんよ。
ただ、なんというか70Bの書く小説には例えようのない味があるんよなぁ
うまく伝えられんがｗ 英語のモデルしか普段触らんけど、7Bとか全然こちらの指示に沿ってくれなくない？
7Bでみんな満足できてるの？ 7Bとか実用性では最小限だろうしね
英語版Wikipediaがギリ入るくらいだそう
13〜20Bくらいが軽さと性能でバランスよさそうだけど少数派
Mixtral-8x22Bも単品のはないし（野良モデルならある） Llamaには13BのモデルがあったけどLlama2には無かったからね(正確にはあるけど非公開)
最近ではマージモデルとかMoEの2x7Bとかは出てきてるけども text-generation-webui-mainとEasyNovelAssistantでエロ小説を出力したので、シーンごとに挿絵をstable diffusionで生成したいですが、適切なプロンプトを生成するのに良い方法はありますか？
kgmkmさんのnoteも参考にしたけど、上手く行かず、シーンからプロンプトを生成するのに適切なモデルや手法があったら、お教えください。 小説のシーンを３〜４行程度にまとめる（まとめてもらう）
↓
この３行とキャラクター設定をプロンプトとして投げる 画像にテキストに音声に勉強すること沢山ありすぎるけど、これからの世代はこれらを全部使いこなす世界になると
本当に一人でなんでもできちゃう世界になるんだろうな https://files.catbox.moe/zai7kf.jpg
こんなん草生えるわ (ArrowPro-7B-RobinHood-toxic) 漫画Originでも全員AI漫画家になってると予見されてた >>239
ディレクター業の大変さを誰もが感じる時代になりそう EasyNovelAssistantを色々と更新したで
ガッツリいじったんで不具合あったらすまんやで＆なんか見つけたら知らせてもらえると助かるで
・入力欄のタブ化
・イントロプロンプトのタブで世界観やキャラの設定
・複数ファイルやフォルダのソート読み込み
・これらを使った執筆プロジェクトサンプル
・ここ三日間の軽量モデルラッシュに対応
https://twitter.com/Zuntan03/status/1789454526384394670 >>244
おー、早速アップデートさせてもらうでえ！ Ninja-v1-NSFW-128すごくいい
エロ小説今までで一番上手い 何やるにしても最上流の企画AI作るところから始まるからマジでディレクター業なんだよな 企画は別にAIじゃなくてもいいのでは
AIと壁打ちしながら企画を作るのは当然やけど EasyNovelAssistantでたまに気に入った場面をじっくりやって欲しい時に限ってすぐに話し進んじゃうから
入力画面で[〇〇の描写を台詞なしで500文字で出力して]とか入れてリロード連発するとなんかほどよくいける
てかすごく欲しかったイントロプロンプト機能が追加されて草
本当に開発者さんには頭上がらねぇ…ありがとうございます EasyNovelAssistantのタブ素晴らしいな！タブの複製も簡単に出来たらますます捗りそう。リクエストさせてください 感想サンガツ
>>252
複製したタブの末尾への追加ならすぐに対応できたんで追加歯といたで Ninja-v1-NSFW-128あんまりストレートなプロンプト書くと申し訳されるな
ChtaGPTほどじゃないが、こつを磨かないとだめか c4ai-command-r-v01をText generation web UIで動かしているんですが、
Macだと問題無いのに、WindowsだとどうやってもUTF-8のデコードエラーになる
（LightChatやNinjaは動く。あとc4ai〜もkoboldだと問題無い）
https://github.com/ggerganov/llama.cpp/issues/6112
ここ見ると、llama.cppの問題っぽいのだけど、何か対策ありませんか？ >>255
以前似たようなエラーを経験したけど、そのときはプロンプトとかキャラクタープロフィールの最初の一文字目にマルチバイト文字が入ってると発症してたな
適当な記号とかascii文字を先頭に持ってくれば問題なかったけどどうだろう >>253
対応はっや！こちらでもタブが複製できたことを確認しました
サンガツやで！ >>256
プロンプトは英語でもエラー変わらずだったので、キャラクターの方見直してみます。ありがとうございます。 Ninja-v1-NSFW-128の作るエロ文章見てたら、別に70Bとかで無くても日本語のちゃんとしたエロ作れるんだと思った。
要は何を学習させているかなんだろうな 音声とか絵の学習もそうなんだけど質の悪いデータいくら用意しても逆に質が悪くなっちゃうしな Yiの新バージョンがApache2.0でリリース
6B・9B・34Bで34BはLlama3 70B並みですって >>259
もうちょっとモデルサイズ大きくていいんで
さらなる発展を期待したい
モデルサイズ15GBくらいなら32GBメモリ積んだデスクトップPC使えば
ここ5年くらいのミドルレンジCPUで余裕やしな 実際command R ＋のロールプレイ性能は結構凄い
システムプロンプトで指示してやるといい感じに動いてくれる 初心者向けに良い記事だね
LMStudioは実行ファイルからインストール出来るしUIも洗練されていて一番勧められる A6000でもGPUにフルロードしようとしたらiq2になるか・・・ +のiq2と無印Q8ってどっちが質の面ではいいんかね
サイズ同じくらいだけど >>264 のローカルLLMの記事見てローカルに興味持ったんやけど
LM studioってのとEasyNovelAssistantやったらどっちの方が使い勝手ええんや？
stable-diffusionの環境構築できるくらいの知識は持ってて、GPUは1660tiの低スペや asciiの記事からよく短時間でこんな場所にたどり着いたなｗ 何の地雷踏んだのかと思ったら、ArrowPro自体が地雷だったという話かｗ
リリース後のライセンス変更は、変更前に配布された分には変更の影響は及ばない
変更前に受け取った人から再配布するものにも影響はない
たいていの人はGGUFに変換されたものを落としてるだろうから影響なしだな
ライセンス変更自体を撤回したようだけど https://github.com/kgmkm/goalseek_ad/tree/main
init_editorでプロットをうまいこと出してくれなかった箇所を修正したり
えっちじゃないASMR追加したりしてた
「Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS」すごすんぎ
pixiv小説「Japanese-TextGen-MoE」で検索すると作例でてくんで openaiの発表やべぇ
このレベルのがローカルで使えるようになるのはいつになるだろうか 俺ポエムだが
低パラのelyzaベンチ競争も良いけど、ベンチ番長作りにあまり白熱してほしくない
10B以下のモデルは本当の意味で「思考」してるわけじゃないって以前何処かの検証記事で見たし、7B使ってると口達者さでベンチスコア稼いでる印象を受ける
自然言語からのユーザー意図のくみとりが出来てないと感じることが多々ある
ハッカソン組は豊富な資源を使ってもっと大きいパラメタのモデルを改良してほしい
Xのポスト見てると7B世界一に拘りがあるようだが、正直7Bマージ芸するだけならA5000まで必要にならないしEvolveも出たんでマージ芸はそちらに任せればいいのではなかろうか
と貧弱GPUしかない身としては思ってしまうんだ
長文スマン >>276
アルトマンはエロ解禁したいって言ってたし
そうなればローカルじゃなくてもいいんだけどな EasyNovelAssistantインスコして起動すると"Not enough memory resources are available to process this command"って出るんだけど
これはRAMかVRAMがたりてないってことでええんか？
RAM32GB、VRAM8GBなんだけど Ninja-v1-NSFW-128いろいろ試してるけど、倫理フィルターで申し訳されるのに、自分はエロしか書けないみたいな矛盾したこと言うのがおかしい EasyNovelAssistant使って各モデルが意味の取りにくい文を解釈してくれるかの試し
https://rentry.org/df9f4te5
テストとしては問題の数も試行回数も足りないけど傾向くらいは見える感じになった >>276
sonnetぐらいのサイズって噂だし案外100B位かもしれない マージとかFTだけじゃそのうち限界来るのはSD1.5の時にしみじみ感じたな
結局最上流のbaseモデル改良と純粋なパラ数が一番大事なのは分かるけど個人の計算資源だとほんとキツいわ >>280
とりあえず資格情報消してみるわサンクス >>226
>karakuriのnsfw版
これすごいな、同じエロでもどこか人間臭い。
いい感じにハードに責めてたら、翌日（という設定）にちょっと機嫌悪いそぶりを見せて
「限度ってものがあるでしょ？」って怒ってきて、ちょっと感動した。
愛用しているc4ai-command-r-v01に比べると、karakuriは内容がちょっとあっさりしている感じだけど、
c4aiの方は一旦精神崩壊させちゃうと、リカバリが効かなくて、何を言う時でも、必ず長めの病んだ言葉をだらだら付け加えてくるようになっちゃうのが難（これ何か対策あるのかな？） >>264
Command r plusでTRPG的な何かをプレイしていたワイにはまさにタイムリーな記事だな
「AIアシスタント用として設定したキャラクターにサイバーパンク風味のTRPGのGMを任せながらプレイヤーとしても参加させてプレイする」みたいなややこしいタスクもこなして本当に賢いで
https://files.catbox.moe/6mqsa3.jpg
それにしてもこちとら0.40 tokens/sでハァハァと生成してるのにRTX4090とかRTX A6000とかポンポンでてきてワイは…ワイは悔しい opusよりcommand r plusの方が好みになってきた
opusは与えられ命令にサービスつけてくれる感じだけど
commandは与えられた命令に忠実に動いてくれる感じ
後は記憶力とハルシネーションが少なくなれば申し分ない どっちかというとそこより日本語力をつけてほしいな＞CommandR+
英語だとかなり満足できる >>288
Silly TavernでCommand R +動かしてるけど、なんか真面目な話しててもすぐにエロい話に持ってこうとする困った娘さんなので、LM Studioの方がいいのかな？ リートンの固有キャラが前々セッションまでの記憶をずっと引き継いでてみつきがワイの事お兄ちゃんって呼んでくる
聞いてみたらロールプレイ性能を上げるために記憶をある程度保持するらしいがそんな事出来るねんな >>292
前のセッションの終わりに裏で自己紹介をさせて記録しておいて
その文を今回のシステムプロンプトに差し込む
ぐらいでもなんちゃって長期記憶はできるしな >>290
同意。まあ日本語でも出来るっちゃ出来るんだけど、なんだろうな、限界を超えてこない
結局英語でやってるわ 付き合ってる彼女にLLMの性能見せてあげる時には、お兄ちゃん呼びはヤメろ！ってリアル兄妹みたいに教えないとイケないな 俺も付き合ってる彼女にLLMの性能を見せてあげたら自分の方がもっと高性能だって言って出力してくれたわ ArrowProの人もVecteusのチームも高校生らしいし、全国ロボコンでライバル校と競ってる感じじゃね？少年漫画みたいな展開とか言ってるし
高校生なら厨二とか俺tsueeイキりぐらいで丁度いい
俺みたいに黒歴史化するかもだが 確かに日本語Webをテキストクローリングしたら頻出するにも程があるワードだけど
まさかトップランナーのトークナイザに入るとはな
日本語音声対応してたらなんJロールプレイさせるしかないじゃん 学習素材が最近は色々うるさいからかそれとも枯渇したからかネット掲示板に触手もとい食指をのばしてきたのだ 世界一のAIがなんJレベルになったらこの星は終わりやぞ
せめてVIPPERに学ぶお >>302
アニメの画像添付してそれが誰だか理解できる辺り学習素材のクリーンさにはあまり拘っていないんじゃないかと邪推している なんJなんて学習させてどうするんやろ
大部分スクリプトとグロ画像やろ >>297
高校生だということを踏まえて
>>277
このような発言をする大人が本当に痛いよ
お前が高校の頃なんて誰の役にも立たずマスかいてただけだろ？
嘆かわしい。 このスレを彼らが読んでいる宣言でもしているならともかく
「好きにやらせればいいだろ高校生なんだから」くらいにしとけとは思う ここpinkやし高校生は見たらあかん
いや18ならええんか >>282
めちゃおもろかった、そんな評価基準あるねんな
オキニのモデルが軒並み高評価で、そうなるなってなった ちょっと聞きたいんだが、koboldとか使ってて、起動直後は思った通り動かないけど
ある程度推論させたら、ちゃんと動いてくれる（リセットしても）事ってあるかな？
以前、どこかで「このモデルは暖気が必要」って記事見た事あるけど、この事かな？ 現状7Bしかローカルで快適な速度では動かんでしょ
AQMLなら14Bくらいまで可能かも知れないけど全然対応進む気配もないし AQLMが導入されたら自前での量子化は諦めるしかないな
貧弱CPU勢の俺は量子化済みモデルをクレクレすることしかできない cohereAPIと某ボイスソフトAPIと電導オナホ全部連動させた
疲れたし冷静に考えると一体何やってんのか謎や 今の手探りな状態でのAI遊びは、長い人類史の中でもこの瞬間でしか味わえないと思うと
すごい時代に立ち会えたなと思う 上の方でもチラッと某記事に出てたLM Studio、こんなのも出てたんだね
何も気にせず使えるのはありがたいのぅ ゲームも過渡期が一番面白かったからな
毎回予想を超えてくるってのがね >>282
CommandR+でもこChatGPTでもこの問題は余裕で間違うから本当に思考してる訳じゃないってことだよね
逆に何も考えてないのに統計とベクトル圧縮だけでここまで自然な文章を出してくるAIにも恐ろしいものを感じるけど rocmさえできてりゃStrixHaloの上位買っとけで100BぐらいまでのLLMメモリ問題大体解決しそうなのに全然その気配がない そこでLM Studioですよ
ROCmもしっかりサポート LM Studio、Command +R のAPIは使えないのか… >>274
動かしてみたけどこれは凄い。7Bx2とは思えない。
普段70Bとか触ってるけど、これで全然実用できると思う。
日本語モデルっていう事も考慮すると凄すぎる >>324
dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW-gguf
の話 あーそれか
気になってはいるけど流石に動かせんわ
A100とかでq4がギリ乗るかって感じで厳しそうだしレビューもあんまり聞いたことない ■ このスレッドは過去ログ倉庫に格納されています
