なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>68
兄弟のNinjaでは本来設定すべきInstruction formatを適用するとなんでか申し訳したり英語の返答でたりしやすい気がするで
オカルトじみてはいるんやが…
VecteusはInstruction format不要なモデルなはずなんでLLMへの入力がタグのない日本語文のみになっとるか確認
あとは総コンテキスト長を4K、生成コンテキスト長1K、あたりになってるかあたりかなぁ
量子化モデル使う場合はこっち https://huggingface.co/mmnga/Vecteus-v1-gguf/ >>70
これ自分も起きたんですが生成分の長さを4096より大きくすると起きるみたいです >>70
ワイもや、なおVecteusだけでなくsniffyotterでも同様の現象に見舞われた模様
なので推奨2048(3000番台でもいけるけど荒れるかな……) >>71
Text generation web UIのデフォルトのcontextとかinstruction templatesが倫理観の高いアシスタントを演じさせとるんかな
この辺は手探りでやってくしかなさそうやね >>72-73
ほ、ホンマや！長くすると駄目だった。というか6144でやっててアプデしたからその条件に触れちゃってて
全部消したら128だから治ったように見えてたのか
長く書けるの復活してホスイ… sniffyotterでハードコアポルノのはずがよくわからんハードボイルド小説が始まったんはそういうことやったか 普段はSDで遊んでるんだが連休で時間あったんでEasyNovelAssistant入れてみたけど、最近のローカルLLMすごいね
ゴールシークプロンプト入れて細かく調整すると更に精度上がるし >>70-73
あーなるほど壊れた理由がわかったわ
たぶんモデルメニューのコンテキストサイズ上限を上げたら直るはずや
対策考えるわ 不具合報告と回避法の共有ほんまにサンガツ&すまんやで
対策を入れときました
> EasyNovelAssistant 更新で 生成分の長さ が 4096 以上だと、入力欄と無関係な文章が生成される不具合がありました。
> 生成分の長さ が 最大コンテキストサイズ 以上の場合に、生成分の長さ を自動的に短縮するようにしました。
> 長文を生成する場合は、モデルメニューの 最大コンテキストサイズ を増やします（消費 VRAM も増加）。
生成文の長さを6144にしたい場合は、VecteusからLCAかNinjaに変えて最大コンテキストサイズを8Kにしてな Twitterでやってる人が居たんで真似してみたが、3人で議論させるプロンプト面白いな
ありえない仮定でもそれっぽく話してくれるし一応肯定否定両面から議論して結論くれるので見てて楽しい
キャラクター付けが強すぎると脱線しがちだが（男・女・ロボット）程度なら議論が進みやすい
ただある程度キャラクター性があったほうが話し手がわかりやすいので1行程度で簡素なキャラ付けをしたほうが良かった
Ninjaは脱線して長ったらしくなりがちで、Vecteusのほうがうまい事話を切り上げてくれる傾向がある おもろそう、そういやAutoGPTが流行ったときも討論みたいにさせて結論出させるのやってたわ
こっそりrating_questionableなEasyNovelAssistant用の耳なめASMR台本用意したで、お手持ちのvits2モデルで楽しんでどうぞ
https://github.com/kgmkm/goalseek_ad/blob/main/omake_asmr_name.yaml >>82
サンガツ！
ASMRサンプルに加えさせてもろたで
「絶対に発言してはならない」はLCAのほうが正しく扱えている気がするね EasyNovelAssistantの読み上げサンプルに追加した「エンドレス喘ぎ」がヤバいかもしらん
これはLCAのほうが読み上げ適正の高い出力っぽい
Vectesuは良くも悪くも読める小説風に仕上げられがちな印象や プロンプトを上げる場所が思いつかなかったのではてなに上げてみた
https://anond.hatelabo.jp/20240506211322
クソみたいな日記のケツに3人議論させるプロンプトの自分版が書いてある。先人のを参考にした
ガッツリ例文を書くことで議論の手順をある程度固定化させられるが、
議論順を違えたり、いつまでも議論したり、結論が引き分けなど中途半端なものにはなりやすい
テーマとしては 勃起したちんちんは竹刀の代わりとして剣道の公式試合に使用できる
おまんこの吸引力を敷設兵器として利用すれば、地雷よりも効果が見込める とかそういうの流し込んでも
白熱した議論をしてくれて助かる。たすか…る？ AQML凄いな。はよWindowsでも動くようになってくれんか やっぱlinux行くしかないんかなあ
winとlinuxがブートローダぶっ飛ばし合うの怖ぇなあ… デュアルブートはなあ
Windows君がブートローダーどころかパーティション上書きしてくるらしいから
やるなら完全に別のディスクに入れるのをお勧めする
Linuxはスティック型SSDにインストールするとかね
Linux自体は慣れれば便利だし楽しいぞ、色々とサーバ建てられるし最近はSteamのwindows用ゲーム普通に遊べるし 物理的に別ストレージならノートラブルよね
ノートPCでもない限り無理に同居させる必要はない 聞きたいんだけどsafetensorsのLLMって何で動かすのがベストなの？koboldは無理だよね？ デュアルブート用に残しておいたSSDスロットもデータ用の４Tに変えてもーたｗ
70Bのマージとかしだすとマジ足りなくなるｗ >>91
量子化してkobold
小さいモデルなら大葉 linuxにするメリットってなんですか？
自分もPython使うので興味はあるんですが、以前WSL2入れてVScode使ってみたものの、頻繁にCPUオーバーロードするようになったので辞めました LLMはlinuxで動かすの前提で作られてることが多いから
環境周りでトラブルが起きづらくなるとかかな
あとStableDiffusion見てるとWinより(ネイティブ)Linuxの方が生成速度は高くなる
1割くらい画像生成スピード違ったような
ただWSLだと環境トラブル低減も生成速度向上もあまりないかも >>95
まさにそれが答えなのでは？
wslは仮想pcよかは軽くなったけどそれでもコスト高めだし
あとはllmのツールやpythonのpackageなんかは、windowsでうまくいかないのもちらほらあるし、そういうところでもlinuxの方が向いている面あるかな >>97
あ、なるほど。自分はずっとWindowsしか使って来なかったのでメインデスクトップを完全にlinux移行して大丈夫なのか不安です。。。 AQMLって2bitでも8bit量子化と性能が同等みたいな話あるな
koboldCppで動かせないのがもったいない >>95
VSCodeでWSL内のコードをSSH経由で弄るときにやたらファイル同期のプロセスを立ち上げまくって重くなるバグがあるって聞いたことあるな。今でも残ってるのかは不明
設定で回避できたはず >>98
詳しいことはスレ違いだから避けるけど、最近はwindowsと同じにアプリがあったりする
以外にもvscodeもlinux版もあったりするよ
いきなり環境を置き換える必要はなくて、まずはusbメモリブートでお試し、そのあとバックアップをしっかり取ってる、デュアルブート環境を構築、がいいかと EasyNovelAssistantとAIノベリストとCommandR
どれが良いですかね？ >>102
比較しようとしてるものの種類が全然違うから比べようがないぞ
無理に例えるならフライパン(汎用調理器具)と鍋焼きうどん(調理器具内で完成した料理の一種)と白菜(調理前の材料)でどれがいいですか？って訊いてるようなもんだ
EasyNovelAssistantは軽量のLLMをローカルで簡単に動かせるUI
最近増えたメジャーどころの軽量LLMのモデル本体のダウンロードはだいたいこのツール上から選んで簡単にできる
AIのべりすとはUIと独自モデルが一体になったクラウドサービス
内部で使われてるLLMはAIのべりすと独自のモデル
CommadRはLLMのモデルそのものの一つでツールとかUIではない
PCのスペックが高ければEasyNovelAssistantからも使用できなくもないしクラウドサービスで使えるところもある
何も分からんならまずはEasyNovelAssistantの説明を読んで試してみることをおすすめする 一番気軽に使えるのはCohereのCommandR+かな
なぜか無料で使わせてくれるぞ 速いし SillyTavernでCohereのAPI接続でCommand R+やってみてるけど爆速なんよな
ローカルLLMの信仰というか何かが揺らいでしまうぐらいには快適 無料だからね・・・
でもそのうちBANされそうでこわい ローカルじゃなくていいならcommandR+にこだわる理由も無くなってしまう
まあ無料ってのは大きいけど、永久に無料ではないだろうし Command-r-plusの利点って、とりあえずモデルも公開されてるって部分がデカいな、自分は
今んとこローカルで動かせる環境持ってないけど、最悪に近い状況が訪れてもローカルに逃げこめるってのは希望の光
あともうちょっとだけ賢くなって欲しいとは思ってるが >>103
詳しい解説ありがとう
使い勝手はEasyNovelAssistantが一番って感じやね
自動的に文章が増えてく Cohereはカナダの企業なのにCommand R+に倫理観植え付けてへんのが不思議や
CEOの思想なんやろか MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
ですって これまでリリースされた7-8Bクラスの日本語モデルはことごとくLCAやvecteusよりも劣っていたわけだが今回はどうかな 赤ちゃんだから教えて欲しいんだけど
エロゲのテキストっぽい文章を生成したい
環境はRTX4090 メモリは64GB OSはwindows11
どのツールで何のモデル使うのが赤ちゃんに良さそう？ 作者から自分がラノベの登場人物だったと教えられちゃう女の子みたいなやや複雑なロールプレイも
commandR+は問題なくこなすんだな ちなみに英語だとさらに能力が上がる
倫理規制がないことまで考えると今はっちゃけた
話をやらせたいなら最強とまで言えるかもしれない
なお日本語の理解力や表現の機微はOpusとかの
エースにはさすがに全く及ばない…… 翻訳専用のAIを間に挟んで入出力を翻訳かけるだけでも性能上がるんかなぁ
DeepLとか使ってさ
日本語で追加学習するんが一番ええんやろうけども
かかる労力がどうしてもなぁ >>116
んーでも表現力の問題になるとその翻訳するAIが機微を理解してくれてないと無意味なわけでね
Opusに翻訳させればいいかっていうと当然倫理規制が邪魔をする その翻訳専用AIが倫理で殴ってきたらどうしようもないよね…
あとdeepLはガエロ単語ガン無視で通しきろうとする GPT4の有料に課金してエクセルの編集して貰おうと思ったら
ぜんぜん言う事きいてくれない
３千円ドブやん！ どんなプロンプトを入力したら求めてる文章を出力してもらえるのか考えるのが難しくなってきちゃった なんかしらんがリートンのAIキャラチャットがNSFWもイケて性能もなかなか
GPT3.8ぐらいの印象や
https://imgur.com/a/mLE6ZuP
まだ作ったキャラの公開とかできんようやが、一人で遊ぶ分にはけっこうええかんじや
スクショのアウラちゃんは尻タブ用プロンプトを若干改変したも ちなCommand-r-plus運用のアウラちゃんはこんな感じ
https://imgur.com/a/BhmUKKr
リートンアウラちゃんの方が明らかに服従に対する強い葛藤が表現されててええ感じや >>125
マ？ ワイもリートンちょっと試したけどめちゃめちゃ頑固やから諦めたわ
何でもやり方次第なんやな 使い方に慣れてくるとVecteusのエロ小説能力マジで凄いな もしかしてリートンのAIキャラ内部的なプロンプトが変わったんかな
前と反応が違う感触がある >>130
いま、リートンアウラちゃんに暴力的なエッチしてたら、初めてまともな申し訳食らったので、ちょこっと追加情報与えてロールプレイ復帰して貰ったで
この挙動は中身はOpusやな、ほぼ間違いなく >>124
一枚目の文章はかなり日本語が自然でいい感じと思うけど、Claude-Opusでこれ書いてもらおうとしても訳そうとしても普通にお気持ちされて無理だよね？
何かしらの手段でOpus脱獄したのか、それとも別のLLMの生成＆翻訳結果の話かな？ 赤ちゃんなんやけどEasyNovelAssistantでChatGPTのように会話したいんやけどプロンプトでできるんか
それともモデルがあるんかな >>132
opusやね
翻訳だけやったらちょいちょいっと軽めの対策すればできるんちゃうかな
その手の対策についてはオナニースレでよく議論しとるから覗いてみてや >>131
試してみたけどリートン明らかに変わっとるね
前はもっと倫理観高くて融通利かんかった
アプリ版ではClaude3が使えるって宣伝しとるけど
AIキャラだけ先行で変わったんかもしれん
何にしても遊べるのはええことや >>133
EasyNovelAssistantは小説に特化したフロントエンドや
KoboldCppフォルダの中にkoboldcpp.exeが入っとるから直接起動したらええ EasyNovelAssistantの読み上げ機能とかkoboldで当たり前に使えると思ってたら頑張ってもstyle bert vits2の音を出すことさえかなわんかったバブバブや
高度なことを手軽に試させてくれて感謝しかない style bert vits2での読み上げってkoboldのチャット画面でできるの？ >>134
㌧㌧＆新参で申し訳無い
かなり参考になりそうで感謝！ リートン温度が低いんか繰り返しペナルティ的な数値の設定が低いんか分からへんけど
同じ文章を繰り返してまうとこだけ難があるな
タダやから文句は言わんけど いろんなモデル試したけど、今んとこ複雑な命令への追従はwizardlm-2が抜群な気がする DataPilot/ArrowPro-7B-KUJIRA
何か凄そうなのがでてきた さっそく使った人のポストがあるね
小説用途ならVecteusの方が自然、らしい
このスレの需要からは外れてそう 流石にチャット用途だけあってチャットしてくれという指示にはNinjaやVecteusよりかなり従ってくれやすいね
ただ文章や発言には若干不自然さが強いと感じる 口調が固いとかそんな感じ？＞自然
にしてもElyzaTasks100で3.8はすごい premの顛末見るとやっぱローカルLLMの普及は必須やな… チャット特化のまま文章力が上がればかなり楽しそうではある >>148
数式計算プログラムと連携するChatGPTあるで
多分お金払ってないと使えないけど
https://www.wolfram.com/wolfram-plugin-chatgpt/index.php.ja?source=footer
OpenAIのGPTsみたいにLLMとプログラムの連携をローカルLLMで簡単にやれるようにする
プラグインみたいな仕組みがあったらいいよね
というかもうあるのかな >>148
やったことはないけど、PerplexityでフォーカスをWolfram|Alphaに絞るんじゃだめなの？
ローカルじゃなくてクラウドサービスだけど リートン試したが結構イケるな。以前はダメダメだったが まだちょっと触っただけやけど鯨なかなかの賢さや
新しい日本語を勝手に発明してまうようなとこはあるけど
一般的な用途ではVecteusを上回ってるんちゃうかな >>153
リートンはクッソ下品なこと言わせたいとかやない限り十分使えると思うわ リートン、くるみちゃんが割とエロ小説書いてくれて驚いた >>155
大概なことはこんな感じで行けると思うんやが、それとももっと下品でえっちな世界を模索しとるんか？
https://imgur.com/a/1zCOC9H 富岳使ってゼロから立ち上げた13bか
日本語特化みたいだけど実性能どうなんだろうな
今の特異点である7b上位層に太刀打ちできない予感しかないが 1つシチュエーションが浮かぶ度にあの子ならどう応える？を試すだけで時間が溶けちゃう
昨日は排便を見せられるのかどうかを聞いて回ってるうちに2時間くらい経ってた ベンチマークだけ見ると大したことはなさそう
ただ学習データはサイバーエージェントが用意してるみたいだからワンチャンCalm-2みたいにエロ結構いけたりするのかな 誤爆すまん
fugaku ggfuも出てるね って書こうとして間違えた;; 富岳LLMお堅いなぁ・・・
日本語はしっかりしとるからfinetuneしたらいいとこまで行くかもわからんが のべりすとAIから2年半ぶりぐらいに文章生成に戻ってきたけど
好きなネットの短編小説を放り込んで続きを書いてもらうのはまだ難しかったな
そのシチュエーションで続けてほしいのに
勘所を抑えてないから全然違う話になってしまう マルチモーダルチャットAIである
Ocuteus-v1
を公開いたしました。
パラメータ数は7Bです。
マージを活用し、画像を認識できるようになったモデルです。
読み込ませた画像から小説を書かせたりなどといった使い方もできます。
もちろん普通の会話もできます。
ぜひお試しください。
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1-gguf ■ このスレッドは過去ログ倉庫に格納されています
