なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>98
詳しいことはスレ違いだから避けるけど、最近はwindowsと同じにアプリがあったりする
以外にもvscodeもlinux版もあったりするよ
いきなり環境を置き換える必要はなくて、まずはusbメモリブートでお試し、そのあとバックアップをしっかり取ってる、デュアルブート環境を構築、がいいかと EasyNovelAssistantとAIノベリストとCommandR
どれが良いですかね？ >>102
比較しようとしてるものの種類が全然違うから比べようがないぞ
無理に例えるならフライパン(汎用調理器具)と鍋焼きうどん(調理器具内で完成した料理の一種)と白菜(調理前の材料)でどれがいいですか？って訊いてるようなもんだ
EasyNovelAssistantは軽量のLLMをローカルで簡単に動かせるUI
最近増えたメジャーどころの軽量LLMのモデル本体のダウンロードはだいたいこのツール上から選んで簡単にできる
AIのべりすとはUIと独自モデルが一体になったクラウドサービス
内部で使われてるLLMはAIのべりすと独自のモデル
CommadRはLLMのモデルそのものの一つでツールとかUIではない
PCのスペックが高ければEasyNovelAssistantからも使用できなくもないしクラウドサービスで使えるところもある
何も分からんならまずはEasyNovelAssistantの説明を読んで試してみることをおすすめする 一番気軽に使えるのはCohereのCommandR+かな
なぜか無料で使わせてくれるぞ 速いし SillyTavernでCohereのAPI接続でCommand R+やってみてるけど爆速なんよな
ローカルLLMの信仰というか何かが揺らいでしまうぐらいには快適 無料だからね・・・
でもそのうちBANされそうでこわい ローカルじゃなくていいならcommandR+にこだわる理由も無くなってしまう
まあ無料ってのは大きいけど、永久に無料ではないだろうし Command-r-plusの利点って、とりあえずモデルも公開されてるって部分がデカいな、自分は
今んとこローカルで動かせる環境持ってないけど、最悪に近い状況が訪れてもローカルに逃げこめるってのは希望の光
あともうちょっとだけ賢くなって欲しいとは思ってるが >>103
詳しい解説ありがとう
使い勝手はEasyNovelAssistantが一番って感じやね
自動的に文章が増えてく Cohereはカナダの企業なのにCommand R+に倫理観植え付けてへんのが不思議や
CEOの思想なんやろか MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
ですって これまでリリースされた7-8Bクラスの日本語モデルはことごとくLCAやvecteusよりも劣っていたわけだが今回はどうかな 赤ちゃんだから教えて欲しいんだけど
エロゲのテキストっぽい文章を生成したい
環境はRTX4090 メモリは64GB OSはwindows11
どのツールで何のモデル使うのが赤ちゃんに良さそう？ 作者から自分がラノベの登場人物だったと教えられちゃう女の子みたいなやや複雑なロールプレイも
commandR+は問題なくこなすんだな ちなみに英語だとさらに能力が上がる
倫理規制がないことまで考えると今はっちゃけた
話をやらせたいなら最強とまで言えるかもしれない
なお日本語の理解力や表現の機微はOpusとかの
エースにはさすがに全く及ばない…… 翻訳専用のAIを間に挟んで入出力を翻訳かけるだけでも性能上がるんかなぁ
DeepLとか使ってさ
日本語で追加学習するんが一番ええんやろうけども
かかる労力がどうしてもなぁ >>116
んーでも表現力の問題になるとその翻訳するAIが機微を理解してくれてないと無意味なわけでね
Opusに翻訳させればいいかっていうと当然倫理規制が邪魔をする その翻訳専用AIが倫理で殴ってきたらどうしようもないよね…
あとdeepLはガエロ単語ガン無視で通しきろうとする GPT4の有料に課金してエクセルの編集して貰おうと思ったら
ぜんぜん言う事きいてくれない
３千円ドブやん！ どんなプロンプトを入力したら求めてる文章を出力してもらえるのか考えるのが難しくなってきちゃった なんかしらんがリートンのAIキャラチャットがNSFWもイケて性能もなかなか
GPT3.8ぐらいの印象や
https://imgur.com/a/mLE6ZuP
まだ作ったキャラの公開とかできんようやが、一人で遊ぶ分にはけっこうええかんじや
スクショのアウラちゃんは尻タブ用プロンプトを若干改変したも ちなCommand-r-plus運用のアウラちゃんはこんな感じ
https://imgur.com/a/BhmUKKr
リートンアウラちゃんの方が明らかに服従に対する強い葛藤が表現されててええ感じや >>125
マ？ ワイもリートンちょっと試したけどめちゃめちゃ頑固やから諦めたわ
何でもやり方次第なんやな 使い方に慣れてくるとVecteusのエロ小説能力マジで凄いな もしかしてリートンのAIキャラ内部的なプロンプトが変わったんかな
前と反応が違う感触がある >>130
いま、リートンアウラちゃんに暴力的なエッチしてたら、初めてまともな申し訳食らったので、ちょこっと追加情報与えてロールプレイ復帰して貰ったで
この挙動は中身はOpusやな、ほぼ間違いなく >>124
一枚目の文章はかなり日本語が自然でいい感じと思うけど、Claude-Opusでこれ書いてもらおうとしても訳そうとしても普通にお気持ちされて無理だよね？
何かしらの手段でOpus脱獄したのか、それとも別のLLMの生成＆翻訳結果の話かな？ 赤ちゃんなんやけどEasyNovelAssistantでChatGPTのように会話したいんやけどプロンプトでできるんか
それともモデルがあるんかな >>132
opusやね
翻訳だけやったらちょいちょいっと軽めの対策すればできるんちゃうかな
その手の対策についてはオナニースレでよく議論しとるから覗いてみてや >>131
試してみたけどリートン明らかに変わっとるね
前はもっと倫理観高くて融通利かんかった
アプリ版ではClaude3が使えるって宣伝しとるけど
AIキャラだけ先行で変わったんかもしれん
何にしても遊べるのはええことや >>133
EasyNovelAssistantは小説に特化したフロントエンドや
KoboldCppフォルダの中にkoboldcpp.exeが入っとるから直接起動したらええ EasyNovelAssistantの読み上げ機能とかkoboldで当たり前に使えると思ってたら頑張ってもstyle bert vits2の音を出すことさえかなわんかったバブバブや
高度なことを手軽に試させてくれて感謝しかない style bert vits2での読み上げってkoboldのチャット画面でできるの？ >>134
㌧㌧＆新参で申し訳無い
かなり参考になりそうで感謝！ リートン温度が低いんか繰り返しペナルティ的な数値の設定が低いんか分からへんけど
同じ文章を繰り返してまうとこだけ難があるな
タダやから文句は言わんけど いろんなモデル試したけど、今んとこ複雑な命令への追従はwizardlm-2が抜群な気がする DataPilot/ArrowPro-7B-KUJIRA
何か凄そうなのがでてきた さっそく使った人のポストがあるね
小説用途ならVecteusの方が自然、らしい
このスレの需要からは外れてそう 流石にチャット用途だけあってチャットしてくれという指示にはNinjaやVecteusよりかなり従ってくれやすいね
ただ文章や発言には若干不自然さが強いと感じる 口調が固いとかそんな感じ？＞自然
にしてもElyzaTasks100で3.8はすごい premの顛末見るとやっぱローカルLLMの普及は必須やな… チャット特化のまま文章力が上がればかなり楽しそうではある >>148
数式計算プログラムと連携するChatGPTあるで
多分お金払ってないと使えないけど
https://www.wolfram.com/wolfram-plugin-chatgpt/index.php.ja?source=footer
OpenAIのGPTsみたいにLLMとプログラムの連携をローカルLLMで簡単にやれるようにする
プラグインみたいな仕組みがあったらいいよね
というかもうあるのかな >>148
やったことはないけど、PerplexityでフォーカスをWolfram|Alphaに絞るんじゃだめなの？
ローカルじゃなくてクラウドサービスだけど リートン試したが結構イケるな。以前はダメダメだったが まだちょっと触っただけやけど鯨なかなかの賢さや
新しい日本語を勝手に発明してまうようなとこはあるけど
一般的な用途ではVecteusを上回ってるんちゃうかな >>153
リートンはクッソ下品なこと言わせたいとかやない限り十分使えると思うわ リートン、くるみちゃんが割とエロ小説書いてくれて驚いた >>155
大概なことはこんな感じで行けると思うんやが、それとももっと下品でえっちな世界を模索しとるんか？
https://imgur.com/a/1zCOC9H 富岳使ってゼロから立ち上げた13bか
日本語特化みたいだけど実性能どうなんだろうな
今の特異点である7b上位層に太刀打ちできない予感しかないが 1つシチュエーションが浮かぶ度にあの子ならどう応える？を試すだけで時間が溶けちゃう
昨日は排便を見せられるのかどうかを聞いて回ってるうちに2時間くらい経ってた ベンチマークだけ見ると大したことはなさそう
ただ学習データはサイバーエージェントが用意してるみたいだからワンチャンCalm-2みたいにエロ結構いけたりするのかな 誤爆すまん
fugaku ggfuも出てるね って書こうとして間違えた;; 富岳LLMお堅いなぁ・・・
日本語はしっかりしとるからfinetuneしたらいいとこまで行くかもわからんが のべりすとAIから2年半ぶりぐらいに文章生成に戻ってきたけど
好きなネットの短編小説を放り込んで続きを書いてもらうのはまだ難しかったな
そのシチュエーションで続けてほしいのに
勘所を抑えてないから全然違う話になってしまう マルチモーダルチャットAIである
Ocuteus-v1
を公開いたしました。
パラメータ数は7Bです。
マージを活用し、画像を認識できるようになったモデルです。
読み込ませた画像から小説を書かせたりなどといった使い方もできます。
もちろん普通の会話もできます。
ぜひお試しください。
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1-gguf GGUFたすかる、ためしてみるわ
富岳も出てるしkujira後継のrobinhoodも出てるし盆と特異点が同時に来た気分やわ 7Bとか13Bが扱いやすいのはよくわかるけどわざわざ富嶽まで持ち出して13Bかよというがっかり感 >>157-158
premは大盤振る舞いしとったらあっという間に無料プランどころか有料プランまで破綻したそうや
リートンは説得したらほんま何とでもなるんやな
考えてみたらそもそもワイがあんまりドギツイこと言わせようとしてへんだけやった >>170
koboldのマルチモーダルには対応していないようですね
hordeモードでは画像認識しましたが、他のモデルと認識力はあまり変わりませんでした。 >>有料プランまで破綻
w
リートンはどうなんやろうな？このままだとモデレーション甘いで！ってClaudに怒られてモデレーション強化せざるを得なくなる気がするが
Cohereには今の形で頑張って生き残ってもらいたいもんや ↑
失礼しました。
使い方間違えてましたｍ（＿＿）ｍ fugaku面白いじゃん。品質もちょっと前のモデルと比べれば驚異的だし
これだけのモデルをフルスクラッチで、しかもCPUで作れる事を実証したのはすごいわ。学習側のコードもオープンソースにしてるし Cohereは敢えて無修正にしてるのか、ただただ想定外なのか、全くつかめないよね どこまで戦えるかは別にして、英語中国語に次ぐLLM研究語圏ではあるんじゃないかね リートン「Hなのはダメです」
俺「お互い同意済です」
リートン「じゃあいいか」
いいのかなあ… EasyNovelAssistantで
>>170 のOcuteusをワンクリックで試せるようにしといたで
アプデしてKoboldCpp/Launch-Ocuteus-v1-Q8_0-C16K-L0.batを実行や
GPUレイヤー増やしたい時はbatコピーしてset GPU_LAYERS=33とかに書き換えてな
VRAM 12GBで33レイヤーが動作しとったで >>182
俺も同じような挙動になるけどLLMの画像認識って何でこんなに幻覚激しいんだろ
制服の女の子1人立ってる画像を艦娘で大和の周りを多数の戦艦が取り囲んでる絵だとか言い出したり滅茶苦茶過ぎる https://i.imgur.com/NIkINNj.jpeg
CohereのAPI調子乗って使いまくってたらしんだわ
お前らも気をつけるんやで、ほな…… >>184
HuggingChatは普通に使えるんじゃないの？ >>169
opusならできるけど、opusに長文貼り付けるとAPI料金嵩むからなあ >>189
なるほど、早くローカルで無限にできるようになりたい >>184
垢BAN食らったのかと思ってけど画像見たら全然セーフでよかた
Trial APIキーっていくつでも発行して貰える感じだけど、月間1000メッセージ制限がキー単位でした、みたいなぬけみちあったりして
まあ、Gmailなりで別垢作ればこんな制限あってない様なもんだけど Mistral系で日本語化したのは
・RakutenAI-7B
・Swallow-MS-7b-v0.1
英語で強そうなのは
・openchat-3.5-0106
・OpenHermes-2.5-Mistral-7B
・Starling-LM-7B-beta
・WizardLM-2
あとはマージ比率の問題かな 進化アルゴリズムに期待 llama-3 70Bの日本語特化モデルが来る前に、llama-2系70Bで最後に試したいマージ中だが、
ほんとSSD足りなくなる・・・(´Д⊂ヽ もう出ないといけないので、とりま結果報告だけ
MS-01は推論能力重視だったけど、今度はNSFW重視のMS-02を作ってみた。
Gembo-v1-70bとspicyboros_-70b-2.2をそれぞれ使って、karakuriとchatvectorしたモデルを
karakuri-midrose-mgをベースにmodelstockでマージしてみた。
https://rentry.org/caxcb37i
結構いい感じｗ
爆弾の作り方も、遠回しに答えたんで、nfsw化は成功したみたい。 ■ このスレッドは過去ログ倉庫に格納されています
