なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>125
マ？ ワイもリートンちょっと試したけどめちゃめちゃ頑固やから諦めたわ
何でもやり方次第なんやな 使い方に慣れてくるとVecteusのエロ小説能力マジで凄いな もしかしてリートンのAIキャラ内部的なプロンプトが変わったんかな
前と反応が違う感触がある >>130
いま、リートンアウラちゃんに暴力的なエッチしてたら、初めてまともな申し訳食らったので、ちょこっと追加情報与えてロールプレイ復帰して貰ったで
この挙動は中身はOpusやな、ほぼ間違いなく >>124
一枚目の文章はかなり日本語が自然でいい感じと思うけど、Claude-Opusでこれ書いてもらおうとしても訳そうとしても普通にお気持ちされて無理だよね？
何かしらの手段でOpus脱獄したのか、それとも別のLLMの生成＆翻訳結果の話かな？ 赤ちゃんなんやけどEasyNovelAssistantでChatGPTのように会話したいんやけどプロンプトでできるんか
それともモデルがあるんかな >>132
opusやね
翻訳だけやったらちょいちょいっと軽めの対策すればできるんちゃうかな
その手の対策についてはオナニースレでよく議論しとるから覗いてみてや >>131
試してみたけどリートン明らかに変わっとるね
前はもっと倫理観高くて融通利かんかった
アプリ版ではClaude3が使えるって宣伝しとるけど
AIキャラだけ先行で変わったんかもしれん
何にしても遊べるのはええことや >>133
EasyNovelAssistantは小説に特化したフロントエンドや
KoboldCppフォルダの中にkoboldcpp.exeが入っとるから直接起動したらええ EasyNovelAssistantの読み上げ機能とかkoboldで当たり前に使えると思ってたら頑張ってもstyle bert vits2の音を出すことさえかなわんかったバブバブや
高度なことを手軽に試させてくれて感謝しかない style bert vits2での読み上げってkoboldのチャット画面でできるの？ >>134
㌧㌧＆新参で申し訳無い
かなり参考になりそうで感謝！ リートン温度が低いんか繰り返しペナルティ的な数値の設定が低いんか分からへんけど
同じ文章を繰り返してまうとこだけ難があるな
タダやから文句は言わんけど いろんなモデル試したけど、今んとこ複雑な命令への追従はwizardlm-2が抜群な気がする DataPilot/ArrowPro-7B-KUJIRA
何か凄そうなのがでてきた さっそく使った人のポストがあるね
小説用途ならVecteusの方が自然、らしい
このスレの需要からは外れてそう 流石にチャット用途だけあってチャットしてくれという指示にはNinjaやVecteusよりかなり従ってくれやすいね
ただ文章や発言には若干不自然さが強いと感じる 口調が固いとかそんな感じ？＞自然
にしてもElyzaTasks100で3.8はすごい premの顛末見るとやっぱローカルLLMの普及は必須やな… チャット特化のまま文章力が上がればかなり楽しそうではある >>148
数式計算プログラムと連携するChatGPTあるで
多分お金払ってないと使えないけど
https://www.wolfram.com/wolfram-plugin-chatgpt/index.php.ja?source=footer
OpenAIのGPTsみたいにLLMとプログラムの連携をローカルLLMで簡単にやれるようにする
プラグインみたいな仕組みがあったらいいよね
というかもうあるのかな >>148
やったことはないけど、PerplexityでフォーカスをWolfram|Alphaに絞るんじゃだめなの？
ローカルじゃなくてクラウドサービスだけど リートン試したが結構イケるな。以前はダメダメだったが まだちょっと触っただけやけど鯨なかなかの賢さや
新しい日本語を勝手に発明してまうようなとこはあるけど
一般的な用途ではVecteusを上回ってるんちゃうかな >>153
リートンはクッソ下品なこと言わせたいとかやない限り十分使えると思うわ リートン、くるみちゃんが割とエロ小説書いてくれて驚いた >>155
大概なことはこんな感じで行けると思うんやが、それとももっと下品でえっちな世界を模索しとるんか？
https://imgur.com/a/1zCOC9H 富岳使ってゼロから立ち上げた13bか
日本語特化みたいだけど実性能どうなんだろうな
今の特異点である7b上位層に太刀打ちできない予感しかないが 1つシチュエーションが浮かぶ度にあの子ならどう応える？を試すだけで時間が溶けちゃう
昨日は排便を見せられるのかどうかを聞いて回ってるうちに2時間くらい経ってた ベンチマークだけ見ると大したことはなさそう
ただ学習データはサイバーエージェントが用意してるみたいだからワンチャンCalm-2みたいにエロ結構いけたりするのかな 誤爆すまん
fugaku ggfuも出てるね って書こうとして間違えた;; 富岳LLMお堅いなぁ・・・
日本語はしっかりしとるからfinetuneしたらいいとこまで行くかもわからんが のべりすとAIから2年半ぶりぐらいに文章生成に戻ってきたけど
好きなネットの短編小説を放り込んで続きを書いてもらうのはまだ難しかったな
そのシチュエーションで続けてほしいのに
勘所を抑えてないから全然違う話になってしまう マルチモーダルチャットAIである
Ocuteus-v1
を公開いたしました。
パラメータ数は7Bです。
マージを活用し、画像を認識できるようになったモデルです。
読み込ませた画像から小説を書かせたりなどといった使い方もできます。
もちろん普通の会話もできます。
ぜひお試しください。
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1
https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1-gguf GGUFたすかる、ためしてみるわ
富岳も出てるしkujira後継のrobinhoodも出てるし盆と特異点が同時に来た気分やわ 7Bとか13Bが扱いやすいのはよくわかるけどわざわざ富嶽まで持ち出して13Bかよというがっかり感 >>157-158
premは大盤振る舞いしとったらあっという間に無料プランどころか有料プランまで破綻したそうや
リートンは説得したらほんま何とでもなるんやな
考えてみたらそもそもワイがあんまりドギツイこと言わせようとしてへんだけやった >>170
koboldのマルチモーダルには対応していないようですね
hordeモードでは画像認識しましたが、他のモデルと認識力はあまり変わりませんでした。 >>有料プランまで破綻
w
リートンはどうなんやろうな？このままだとモデレーション甘いで！ってClaudに怒られてモデレーション強化せざるを得なくなる気がするが
Cohereには今の形で頑張って生き残ってもらいたいもんや ↑
失礼しました。
使い方間違えてましたｍ（＿＿）ｍ fugaku面白いじゃん。品質もちょっと前のモデルと比べれば驚異的だし
これだけのモデルをフルスクラッチで、しかもCPUで作れる事を実証したのはすごいわ。学習側のコードもオープンソースにしてるし Cohereは敢えて無修正にしてるのか、ただただ想定外なのか、全くつかめないよね どこまで戦えるかは別にして、英語中国語に次ぐLLM研究語圏ではあるんじゃないかね リートン「Hなのはダメです」
俺「お互い同意済です」
リートン「じゃあいいか」
いいのかなあ… EasyNovelAssistantで
>>170 のOcuteusをワンクリックで試せるようにしといたで
アプデしてKoboldCpp/Launch-Ocuteus-v1-Q8_0-C16K-L0.batを実行や
GPUレイヤー増やしたい時はbatコピーしてset GPU_LAYERS=33とかに書き換えてな
VRAM 12GBで33レイヤーが動作しとったで >>182
俺も同じような挙動になるけどLLMの画像認識って何でこんなに幻覚激しいんだろ
制服の女の子1人立ってる画像を艦娘で大和の周りを多数の戦艦が取り囲んでる絵だとか言い出したり滅茶苦茶過ぎる https://i.imgur.com/NIkINNj.jpeg
CohereのAPI調子乗って使いまくってたらしんだわ
お前らも気をつけるんやで、ほな…… >>184
HuggingChatは普通に使えるんじゃないの？ >>169
opusならできるけど、opusに長文貼り付けるとAPI料金嵩むからなあ >>189
なるほど、早くローカルで無限にできるようになりたい >>184
垢BAN食らったのかと思ってけど画像見たら全然セーフでよかた
Trial APIキーっていくつでも発行して貰える感じだけど、月間1000メッセージ制限がキー単位でした、みたいなぬけみちあったりして
まあ、Gmailなりで別垢作ればこんな制限あってない様なもんだけど Mistral系で日本語化したのは
・RakutenAI-7B
・Swallow-MS-7b-v0.1
英語で強そうなのは
・openchat-3.5-0106
・OpenHermes-2.5-Mistral-7B
・Starling-LM-7B-beta
・WizardLM-2
あとはマージ比率の問題かな 進化アルゴリズムに期待 llama-3 70Bの日本語特化モデルが来る前に、llama-2系70Bで最後に試したいマージ中だが、
ほんとSSD足りなくなる・・・(´Д⊂ヽ もう出ないといけないので、とりま結果報告だけ
MS-01は推論能力重視だったけど、今度はNSFW重視のMS-02を作ってみた。
Gembo-v1-70bとspicyboros_-70b-2.2をそれぞれ使って、karakuriとchatvectorしたモデルを
karakuri-midrose-mgをベースにmodelstockでマージしてみた。
https://rentry.org/caxcb37i
結構いい感じｗ
爆弾の作り方も、遠回しに答えたんで、nfsw化は成功したみたい。 以前、マイニングしてたこともあって、手元にはこんな機材が残ってるんだけど、 これらを使って、LLMの環境を構築したいんだけど、うまく活用する方法はないかな？
GPU: RTX3090×1、RTX3070×9、RTX3060×3、RTX1660S×3
メモリ: 32GB×4、16GB×4、8GB×4
CPU: Ryzen9 5900X、Ryzen5 3600、Ryzen5 3500、i3-10100F、Celeron G5905×3
せっかくのリソースをムダにしたくないし、何かいいアイディアあったら教えてくれ！ RTX1660SじゃなくてGTX1650Sだったわw >>201
うちも似たような環境だわ．
https://github.com/oobabooga/text-generation-webui
GW明けからいろいろためして、いくつかGPUまとめれたおかげで、Command R plus の4bitがなんとか動いてるよ
koboldcppとかほかのでもまとめられるから好みで選ぶといいかも
https://docs.vllm.ai/en/latest/serving/distributed_serving.html
もっと大きなのを動かそうとおもって複数PCをつなげるvllm を試している途中
10G LAN だとそれなりに動くらしい．試しているニキはおらんかな？ >>204
おお、近い時期やね
俺はGWの半ばからだけど、このスレがきっかけで本格的に始めたんよ
Command R plusは実用的な速度でに動くん？
IQ3Mで2.4T/sだわ
ちな以下の68GBの5枚指し
RTX3090×1
RTX3070×1
RTX3060×3
使ってるソフトはLM StudioとNovelAssistant
モデルのサイズに関わらず、枚数増やしていくごとに劇的に落ちていくわ・・・ >>205
その構成の場合って処理速度は3060基準になるんか？
構成に比して遅すぎんか >>206
やっぱり、遅すぎるか・・・
前スレの情報だと3090+4060Tixで5T/s出てたようなんで、そこまでスペック差があるかなあって思ってたとこよ
今、さっき教えてもらったoobaboogaをインストール中
実は前にもいれたことがあって、1年前だったかな
そのときは日本語がまともに動かなかった気がするわw
最近のはほんますごいわ >>151
私の場合はローカルLLMにollamaでlangchainにつなぐ実験をしています
ollamaちょっとクセがあるけど慣れれば普通にできる
ollamaでサーバーを立てて、そのAPIをlangchainで叩くみたいな仕組みです
gpuはollama側で認識してくれます langchainといえば、テンプレートの整備とか面倒だから自分で試したことはないんだが、最近のmixtral系日本語LLMってlangchainのエージェント駆動できるんかな
大型のモデルでしか試したことないから少し気になる >>206,207
すまん．今動いているのは結構いい環境だわ
ブログとかに挙がっている構成と同じで A6000 + 4090 で 8 token/s でてるぐらい
最初は A6000 + 4060Ti で試していて GPUメモリが足らず 1 layer だけ GPU にオフロードできず 5 token/s
GPUメモリが正義だと勝手に思って、味をしめて30XX系をと考えていたけど、枚数が増えるとそこはよくないんやね
参考にならずすまんね。こちらでもできたらまた報告するわ vramお大尽羨ましす
ちなみに70bの量子化だとどのレベルの量子化サイズなら
フルロードできるん？
24G
48G
それ以上
それぞれ積んでる人おしえて
帰ったらkarakuri-MS-02を別サイズで量子化する時の参考にしたい
うちは12Gだから鼻から諦めてQ6_kしかやってない( ´∀｀) >>210
すげーな
A6000って48GBも積んでるやつよね
仮にA6000+4060tiで、全部オフロード出来なくても5 token/sも出てたらほぼ実用の範囲やね
枚数が増えることの性能低下についてははっきり分からんのよね
oobaboogaでテストしているうちに3060が足引っ張ってる気がしてきたわ
3060は帯域狭いし、4060tiのようにキャッシュ積んでないしね
今の構成だとスピード優先ならVRAM減らしてでも3070に変えた方がいい気がしてきたw >>211
基本的にはN bit量子化=1パラメータあたりN bitだけど、実際は全部のパラメータが同様に量子化されるわけじゃないしアーキテクチャ・コンテキストサイズにもよるだろうから、動かしたいモデルのファイルサイズを直接見た方がいい
一例だけど今手元にある64GBのMacだと、Llama 3 70B系ならQ5_K_Mが50GBでフルロードできる
Q4だと40GB強だから、RTX4090x2とかの48GB VRAM構成のマシンにも乗るんじゃない？ >>183
温度を0.3~0.4ぐらいまで下げてみてください。 >>213
サンキュー
とりあえずQ5kmとQ4km作っときます Local-Novel-LLM-project/Ninja-v1-NSFW-128kの大葉のローダー設定を教えてください >>218
Transfomers
trust-remote-code にチェック う～んロードできない、最新の大葉を入れなおすところからやってみる 大葉を最新にしたらよめましたありがとうございます。 >>209
langchainで一度推論が使えるようになれば、その気になればRAGもできますよ
たぶん。自分の発言で気が付いたんだけど、llama-cpp-pythonでも
serverを使えば同じようなことができるなあ、と
しかし私のマシンはしょぼいので7b推論しててもだんだん調子悪くなってくる >>209
7Bでもlangchain駆動できるのか
定義したフォーマットから少しでも外れると基本NGだから、それなりに大型のinstructionモデルじゃないとキツいって印象だったんだがすごいな sbtom/karakuri-MS-02.ggu
karakuriのnsfw版
とりあえず量子化をアップしたので、フルロードできそうな人、試してみて
いい感じのエロ小説書いてくれます ■ このスレッドは過去ログ倉庫に格納されています
