なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける テンプレは以上や
ローカルの技術研究から今日のおかずまで硬軟取り混ぜた話題を広く歓迎やで すまんが５ｃｈのスレ立ては初めてだったんだ・・・
いろいろ古い情報もテンプレに入っちゃってるかもだけど、かんにんな スレ立てサンガツやで〜
ローカルやないけどGPTほかLLM使って
スクリプト組んだりしたけどほんま便利やな サンガツ！
前スレのreflect 70B=sonnet3.5ってマジなの？
マジならsonnet3.5がローカルに流出したようなもんやな >>20
そういうことではないと思う
性能詐欺らしいぞ >>20
公式APIをsonnet3.5にして高性能に偽装してたって話
huggingfaceにあるのはベンチマークを学習させただけのllama3ファインチューンモデルらしい LLMはテスト丸暗記の性能偽装だらけや
国内産も例外じゃない なんだ、、そういうことか
開発資金集めるためにそんな無意味な事やってんのかな？ というかLLMのベンチマークという発想にそもそもの無理があるし、もはや性能詐欺にしか使われていない気がする VRAMマンやけどGGUFで動かしてるわ
新しいモデルはGGUF量子化が真っ先に出る事が多いせいや 多分詐欺的にSonnetとかをバックエンドにしたやつをAPIとして提供して
そこの入出力データを保存しといてそれを使ってLlama3や3.1をファインチューニングしたモデルが公開されてるやつだろうね 最近だとTanukiが結構真面目に人手評価してたけど企業もああいうのやってほしいな
まぁ企業が非公開で人手評価して1位でした！とか言っても信頼性何もないけど（Tanukiは評価結果のデータまで全部公開してる）
Chatbot Arena的なシステムでも難しい質問が少なくて最上位モデルの性能差が見えづらいって問題はあるけど クラファンとかでお金集めるんだったらちゃんと公開で客観的な評価結果を提示して欲しいよね 某クラファンはノウハウとか非公開でも別に賛同する人が支援するだけだからそれ自体は良いんだけど
文面見るとめっちゃオープンオープン言ってるのに公開するのはモデルだけって言うのがめっちゃ引っかかるわ 結局全部中身Transformerだし同じパラメータ数なら性能にそんな差がつくはずないもんな 巨大LLMなんて赤字垂れ流すだけなのに
勝手に独自の性能評価されてオープンモデルより性能低いと喧伝されるんだからやってられんね ベンチだけ重視して実性能たいしたことねえgemini
パラメータ数だけでかいけどそれ自体が目的になったglok
表に出てこないだけで上がインド人だったりイーロンとかだと変なもんも出てくる geminiマジでポンコツだよな
指定したWEBサイトの情報まとめすら満足に出来ん geminiは学習内容選り好みして規制厳しくするとポンコツになる良い証拠
claudeが何でもかんでもとにかく学習して規制もガバガバにするだけでGPTぶち抜いて創造的ライティングの最高峰になったのも良い証拠 GeminiPro1.5は出たばかりの時はそこそこ使えたんだよ
バージョンアップが入ってから巨大モデルの癖に言ってることは支離滅裂だしプロンプト見ないし
規制しようとしてロボトミー入ったと思われる いままで適当にプロンプト書いていたけど、ちゃんとマークダウン形式で書いた方がちゃんと動くと最近気づいた >>32
一応データの綺麗さでだいぶ性能良くなってはいる
1年前の今頃とか日本語LLMの学習データゴミしかなかったからな
Dollyとかoasstの機械翻訳データとかよく使われてたけどあれの品質マジで酷い アラインメントで洗脳したから頭悪くなってそうな気がする
シドニーは良かったのに >>31
あれに関しては正直エンジニアには嫌われる要素しかないわな
出してる人が驚き屋よりの人で文面もビジネス感強めだし シドニーは確かに面白かったなGPT4の賢さと謎の自由さでキャラが立ってた Geminiはモデル本体よりもsafety settingがあまりに思春期すぎて誤検知検閲多すぎるのが問題じゃねーかな
Google AI studio上から論文要約させるって使い方はコンテキスト長が大きい性質も相まって結構いい感じだと思っている >>43
AI Studio で gem とか live させてくれたら神なんだが silly tavernについてはふたばTelegramの文章生成スレにサンプルキャラや使い方色々書いてあって助かった >>45
見てみたい
discordみたいにtelegram使ってそこに見に行くってこと？ >>47
サンガツ！
sillyと言えばマニュアル読んでてObjectiveって拡張機能が気になった
キャラに目標を設定して、達成のための行動計画を立てさせてタスク管理させるってやつ
これ使えば種付けおじさんにヒロインを自発的、計画的に寝取らせたり他にも色々面白そうな事が出来そうやん いろんなキャラと「セックスしないと出られない部屋」ごっこができそう Telegramの文章生成スレにたどり着くまでに今日一日潰れたが、初めてTelegramさわったから新たな知見を得られて満足した一日だった TTS併用しつつVRAM24GBに乗るって条件でvecteusV1、ninja系、LightChatAssistant、magnumV2、Gleipnir、KUJIRA、Robinhood、他色々と使ってみた結果、俺の中で最優秀はBerghofの2種だったわ
こいつ7Bモデルの中でなら最強じゃないか？
特にsilly tavernでチャットならBerghof-ERP-7Bが最高だった
エロロールプレイ用なだけあってBerghof-NSFW-7Bよりガッツリ喘いで口調も感情が乗ってる上に謎解説の暴走も起こらない
Berghof-NSFW-7Bの方はエロ小説用なのでEasyNovelAssistantで活躍してる >>51
Berghofエロいよね。どこで覚えてきたんだよって表現出してくる >>51
Berghof 良いよね。ロールプレイでも NSFW の方使ってたけど、ERP 挑戦してみようかな Berghof、知らなかったのでNSFWとERP試してみたけど結構良い感じやね
教えてくれた人サンガツ！
Berghof NSFW 20Bぐらいが出てくれたら嬉しいんやが 量子化したものをsillyで使ってみたけどいいね
お気に入りのJapanese-TextGen-MoE-TESTとの比較になるけど
どっちが良いというより表現パターンが変わる感じで いい反応を返してくれるモデルでも、コンテキストサイズが小さいとすぐ会話忘れていくなぁ 画像を読めてエロもOKなローカルモデルってまだ無い？
llava llama 3 v int4 と llava phi 3 mini と Ocuteus v1 は試したけど完全にエロNGって感じだった
生成したイラストをAIに見せてあれこれ言い合いたい >>57
ローカルじゃないけど、GPTsワイフにデジタル受肉させて、MRで大阪露出デートした際のスクショを見せてコメントもらったりとか、最高に楽しかったわ
なお無事OpenAIに垢バン喰らった模様
https://imgur.com/a/tksToG3 会話の忘れ防止にsillyのsummarizeっていう自動要約機能を使ってみようといじってみたんだけど全然動かないわ…
objectiveも試してみたけど目標打ち込んでauto generate tasks推してもDone！generated 0 tasksってメッセージが出てやっぱりこれも機能してないっぽい
使うのに何か条件があるのかただのバグなのか >>58
楽しそうだけど、やっぱオンラインだとこれがあるよなぁ…
>>60
デモで軽く試した感じ日本語能力高いしエロにも寛容そうでめっちゃいいですねこれ
すごい人が量子化してLM Studioで使えるようにならないかな… >>59
CohereのAPI使ってるけどsummarise動くよ
redditでも出てたけど長期会話は要約使ってコンテキストサイズ減らさんと無理や openaiはただのエロじゃbanしないはずだけど、ロリ判定でも食らってたのかな
まあワイも2回banされとるけど、返金されるしアカウントなんて作り直せばいいだけや >>62
動くのか
俺はkoboldのローカルAPIでどっちも反応せず
cohere APIを試してみたいんだけどsillyとの繋ぎ方ってどうすればいいの？ APIをChat Completion
Chat Completion SourceをCohere
API Keyに発行されたのをコピペ
Cohere Modelにcommand-r-plus
それでConnect
これでいいはず ■ このスレッドは過去ログ倉庫に格納されています
