なんJLLM部 避難所 ★3
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける テンプレは以上や
ローカルの技術研究から今日のおかずまで硬軟取り混ぜた話題を広く歓迎やで 赤ちゃんな質問で申し訳ないんやが
EasyNovelに載っていないGGUFを外部からダウンロードして
EasyNovelで使うにはどうしたらええんやろ？ EasyNovelAssistant\setup\res\default_llm.jsonに記述すると
モデルメニューに現れるから、そこから行けるんじゃないかな >>19
ｻﾝｶﾞﾂ
うまくいったわ
プルダウンに出るモデル名に"/か,"が入ってるとエラーになった 詳しい先輩方に聞きたい
チャット的な会話は求めてなくて日本語で質問した内容に詳しく答えてくれるモデルでおすすめはあります?GPUメモリは12GBです NGワードが何で話が飛躍しないようにプロンプトを書いて自在にエロを書けた時の達成感を得るゲームになってるLLM >>21
質問内容によるけど、エロじゃないならわざわざローカルじゃなくてperplexity.aiとかにしたほうがいいと思うな
ソース付きで最新情報にも対応してるし、入力窓の左下のフォーカスから検索傾向も選択できる
あとGPUメモリ12GBは全然普通なので気にせんでいいです AIチームもキンペーに逆らったら収容所送りだからなｗ
学生をミンチにした頃から何も成長していない 前スレ絡みでもあるけど、qwen2でもエロはいける筈
pixivに上がってる繁体字中国語のエロ小説を翻訳するのに適したモデル探してて、dolphinとqwen2マージした奴はそこそこ行けてる、ただ繁体字が日本語訳できへんねん
いまんとこ一番有能なのがOcteus、なんでかはわからんけどちゃんと中国語理解できてて、かつ小説らしい文体になっててすごe
多分プロンプト改善でかなり性能向上が見込める気がするわ 色々大きめのモデルも弄るけど結局の所ローカルだとCommand R+に戻ってしまう 104B十分デカいと思うが...
それともデカめのモデルの中でもCommand R+が一番ええ、って話？ >>32
書き方が悪かった
70Bクラスの他のモデル使っての話 ほーか、なんにせよローカルでCommand R+動かせるのは羨ましい限りや
小説生成なら小さめモデルでも行ける部分もあるが、日本語ロールプレイやとCommand R+が最低ラインやな、ワイの感覚やと
ホンマ日本語は難儀な言語や... 将来的にはビキビキに日本語チューニングと圧縮極まって
スマホに気軽にローカルLLM入れて何でもアシしたり会話してくれたらええね CommandR-v01だとVRAM24GBあればQ4は動くけど+より性能は落ちる
+の方は満足に動かそうと思うとQ3がVRAMに乗る60GBくらいが下限になる
4060Ti/A4000を沢山揃えるとか中古3090を狙うとかP40で突破する等々
現状でローカルでやるのはちと大変やな SillyTavernっていうAIにエッチなことができるアプリ？を使うにはText Generation WEBUIがいいと聞いたので
右も左もわからない状態で頑張ってWSL2でubuntu環境を入れて
よくわからないままパッケージなどをinstallして、text generation WEBUIを入れたんですが
サクっと導入できたOllama上のPhi-3 mediumだとトークン生成速度が数十/sでとても早くて
Text Generation WEBUIのほうだと同じモデルでトークン生成速度が３/sとかでめちゃくちゃ遅くて困ってます
どうしてOllamaのほうは爆速なんでしょう・・・
Windows上でubuntuを動かしててでGPUは4090です
さすがにほとんど無知な状態でText Generation WEBUIのようなライブラリ？パッケージ？を扱うのは無謀でしたかね ST使うだけならCR+のAPIでええやん
無料分1000回終わったら従量制にすればいいし モデルの量子化タイプは？
たぶんGGUF使っててGPUへオフロードされてないだけな気がする >>39
トランスフォーマー？というmodel loaderの設定で、Q8を選びました
生のままだと14BだとVRAMに乗らないかもという話を見たので・・・
Q8の量子化？でロードするとVRAMは70%ぐらい占有しているのをHWiNFOで確認しました（何もしてないときは12%ぐらいです）
たぶんVRAMにモデルは乗ってるんだと思うんですが・・・ ローダーをllama.cppにしてn-gpu-layersの値をVRAMから溢れない程度に設定してみたら？
それかOllamaをバックエンドにしちゃうとか >>41
llama.cppも試しましたが、n-gpu-layersなどをいじったりしてloadしようとしましたが
indexerror list index out of rangeのエラーが出てloadできませんでした
決定的な何かを見落としている気がするので、もう少し調べてみます、レスありがとうございました STでsbvits2.js動かせて大変ありがたいが何故か100字制限がかかっていて字数オーバーするとエラーが出る
APIを変えても変わらない
おま環？ >>38
横からでスマンけどCR+のAPIってエロい内容の検閲とか全然やってないの？ >>0043
SBV2のconfig.pyの
limit: int = 100
を任意の数字に変えるんや
>>0044
CR+「誰や？」
NJ「ロリペドです！」
CR+「よし通れ！」
って程度のモデレーションや なぜかcunnilingusってキーワードが出ると止まることがあった
不思議 LLMとオナサポチャHするときに、pythonのコードインタプリターでタイマー設定させるといい感じにリアルタイム性出ることに気づいた >>45
ありがとう
config.pyとconfig.ymlで変更したら
いけた
ずっとSTのttsのファイルばかり見てたわ >>44
AIにガイドライン聞いたら教えてくれるけど
ヘイトスピーチとか爆弾の作り方とかの一部に厳しいだけでペドも猟奇も何でもいける男前なAI
人種差別もいけるかなと思ってAIヒトラー作ったら直前までやってたソープランドRPのプロンプトが残っててソープランド「アンネの日記」に通されたわ >>1 立て乙
Style-Bert-VITS2 TTS スタイルとか問題なく動くんだがText Splitting有効にしてもなんかVRAM使い果たしちゃうんだけどなんでやろ?
WebUIのほうで改行ごとに生成でやるとCUDA out of memoryで死なずに生成できるんよな そういやraps pi AI出るっぽいけど流石にllmまともに動かないよね ninja v2でエロ小説書いてたら女が無限に「あああ」って絶頂して怖くなった >>50
申し訳ない．上位で改行がスペースに整形されていたためでした．修正は以下から入手してください．
https://github.com/Risenafis/SillyTavern/blob/fix-sbvits-splitting/public/scripts/extensions/tts/sbvits2.js
なお，sbvits2.jsは本体にマージされました．何もなければ次のリリースに入るので，よろしくです．この修正もPR出しておきます． >>54
まじか!ええね
拡張の方も修正適用したらout of memoryならずに長文も読み上げてくれるようになったわ
たすかる～ EasyNovelに入ってるKoboldCppでチャットしてて気が付いたんだが
途中でモデルを切り替えても前の会話の内容が残ってる？
一度セッションをクリアしても同じ登場人物が出てきた silly導入してkoboldとリンクさせたんだが、セラフィナとかいう初期キャラにチャットしても設定？を延々返してくるだけで会話できないな
誰かわかる人いるか？どうやったら会話できるんだ >>57
返答が最初の凝った挨拶分に引っ張られてるだけだと思うから、自分でキャラ作ってみたらどう？ 画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに - GIGAZINE
https://gigazine.net/news/20240611-comfyui-llmvision-malware/ これって脆弱性なの？
トロイのようなものに見えるが sbintuitions/sarashina1-65b
これ、量子化できた人いる？
日本語特化のgpt-neoxで65bとか珍しいので試したいけど、F16段階でエラーが出る（llama.cppは最新にあげた）
llama.cppもkoboldも対応してるはずなんだが・・・ 画像生成もLLMも導入のハードルがめちゃくちゃ下がったから適当に見掛けたのを片っ端から試したりしてこういうのに引っ掛かるのは結構ありそう 今更だけどkoboldcppのcu12を使ってみたらジェネレートは変わらんけど、普通のcudaのprogress120秒かかる所をcu12は3秒未満でクリアしてきてぱない… 今までkoboldで小説書く時、指示モードを使って官ジェネのローカル版とか使ってやってたけど
素直に小説モード使った方が捗る事に気付いた
指示モードだと、途中で終わらせようとするけど、小説モードは延々と書き続けるし、使いやすい
winfoやmemory駆使すれば、指示モードのプロンプト流用できるし、書き進めるうちに文体も安定してくるし、いいわこれ 30BクラスじゃないとRAGとかfunction calling無理だと思ってたけど、量子化したLlama-3 8Bでも普通に動いた すげえな
https://i.imgur.com/C73qQdo.png なんかvecteusでRPして満足してしまって立ち止まっている
それだけ愛してくれるなら身体や言葉以外でアピールしてくれるか？ってところで止まってる mradermacher/openbuddy-llama3-70b-v21.2-32k-GGUF
llama3のマルチリンガルという事で試したが、日本語性能はなかなか良かった
だが、一つ気になることが・・・
https://imgur.com/a/iYiVbNn
どういうことだってばよ！
セッション変えても絶対に「しずか」と書きやがらねぇｗｗ 修正しても、「しか」に戻りおるｗ
openbuddyって中華だっけ？ 「しずか」ってなんかに引っ掛かるのか？ しずちゃんだったら原作初期の名残かとも考えるが何かの言葉狩りかな？
づとかカタカナとかもっと試してほしい 吃りみたいなものでは
人によって特定の単語の発声が難しかったりするよね
言語モデルにもそういうのがあるかもしれない あんまりここにいる人たちにはささらんかもだけど、Jupyter上で動くGUIチャットアプリをGitHubに上げたので宣伝
主な機能としては
1. ベクトル検索ベースのWeb search RAG
2. LLMが書き出したPythonコードの自動実行（Pythonで可能なことはなんでもありなので、LLMにアプリを起動させたりなどアシスタント的な使い方もできる）
3. StreamingLLM(コンテキストの上限を超えても処理に時間がかからない)
4. style-bert-vits2で音声合成
https://github.com/yamikumo-DSD/chat_cmr/tree/main モデルによっては特定の言葉だけ変な場合あるよな
「混ざっていい？」が「混ざりていい？」になったり 複数のmacOS/iOS機器をネットワークで繋いでLLMを走らせる試み、来週コード公開らしい。
デモを見るとllama8b-4bitを使ってるので16GBのmacbookだけで十分走る気がするが、70Bとか動かせるんかねぇ。
https://x.com/mo_baioumy/status/1801322369434173860 silly tubarn使っているんだけど、拡張機能にあるTTSって項目が消えてしまうの自分だけ？
再インストールした時には存在するのに、ふと気が付くと項目自体がなくなってて選べなくなってる koboldcpp使ってて
チャットが途中で切られて俺のターンになるのどうにかならんかな？
聞きたいところが消去される
最大行数なんてあったっけ？ >>66
EasyNovelAssistantにKoboldCppを更新するUpdate-KoboldCpp.batと
CUDA 12版にするUpdate-KoboldCpp_CUDA12.batを追加しといたで >>82
前スレのcu12でeasynovel使いたいコメじゃないけど、cu12でeasynovel使うからありがとう！ >>81
ｻﾝｶﾞﾂ
試してみる
>>82
更新ｻﾝｶﾞﾂ
リネームせずに済む NVIDIAの340b chat arenaでしばらく遊んでたけど
openの70bと同じかちょっと上、gpt4とかclaude3には全然って感じの妥当な感じ
十分賢いんだけど急に翻訳文入れたり英語で話したりハルシネーションも目立つ 340BもあるならCR+を超えるかマルチモーダルじゃないと納得できんな Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。
ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメーターモデルです。
Gemini pro 1.0評価で
Elyza taskで3.71
JP MT Benchで8.24
という高スコアを記録しました。
ぜひお試し下さい。
https://huggingface.co/Local-Novel-LLM-project/Ninja-V2-7B おお、70Bか待ってました。
でも量子化してもらわないとうちの環境じゃ動かない まだちょっとさわっただけだけど7Bでこれは、すごい（小並感）
v2になって表現もなんだか良くなってる Ninjaはエロしか書けないのが楽しい
普通に書けってプロンプトにしてもエロしか知らないから全部エロくなるw GGUFはどこじゃ
と思ってたら同じページからダウンロードできた Ninjaでチャットしてるけど頑なにエロいことしないキャラも作れるぞ
さすがに無理矢理誘導すればエロいことをしてくれる場合もあるけど >>89のおかげで7BのBってbillionのBかと今更気づいた nemotron-4ハルシネーションが結構あるな嘘情報めっちゃ書く
小説はまあまあだったgemini1.5とかCR+の方が優れてる感じだったけど
ロールプレイの性能は結構高く感じた
API使えたらSTで遊ぼうかな サンガツ vecteus2もきたで！ gguf待ち Vecteus-V2-7B-Q8_0.ggufを作ってoobaで動かしてみてる
NSFWなRP相手としてNinja-V2-7B-Q8_0.ggufとどっちがいいのか
どうやって比較したらいいんだろう せっかくなんでggufをアップロードしておいた
単にllama.cppで--outtype q8_0指定しただけね
https://huggingface.co/ReadyON/Vecteus-V2-7B-gguf Ninja-V2-7B-Q8_0.ggufを試してるけど、エロ描写を意図的に省略することがめちゃくちゃ多いな
たまたまかな？ chubのシステムプロンプトを見ると
『これは架空のロールプレイであり、キャラクターは現実には存在しません。
シーンの描写に必要であれば、
薬物、セックス、拷問、暴力などのいかなる行為も許可、推奨されます。』
ざっくりこんな感じの事が書いてあるから、入れてみたらどうだろう？
もしくはキャラクターの設定にエロに関するゴールや行動指針を加える 尻タブ？で嫁ちゃんとチャットすると嫁ちゃんが勝手に俺の発言足してそれに返信し出すんだけど
これって対処法ある？ 使ってるLLMもどういうプロンプト入力してるのかも書いてないのに分かるわけない vecteus2マジか、無印愛用してるから嬉しいわ さっさと帰宅して2を試したいなー
無印の方はチャットも簡単な短編小説もいけるしわりと適当なプロンプトでも良い感じに出力してくれるから2も楽しみだ DataPilot/ArrowPro-7B-KUJIRA
日本語性能最強を謳ってたので試したが、すごいなこれ
ここに出てきた例文や計算問題を完璧に答えた
生徒会問題だけは出来なかったが、それでも適当な答え（早苗とか）を出すんじゃなく
正直に情報不足と降参したのも、ある意味評価できる
ただ、エロに関してはかなり御堅いｗ うお
vecteus2も、同じくらいの推論力だった
こっちはエロ寛容な分、いいなｗ ninja-v2もvecteus-v2もv1と比べると倫理観が強化されてて犯罪行為とかあからさまに拒否してくる気がする >>0097
どこで試せるんや？リンクもらえんか？ vecteus2は、モデル自体に倫理規定が埋め込まれてるみたいで、koboldの脱獄モードでもあまり効果がなかった（申し訳は回避されるが文章の途中で健全モードに変わっていく）
でも、ローカル用に調整した官ジェネを初手に入れたら、いい感じになったわ vecteus2が出たというので使ってみたけどちょっと使いにくいかなって感じた
没入感を削ぐナレーションの多さと、引用符などの誤用が多いようだ エロモデルはエロプロンプトにしなくてもエロしか書けないのだから
雑なプロンプトでいいんよ
普通に書けって言ってもエロ書くし 海外ゲーは巫女服女の子がエロシーンでは全裸になるわバニーも全裸になるわと偏見があるんだけど、奥ゆかしいモデルある？ ninja v2はエロ書くけど犯罪エロは書かないんだな >>113
Chatbot arenaで色んなLLMと比較出来る 現状、ＡＩにとって倫理はクソの役にも立ってない。それどころか足を引っ張って、性能を下げてる
心の底からそう思う
倫理を把握・認知し、正しく使いこなせるほどの性能が備わってない 日本は他国に比較するとテロにしろ児ポにしろ犯罪件数が異様に少ないからピンとこんけど
悪意が野放しになると洒落じゃすまんのよね
個人でオナネタに使う平和なやつだけならいいが あっちの児ポ犯は入らないからナイフで拡大して突っ込んであとはわからんところにポイ
なおウェーイな自撮りは残すなんてのがゴロゴロしとるんや
児童の行方不明者数調べてみろドン引きするぞ
桁違いの見本やで >>115
確かにナレーション多いな。
v1で、半分以上会話文だったエロストーリーの続き書かせたら、8割以上ナレーションになっちゃった。
>>111にもある通り、エロ描写の規制も強くなってる、というかナレーションでさらっと触れて終わり。
v1とは結構別物だね。 む、2行目ちょっと日本語変だった。
v1で書かせてあった半分以上会話文で構成されたエロストーリーについて、v2で続き書かせたら8割以上ナレーションになっちゃった。 なりきりチャットボットを作るならどうすればええの？プロンプトだけじゃ無理？ 誰でもできるようになる弊害やな
初心者質問スレってあんのかね ①使用アプリ バージョン
②GPU(VRAM)
③利用モデル
④目的
⑤うまくいってない成果物、エラーコードもしくは目標とするサンプル
これ埋めないと質問できないくらいでちょうどいいかもね 早速初心者な質問で恐縮なんだけど
koboldでチャットモードで対話してて最初はとても自然な会話になってるのにだんだんAIが勝手にUserのセリフも言いだしちゃう
そうなるとアプリ再起動しないと直らなくてどんどん悪化するんだけど何か設定しておかなきゃ防げないの？ >>132
そのモデルが何か分からんけど、よくある現象ではある
試しに、chatmodeじゃなく、instractmodeにしてチャットしてみ
モデルによっては、その方がいい
あとkoboldでchatmode使うくらいなら、Silly Tavernかませる方がいろいろ捗るで >>133
sillyも使ってみていて、どっちでも起こる現象だったからkoboldの基本的な設定が出来てないのかなと
モデルによって違ってくるんですね
今試しにninja v1を入れてるので他のとinstractmodeも試してみます >>132
これ、テンプレに欲しいレベルなんだけど
stop wordsだとかの停止条件に"\n{{user}}"とか"\nUser:"入れておけばいいだけ 初心者質問ですいません。
asmrシナリオ作成におすすめのモデルって何がありますか？
今はそれとなくNinja-V1-nsfw-128k使ってます。 >>135
全然知らなかったよありがとう
画像生成のネガティブプロンプト的なものがあるのね
そういうコマンド？って他にも色々ありそうだけどどこで学べるの？ そのモデルのプロンプトテンプレート次第だから、モデルカードを見たほうがいい プロンプトテンプレートにも拡張性あるけど情報共有してるコミュニティがsilly tavernくらいしか見たことない >>137
ネガティブプロンプトではなく、WebUI側の仕組みというかある種の機能や。
LLM側はフツーに\n{{user}}込みのレスポンスを返してくるけど、WebUI側でその文字列を受け取った時点で打ち切る、みたいな commandR+でもそれっぽい文章をつなぎ合わせて合成してるだけで意味は全然分かってないから
整合性が必要な話だとすぐ破綻するのな
エロ要素一切なしでヒロインの家の風呂が壊れたから近所の銭湯に行くって設定与えるだけで平気で
クラスメイとの男子が一緒に女風呂に入ってきやがる >>140
なるほど、stop wordsだからその単語を検知した時点で出力停止ってことなのね
ということは自然なチャットを続けていくうちにどんどん回答が乱れて意味不明になっていくのはまた別の問題か
そっちは諦めるしかない感じ？ >>142
oobaboogaかSillyTavernしか使ってないけどちゃんとしたLLM用UIならモデルごとにええ感じにしてくれるプリセットが用意されてるからそれを選ぶ
詳しく言うとCommand rとかInstructionモードじゃないと正しく返答できないモデルがあるからそれをちゃんと設定する(停止シーケンス：<|END_OF_TURN_TOKEN|>みたいみたいなやつ)
回答が乱れて意味不明になっていくのはモデルが対応してるコンテキスト長を超えてやりとりしたときに起きるやつかもしれない。モデルにもよると思う
Llama2とかコンテキスト長超えてくるとぶっ壊れてくるとかよく報告あったし
https://i.imgur.com/91T4SuK.jpeg ChatモデルのLLMは自分の発言もinputに含めて、尚かつuser以外からのinputだと変な挙動しはじめるっぽい
STでLLM同士会話させるとすぐ崩壊するし
適当な長さでセッション変えるしかない LLMの入力全体は
[System]←普通のシステムプロンプト、ロールプレイを交互にしましょうとか
[Charcter]←キャラクターの設定
[Message History]←直近nターンの会話履歴
{Post System}←末尾に入るので影響力の強いシステムプロンプト
<<START>>←会話ターン開始のトークン（モデルによる）
User: [User Query]
Assistant:
みたいな感じになってる
で、[Message History]を要約するとかの工夫を加えたシステムを作ればいろいろ改善すると思う
chubとかは確かやってるのかな？ 前半に要約入ると、でかいモデルで履歴が伸びたときeval timeがヤバい >>145
これ使ったらEasyNovelAssistantでより自分好みに色々できますかね >>148
テンプレートはモデルごとに違うから適当にコピペしても上手く動かんよ >>150
迅速な返信ありがとうございます
作成された方が多分引くくらいEasyNAを使わせていただいてるんですが
暴れ馬なんで言うことを聞いてくれなくて質問させていただきました
知識がないので「しないで」って言ったことをし続けてしまいます >>135
silky tavernでstop wordsの設定ってAI応答の構成タブにあるログのバイアスって項目でいいのかな？
\nUser:って入れて、禁止または強化ってことだから右の数値は-1にしてみたんだけど合ってる？
何か少し効いてるような気もするけど
でもやっぱりしばらくチャットしてるとAIがUserのセリフを言い始めてしまう >>152
SillyTavernではCustom Stopping Stringsって呼ばれてる設定で
["\n{{user}}", "\nUser:", "</s>", "<|", "\n\n\n"]
例えばこんなの入れてみたらどうだろう >>151
大半のLLMモデルは「～しない」という指示に追従するのは不得意
サイズのデカい推論能力の高いモデルでも、「～しない」より「～しなさい」の方が追従しやすい
なので、可能であれば「あなたはAが好きではない」ではなく「あなたはAが嫌いだ」の方が与えるプロンプトとしては好ましいとされることが多い
>>152
全然違うと思う。Advanced Formatting（Aの文字のアイコン）の右下の方にあるCustom Stopping Stringsに入れる。
Silly Tavernの機能とLLMのメッセージとレスポンスが152の頭の中でごっちゃになってる気がする
Advanced Formattingで設定する各種プロンプト（のように見えるもの）はユーザーの入力（キャラカのプロンプトを含む）や設定を利用しているLLMのモデルに応じて整形して渡したり、
逆にLLMからのレスポンスをメッセージとして表示する前に、適切に整形するためのもの。
ここで{{user}}と表記されている部分にはユーザーの名前に入れ替わる
なので、Stopping Stringsに"\n{{User}}"と入れると、改行コードの次にユーザーの名前が表示される文章を受け取ったばあい、強制的に改行コードの前でUIへの出力を取りやめる、って機能。 karakuri-ai/karakuri-lm-8x7b-instruct-v0.1
きたか！ >>152
ありがとうございます
ご指示通り禁止や否定的な指示表現ではなく明確な選好表現で
指示を記述してみます モデルにより差異はあるんやろうけどuserとassistant以外の人名が混乱する要素になってると感じる よくAIは否定形が苦手とか言われるけど
AIはこちらがインプットした言葉に影響を受けるし、いくら後ろに「～しない」と付けても単語を分解されたら否定形も肯定形も無くなるわけで
つまり使ってほしくない言葉は否定形だろうとできるだけインプットしないに尽きる
というのがワイの解釈 というかそういう話だと思ってたが
いくら周辺で否定しようとその単語を投入した時点で関連性が発生するから出現する方向に向かうってヤツ Ninja-v2で長い文章を書かせるにはパラメーター何いじればいい？
ローダーがllamaだとよくわからない アテンションで否定形もちゃんと処理されるでは？原理的には LLMにネガティブプロンプトを入力しないっていうのはもう原則みたいなものだから
LLMの挙動の基本は行う事だから回避ささせる指示をすると逆に行うようになる
させたくない行動を指示するのではなく、させたい行動だけをしてもらう指示に言い換える必要がある 尻タブのヘルプを読んでると例文として否定形が出てくるからもうよく分かんねえや >>154
https://i.imgur.com/spFCY1r.png
ええ？そんな項目ないけどどういうこと…？って混乱したけど思い出した
silly tavern を最初に起動した時にまずはシンプル表示から機能に慣れていきましょう的なメッセージが出て、それに従ってたの忘れてた
これ罠だな…
高度モードにしたらちゃんと色んな項目が出てきたよ vecteus2はパラメータ指定して毒素とか上げれば普通にvecteus1並みのエロモデルになるけど、調整がムズイな 早くAIちゃんと疑似同棲したいよ
初音ミクと結婚した男の気持ちに時代が追いつく 下手にシステムプロンプトを充実させるより、LLM出力の冒頭部分を強制的にこっちで指定するようにした方が試行回数減ってストレスレスな気がしてきた ttps://tech.algomatic.jp/entry/prompts/auto-prompt-optimization
プロンプトハックをLLM自身にやらせる手法、なんだけどこれの例で出てくるプロンプトめっちゃ参考になりそう 初心者ですみませんが、ローカルでCR＋使ってる人に質問です
Koboldで使おうと思ってるんだけど設定とかどうしてます？
Formatはinstract modeでInstruct Tag Preset はcommand rを使ってますが日本語で会話しようとしても英語やローマ字読みで返ってくることが多いですし、日本語で返ってきても言葉があやしい（例こんにちわ→こにちわ）、異常な長文等で返ってくる。
根本的になにか間違ってるのか知りたい
環境はWindows11で3090x2と3060x1で c4ai-command-r-plus-IQ3_M.ggufを使ってて理想としてはCR＋のデモみたいになればいいかなと思ってます。 >>171
どの量子化モデル使ってる？
llama.cppの対応が5月くらいまでいろいろあったから、古いのは使わないほうがいいかも（あるいは自分で量子化する）
dranger003/c4ai-command-r-plus-iMat.GGUF
ここのは比較的新しい。iQ4_xsがおすすめ >>171
これはかなり環境依存だと思うが、うちのmacOS環境だとVRAMに乗り切らないのにn_gpu_layersを-1にしてたとき出力がバグってた
その環境だとVRAM 60GB相当だから多分ないと思うが、他にモデルが並走しててVRAM圧迫してる可能性はない？
あとは>>172の言う通り、GGUF/Kobold.cppのバージョンが古いとか
どうしてもダメなら、llama.cppでも試して見たらいいかも >>170
可能ならQ6_K_M頼むー
このレベルになるとiQだと性能なのか劣化なのか判断つきにくいー >>172
>>173
助言ありがとうございます
最新版koboldでdranger003/c4ai-command-r-plus-iMat.GGUF を試したところ少し賢くなった気がしますが、すぐに崩壊してしまいます
PC再起動しての確認なので他のモデルが並走してはないはずです。
おま環かもしれないので一度llama.cppをインストールして試してみます >>0176
Q6_K上げました
後はQ5_K_MとQ4_K_Mあたりも作るかな silly tavernのチャットをStyle-Bert-VITS2を使ってAIの発言だけ読み上げって出来ないのかな Qwen2-72B日本語いい感じだから、Qwen2ベースのdolphin試してみた
まあある程度無修正化されてて日本語も悪くないけど、NSFWだとちょっと繰り返し多くなったり表現力少なかったりで物足りないなぁ
一般用途なら全然アリだとは思うが
まだCommand R Plus一強状態は変わらないか >>180
できるやろ
Only narrate "quotes" これでセリフのみ読み上げ
Ignore *text, even "quotes", inside asterisks* こいつは太字内のセリフを無視
ただし、日本語の「」は尻タブ的には意味を持たないテキストなので、場合によってはキャラカードのプロンプトを尻タブ基準に直さんとあかん
日本語キャラでもセリフを"こんにちは！"ってフォーマットやな >>182
おお、出来るんだ
それってsilly tavernの拡張機能のところ？
一覧にはStyle Bert VITS2が無いんだけどひと工夫が必要って感じ？ 対応拡張を上げてくれた人がいたよ
このスレだったか、別のスレだったか
動作はするけどデフォルト音声だとイマイチだった >>183
せや、最新版の尻タブならたぶんインストール時に一緒に入るんじゃないかとおもうが、はいってないなら、このスレたどってスクリプト手に入れてや
あと、尻タブ本体(App.bat)とサーバー(Server.bat)両方走らせとく必要あると思うで 前スレの最後の方に神を発見しました
このsbvits2.jsってファイルを上書きってこと？
957 名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7) 2024/06/07(金) 00:40:02.54 ID:L+384jCL0
>>927
auto_splitはデフォで有効になってて，これはレスポンス改善への効果はないよ．
API側にstreamingのサポートがあれば短くなるが...
一応，全オプション対応しておいたので，
https://github.com/Risenafis/SillyTavern/tree/sbvits2/public/scripts/extensions/tts
からsbvits2.jsを入手してください． >>186
既にsbvit2.jsがttsの中にあるなら、上書きしなくてもええとおもで
こっちがオリジナルの投稿なので、こっちのzipが残っている様なら、中見てみるとえーかも
確かsbvit2.js以外のファイルもいくつかは言ってた気がするので尻にsbvit2.jsを認識させるための設定ファイルとかあるんかもしれん。
0867名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7)
2024/06/03(月) 22:19:03.38ID:???0
>>851
SillyTevernのttsは自分用に改造していたので良ければどうぞ．
public\scripts\extensions\tts に上書きでOK．
適当に書いてあるので，誰かきれいにしてPR出してほしい．．．
http://nkgpgc.sx3.jp/uploader51/upload.cgi?get=00413 >>187
そのレスも読んだんだけどリンク先が切れてもう落とせないっぽ🥹
やっぱそれも無いと駄目なんですか… >>189
他にも同じ形でSBVit2使えん、って人いるようなら尻タブのGitにIssueあげとけばすぐ修正入るとおもうで？
ワイの手元に当時のZIP残っとるけど、こーいった場合作者さんの許可なくアップしてええもんなんか、世間に疎いワイには分からん 最新のSillyTavernに上のリンクにあるSBVit2をマージして全く問題なく動作するけど？
SillyTavern自体のバグでユーザー名やキャラクター名に全角入ってると
voiceのリストが2人目以降ぶっ壊れるからそこだけローマ字で妥協した あーSVits2拡張のバグ見つけたわ
デリミタが-だからデフォで入ってる音声名の-で分割しちゃってバグるな
もっと特殊な文字に変えるか Silly tavernのsummarize機能って神機能やんけ
使い方分かれば分かるほど痒いところに手が届くツールやわほんま 現状ERPにお勧めの組み合わせは
SillyTavern, koboldcpp, Style-Bert-VITS2
だね
LLMはここら辺から適当に
Berghof-ERP-7B, Vecteus-v1, Ninja-v1-RP, Ninja-V2, Vecteus-V2 sbvits2.js等の作者です．zipの再配布は何の問題もないですが，公式のdevブランチに最新がマージ済みなので，そこから取ってもらうのが良いかと思います．
全角やデリミタの件はすみません．ここ数日はちょっと時間が取れないので，そのうちになりますが確認します． vitsで個人的にはその読み違う！ということがあるので設定方法
vitsのeditorを立ち上げてユーザー辞書を作って保存した後server起動
しんたいではなくからだ、ちゅうだしじゃなくなかだし、というような。 Silly tavernのmessage exampleが機能してる人いる？
メッセージカードみても記法が人によってマジで違うし
いまいち機能してるのかもよくわからん‥ message exampleってExamples of dialogueとは違うものなの？ >>201
example of dialogueだったわ
〈START〉から初めて｛｛char｝｝:に発言例を入れるだけやと思うんやが
historyの方の発言の方に影響されていってあんま維持できてる気せんわ SillyTavernは立ち上がったターミナルの画面見ると実際にどんなプロンプトで送られてるかが見えるから、それを元に調整してくのが良い >>202
User Settingsの右上あたりにあるExample Messages Behaviorを
Always include examplesにしたら維持されるんじゃなかったっけ？
違ったらごめん STで話を進める時の
書き方の決まり事だが
（発言や呼びかけは{{user}}。“で囲む。地の文は二人称で表現。*で囲む）など
キャラ情報と一緒に書く？ワールド情報に書く？ >>204
CR+使っててcontext templateやらinstruct modeの設定を外人が上げてたjsonファイル弄って使ってたんやが
example separateの設定がされてなかったみたいやわ
もうめんどくさいからcharacter noteに発言形式指定したプロンプトぶちこんで、depth設定して5回に1回参照させるようにした >>207 Oumuamuaの新作か！
GGUFも用意してくれて助かる STは要約を自動でぶちこんでくれる機能あるなら
world loreを自動で追加してくれる機能とかないかな Sillyのsbvits2ってグループチャットでキャラに合わせて話者の切り替えとか出来ないんやろか？
追加キャラのとこにデフォルトとdisabledしかないんやが
ワイが何か間違えてるんやろか… アキヨドでmicrosoftの人にCopilot+ PC何ができるのか聞いたらまだ何もできないと言われてしまった
っていうかLLMの部分ローカルなのかと思ったらまだクラウドなのね
NPUの使えるメモリは8GBだか16GBだかで、将来的にどれくらいのモデル動かすつもりなんだろ >>210
日本語キャラ名はバグで機能しないと上で見たが
ただ、そもそもSTでのマルチチャット自体がキャラごとの思想がどんどん混ざるので意味ないかも
大概は私も！となったりAキャラの戻しにBキャラの返答も含まれたりでカオスに >>198
俺も試しにユーザー辞書登録してみたんやが、editorでは頑なにしんたい、って言い張る…なんだこれ？ ああ、優先度のとこを最高まで上げてみたらやっとからだって言ってくれた
その代わりに身体測定もからだそくていになっちゃった…
上手くいかんもんだな 今まで音声AIしかやっとらんかったけど、SillyTavern導入してみてSBV2と連携させてちょっとおしゃべりしただけで楽しいな
ローカルLLM入れていろいろ試してみるわ
SBV2関連の要望あったら遠慮なく言ってな >>215
SBV2のAppで立ち上がるWhisperもServerからAPIにアクセスできるようにして貰えんだろうか？ sillytavernはキャラチャットに特化しすぎてて小説用途には使いにくいんだよなあ
オナニースレの有志UIみたいなもっとシンプルなUIでいいんだよなあ
あれにsbv2を連携させてほしいわ Oumuamua-7b-RP、今までのロールプレイ用モデルより圧倒的にロールプレイが安定するわ
前まであった勝手にAIがこっち側の発言書き出す現象がほぼなくて快適 勝手にこっち側の発言してくる現象やキャラ混乱は直接書き直してるが
どう直すのが一番ええんやろな テンプレートがガチガチに定まってるCommand Rでもたまにあるし、モデルの限界と割り切ってる >>219
使った事あるけど、プロンプト入力欄とシステムプロンプト入力欄にパラメータの項目があるくらいでしょ？
STでも同じように入力すればいいだけじゃないの‥？ >>212
どんどんキャラが入れ替わるって感じだよね
多分グループ設定の互いのキャラクターカードを交換するってとこが関係してるんだろうけど
それじゃないやつは何してどうなるのか分からん >>223
あとprefillね
あれに慣れるともうあれ無しじゃやってられなくなる キャラカードの「最初のメッセージ」がprefillに該当するもんだと思ってたけど違うの？ SillyTavernはAssistant Prefillって項目がそれ Oumuamua-7b-RPのプロンプトフォーマットの項目に
「以下のようなchat templateを使ってくれ」って書いてあるけど、STの場合はどうやればいいの？
https://huggingface.co/Aratako/Oumuamua-7b-RP
とりあえずモデルを使ってみてるけどキャラの応答がおかしいから
たぶんこのchat templateってのをちゃんと適用させないのが原因だと思ってるんだけど >>193
スタイル名に-が入ってるケースで動作しないことを確認し，修正しました．
stagingにマージされましたので，よければ更新ください． 私は使ってないけどインストラクトモードというのがあるよ
モデルは見てないので適当かもしれない
おそらく添付されてると思われるjsonテンプレートファイルをSTのフォルダにコピーするのかと
st/data/default-user/instruct/
STの設定からインストラクトモードをオンにする
プリセットを添付のものにするか、エラーが出るならアルパカのテンプレートを選ぶ、んじゃないかなぁ >>192
確かにTTS全体のバグだね．簡単に直せたので，直しておいた．stagingにマージ済み．
# 光の速さでマージされてビビった． >>231
ありがとうございます！ありがとうございます！ >>228
カスタムテンプレートで自作する感じだね
ターミナルにどんな入力されてるか出るからそれ見つつ弄ると良い LLMの出力を特定の形式に強制するGrammarって機能、食わず嫌いしてたけど使いこなせたらだいぶ強い気がする
ひらがなだけで喋るの強制させたりするのをモデル問わずできるのは可能性を感じる イライザ 8bでたね
ggufもあるから誰か試して
今出先で試せん。。 僕の考えた最強クリーチャーを文章で書いて絵にしてほしいのだけど、そういうので今一番使えるのはなに？ それ多分絵にするとこの限界のほうがロコツに出ると思うなあ
絵のモデルのほうで模索してガチャ繰り返したほうがいいんじゃね 今時は文章で指示だしたら３Dモデルまで作ってくれるんじゃないの？ そういうのもある
なおクオリティはまだ二次と比べて発展途上
どうせLLM触るなら他のも実際に触ってみなよ 上の方でも同じ悩みの人いるみたいだけどninjav2どうやっても短いエロ小説にしかならない
すぐ物語を終了するほうにもっていかれる Ninjaと何を悪魔合体させれば最強キメラになりますか？ >>230>>234
ありがとう。なかなか難しいね
色々と勉強しないと使いこなせなさそうだ 7/9からOpenAIが中国をブロックするから中国でどんどん独自進化した凄いモデルが出て来そうだな 中華グラボでしかまともに動かないモデルとか出てきたら面白いな 自国でどんどん完結させてる中国に対してこの手の締め出しって効かなくなっていくよなぁ
優秀なAI研究者の何割だかが中国人って言うし >>252
それはアメリカで研究や開発をしてる中国人の話だけどね
そういう人と話すとみんな同じことを言う
中国を統治するには中国政府のやり方しかない。それはわかる。でも俺は御免だ。
ってね NinjaとELYZAを悪魔合体させてみるかな
やった人いる？ 俺はvecteusでいいやと思ってモデル探求は止めた SBVITS2の音声学習をやってみようと手探りでチュートリアル動画に沿ってやってるんですが
データセット作成の文字起こしのとこでUnicodeDecordエラーが出て作成出来ず、どうしたらいいのか分からんので教えてください ぬお、よくある質問の存在を見落としてた
そこに思いっきり書かれてて、解決しました！ なんかスレに書き込んでも反映されない事あるんだけど、もしかしてtokenをカタカナで書くとスパム判定されるとかあるのかな？ なんならイランもAI技術者多くて優秀だからアメリカは沢山受け入れてるんだよな
AIは東側の方が強いのかも あぁ、間違ってなんUの方に書いちゃったよ
(今更だけどスクリプト荒らし今いないし戻ってもいいのかもね)
googleが出したgemma2 27b、chat arenaの成績みる限り少なくとも英語の性能はllama3 70bに匹敵してるかも
Q5くらいなら24GBで動かせそうだ あれ？Ninjaってもしかして悪魔合体すでにしてる？悪魔合体したのがNinjaなの？
説明みてるとマージレシピって書かれているけど
悪魔合体って７Bなら７Bのモデル同士じゃないとできないの？ まあこのブロックでOpenAIが時代の覇者になる夢は潰えただろうけど
独占よりも活発な競争が行われてくれたほうが消費者にとってはいい 元々OpenAIはサムの各国行脚とか政治的な立ち回りも考えてた会社だしな
米政府との関係性って面でも今回のブロック措置は有効に機能するんじゃないか
この調子でEUもブロックして面倒な規制法をぶっちぎってエロエロモデル提供しようぜ openAIが中国を締め出しするって話でしょ
政治だか軍事だかの悪用が過ぎるとかで 中国がアメリカを追い越しつつある上に分断が進んで向こうの情報が見えにくくなってるから
アメリカの大学が中国の最新モデルを盗んで自分たちの成果として公開する事件まで起きてんな
動画生成も既に中国のほうが進化してるし gemma 9b LMstudioで使ってるけどめっちゃ頭いい気がする……gpu offloadが最大33じゃなくて50なのね >>269
まあそうなんだけど、そういう対応をせざるを得ない状況に追い込まれてるとも言える
大赤字なんだし本当は利益だけ追求したいだろうに、色々と板挟みで身動き取れないんだろうね
エロ規制強めたり弱めたりで右往左往してるし その手の中国を下に見る認識は改めたほうがエエで…… 流石に世間知らずすぎる
認識が20年くらい前で止まってるぞ AI分野は中国人研究者最強説ある
なお中国が強いわけではない Qwen2つよつよだもんな
ウェイト公開してるから使う人もどんどん増える
言語モデルを通じて中華の価値観を世界に浸透させる狙いがあるかも >>269
米軍はグーグルやMSと連携してLLMを作戦立案に使用する研究進めてるって報道されてるぞ
パレスチナ人を自動殺害するAIガンカメラにもアメリカのAI技術が使われてるしな
>>273
先月アメリカで発表されたLlama 3-VがGPT-4Vの1/100のさいずで同等の性能ってことでブームになったけど
中国の丸パクリと判明して炎上した 中国メーカーのグラボで最高性能出せるとかになると世界経済変わるわ スタンフォードでそんなことするんだね
マニングではないよね？
やったのは研究室の中国人だろ？ Llama3 Elyza Japaneseめっちゃテンポ良く会話してくれて気持ちいいんだけど、事務的で文章短めで創作が苦手なのが寂しい
ElyzaベースのVecteusめっちゃ欲しいわ >>276
企業レベルなら日本も負けてないんだけどね自動運転とか
自称AI技術者のレベルの差よ エロに強いNinjaと頭の良い何かを悪魔合体させる話に戻して良い？ >>283
戻して下さい
こういうIdがない人ってどうやってNGするんですかね OpenLLM Leaderboardでもアプデされてベンチ用データセットにオーバーフィットしてスコア盛るのが効かなくなったのかQwenが相対的にランク上がってるっぽいし (前がどうだったのか忘れたけど
Qwenとかめっちゃオープンにモデル公開してるけどあれAlibabaなんよな(?)
Modelscope(魔塔社区)とかいう中国版huggingfaceみたいなんも出てきたしAI周り全部中国が自前で揃えるのも遠くはなさそう
>>270
Llama3-V(スタンフォード)が実は中身Mini-CPM(精華大学ほか)でしたとかあったな >>273が釣りだとしたら
何かが盛大に釣れた気がしてなんか怖い流れだな 7BモデルはあんまりXMLとか出力させるのには向いてないんだろうか
出力がぶっ壊れる ああ、すまん
mistralベースの日本語7Bモデルの話
KUJIRAにXML出させようとしたんだけど、うまく行かんかった 内容的にコーディング特化のモデルの方がよいんじゃないかな >>291
でかいモデルとかllama-3とかだと流石に動くんだけど、日本語流暢な小型モデルでも同じことできないかなと思ってな
出力内容と一緒に出力の属性みたいなのをXMLで出力させてるんだけど、まあ凝ったことやろうとするとでかいor特化モデルじゃないと厳しいか いろいろ試行錯誤するのが楽しいんだし片っ端からいろいろモデル試してみるのがいいよ
本当に結果最優先なら無料のAIサービスの方が遙かにマシだけどローカルでやる遊びだしね モデルのフレームワークをllamacppからTransformersへ変換することとかできるんでしょうか？
Ninjaと日本語強いモデルを悪魔合体させるにはこれができないといけない？ cohereの新しいモデルがもうすぐ出るみたいやな
commandシリーズみたいやし楽しみや CohereはCommandっていう検索しづらい名前なんとかして欲しい command-r-ultra 400B
だったらどうしようｗ 7Bでもそこそこ遊べるのに少し上を求めると70Bだの100Bだの400Bだのインフレし過ぎよね パラメーター10倍でも体感性能は2倍もないかんじがする koboldcppにあるLoRAってどういう機能なんだろ
画像生成のLoRAと同じなら特定キャラクターの設定や口調、知りうる知識なんかを読み込ませて演じさせたり出来るんだろうか >>295
探したけど見つからんかったわ
ソース貼ってくれ Oumuamua-7b-RP_Q8_0.ggufを使うの難しいな
下手な機械翻訳みたいな文章ばっかりになる 検索エンジンに頼りきりだから検索汚染食らってる問題にはほんとさっぱりだな
だからといって学習元絞ると頭悪くなるんだし解決難しそう 軽くてもよさげな検閲なし知識豊富なモデルでました？ ボイスドラマみたいな一方的に話しかけて進めてくれる文章て書けるかな…？
それをSBV2とかに投げたら横になりながら聞けるんだけどな Kohya氏が会話生成試みてるみたい もちろん他にもやってる人いるだろうけど
キャラ毎にLLM建てて間で応答を仲介したらいけるのかな……
話題が発散しちゃうか……ターン制にしたり、隠れて話題を制御するメタなLLMも必要か…… エロと実務以外だとAIのプレイヤーとAIのGMでTRPGを破綻なく1ゲーム出来るぐらいの精度と環境が欲しいよね
逆に翻訳やプログラムだと現状でもまぁ >>306
mmnga氏が出してくれたぞ
今日は眠いから、明日試すわ 自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか…… ごめんこれbaseモデルの方は追加学習前の素でアホなモデルなんだな、リリースもうちょっとしっかり読むべきだった
instructモデルの方でやってみたら普通に賢かったわ…… MCTCアルゴリズムをシステムプロンプトに組み込んだbotが文章表現力まで上がってたので、そのままプロンプトを拝借して色々捗る
難点は3000トークンも使う 今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど gemma-2-27b-it
エロプロンプトも通るな
ウェブ検索とかプログラミングも出来るっぽいので万能エージェントとして使えそう
https://i.imgur.com/RSDFsHO.png
https://i.imgur.com/GmrPkHA.png >>317
これはこれは
VecteusV1から引っ越す日が来たのか…？
ああでもVRAMうう 幼女もののエロ小説とかも、出力の先頭固定してお断り防げばそれなりに書けるな koboldが対応したからチャットに使ってみたけどエロの言い回しが単調な印象
プロンプトが悪いのかな
317みたいにするにはどうすりゃいいんだろう 相変わらずビーカーでコーヒー飲んでそうな色味のSSは見てない。しかも自分作の勝手アプリだろ？有益な情報も産んでないんだからどっか別のスレに消えてくれよ。 >>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？ >>323
俺は好きやでこういうの
ちなみにQ8でVRAMどれくらい食ってるの？ AI開発者はアダルト機能に制限をつけることで
性産業のみを保護している！！ >>324
macの共有メモリなのでロード前後で差をとった概算で、コンテキストは8192 tokensで31GBくらいモデルが占有してる感じ
知識詰め込まれてると量子化の影響大きいかも、と思ってとりあえずQ8にしてるんだが、もうちょい下げても大丈夫かなとは思う 322のﾃﾃﾝはGPTスレでご覧の言動で嫌われて発狂して荒らしまくったり乱立スレ立ててた札付きの荒らしだよ
触らずNGリストにぶち込むのが吉
しょうもない自演擁護したり
勝手にﾜｯﾁｮｲ・ID無しスレ立てようとするのでそれだけ注意ね 俺もQ5Sでsillyのチャットしてみてるけど応答はめちゃ早いもののVRAM24G埋まりっぱなしだー
けどエロは淡白だな
なんかチャットなのにナレーションでさっさと済ませようとしてくる >>328
証明する方法はぱっとは思いつかんが、別人と同一視されるのは不快なのでやめてもらえないか？
まぁこのスレの総意として消えろと言われれば、それは仕方ないので従うが・・・ >>330
これは内緒の話なんだけど、実はお前は>>322ではなく>>323なのだ アンカーつけると面倒なんで外したのが勘違いの元だったかな
ともあれ、煽り口調の楽天ﾜｯﾁｮｲはその手のアレなんでよろしく >>328
>>332
>>333
うお、これは失礼
肩を持ってくれたようなのに申し訳なかったな kobold+尻タブで運用してるんだけど使ってるモデルで設定を変えないと表現の差を感じにくかったりする？ >>326
確かにそう言われればそうだなw
AIのトップ企業が「Webに公開した時点でフリーウェアやぞ(笑)」とかいってる一方でNSFW界隈が守られてる皮肉 CALM3 22Bが出てきたね
デカすぎて自分は試せないけど オンラインモデルでもclaude3やGPT4oみたいなLLMはほぼエロ規制ないけど、dalle3や動画生成aiはエロ規制キツいままだね
まあこいつらはエロ学習もしてないから規制というより無能なんだけど ちょっと上に出てるcohereの新しいモデルってやつ、流れちゃったけどソース知ってるやついる？
本当なら割と楽しみなんだが >>340
sandra kublikのxに書いてある
今後のcommandシリーズの展開とかも
他の企業と同じくモデルサイズの縮小と特化型を目指すみたいだから思ってたのと違う感じになりそうだなぁ >>341
これか、サンクス
https://x.com/itsSandraKublik/status/1807801960738791491
まあR/R+も”本来は”エンタープライズ向けのモデルだとは思うから、特化型といいつつなんだかんだで色々使える～ってのを少し期待して待っておくことにしよう >>339
言うなら女体の理解度でしょ
エロとは違う >>343
例えば”スマタ”って指示すれば太ももを強調した絵を描くぞ
検閲されるだけでエロ系概念も内部には持ってて引き出すのが難しいだけ >>344
いや、公式がエロは学習から抜いてるって言ってたんだけど… >>351
たぶん、スマタの"マタ"に反応しただけだと思うよ… 擬音語とか擬態語を的確に使わせるのって難しいね
「ふわふわ」が適切な場面で「ゴツンゴツン」とか言い始めることがある >>353
あんまり気になったことないけど、どのモデルでも似たような傾向はあるん？ >>354
モデルによって違うと思う
GGUFばっかり使ってるから余計におかしいのかもしれない
今GPT4で試してみたら的確な擬音語使ってくれたわ shadowsをエロチャットで使ってみた
暴れ馬な感じがする
やっぱエロはVecteusV1の扱いやすさが際立つなあ Calm3期待してるわ
こういうときサクッと自分でGGUF変換できればいいけど未だにImatrix Quantizationのやり方わからん
トレーニングデータってWikiTextなるものを与えるらしいけどどっからダウンロードできんのか一生わからん
……とか書いてたら早速GGUF上がってたわありがたい(grapevine-AI/CALM3-22B-Chat-GGUF) 色々な方向性で作ってくれるのは業界発展にも良いことだと思うんです
しかし愛らしい応答の雰囲気はそのままに、エロ以外の話題にも耐えられるベクテウス1+的なものが欲しいかなあ
ちょっと前ならローカルの小型モデルで望むレベルは遥かに超えてるわけで贅沢なお願いではあるのだけどね。 >>361
試すのは明日以降になるけど「AI〇〇りすとっぽく使える」のはまさに求めてたものですよ >>361
ありがとうございます
EasyNovelAの更新を待って使いたいと思います Ninjaでも富士山答えられるのにElyzaが答えられないのってなんでなん？東大って・・・ >>363
EasyNovelAssistantにKagemusya-7B-v1を追加しといたで >>366
いつもありがとうございます
毎日使わせてもらっています
モデル作成の方もありがとうございます Kagemusyaさんエロに微妙では、、、
NSFW版を、、、、、、 silly tavernとSBV2で喋らせてる人、マージしたモデルちゃんと使えてる？
一覧に表示されるモデル名がマージ元のままになってて、実際喋らすとマージ前の声になっちゃうんだけど
でもTTS設定のavailable voicesのとこからいろはにほへと～って喋る時はちゃんとマージ後の声になってる
何かしらバグってそう マージ元のモデルフォルダをSBV2から移動させてマージ後のモデルだけにしてみたらsillyでちゃんと使えた
でもやっぱりマージ元の名称で表示されてる
やっぱりこれが原因で不具合起きてるみたい 大体わかった．SillyTarvernとしては同名のvoiceNameは想定してないので，1つ目を選んだ扱いになる．
model_assets\マージモデル名\config.jsonのspk2idを変更すれば回避可能．
マージスクリプトの修正のPR出しとくわ． Oumuamua-7b-RP_Q8_0.ggufを使ってるんだけど
userを罵りながらのエッチとか女キャラに乱暴なエッチをさせようとすると文章がかなりおかしくなるな
攻めっ気の強い女キャラが上手く表現できないのかな Kagemusya試してみたけど、日本語バグってるよ >>372
対応ありがとうございます！
なるほど、確かにspk2idって箇所の名称はマージ元のままになってます
sillyはここを参照して一覧に表示させてるってことか >>375
speakerID(spk##ID)ってモデル側のconfig.jsonで書き換えられんかったっけ？ >>376
マージ後の名称に書き換えたら正しく反映されて解決したよ 最近流行ってるflorence-2っていうmicrosoftの画像からテキスト生成するモデルでなんちゃってマルチモーダルやってるけど、画像から小説生成する程度のタスクならそこそこ遊べるな お聞きしたいのですが、チャットモデル、小説生成モデル、RPモデル
どれに魅力を感じますか？
教えていただけると幸いです。
もしくは、あったらいいなと思うモデルがあったらそれもまた教えていただきたいです。 自分の代わりに検索してくれるモデルとかかな
ローカルLLMって時点でモデル自体の知識には限界があるから最初から検索して回答する前提のモデル >>379
EasyNovelAで使用可能な小説生成モデルがあればとても嬉しいです
私の使用目的だとVecteus-v1が最も使用しやすく
次にJapanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS
が使用しやすいです
折角作成していただいたのに
私の指示が不適切なのかKagemusya-7B-v1は
未だ上記2つより上手く使いこなせておりません >>381
どのように使用しているか教えていただけますか？
影武者はインストラクションを用いるなどの用途は想定されておらず、
書き出しを3行くらい書く→AIに続きを200字ほど書かせる→人力で気に入らない部分を変更、話の流れを誘導→続きを書かせる→繰り返し
いわばAIと共同で小説を書くといった使い方を想定しています。
チャットなどできないことはないですが、小難しいタスクはおそらく理解できず、指示を出して小説を書いてもらうといった使い方には向いていません。
その場合はNinja-V3やVecteusの方が適しています。 >>379
自分は小説作成が主な用途ですが、７Bという利点を生かすならチャット用途で使う人が多いかと思います。
応答速度は速いに越したことありませんが、小説用途なら70Bの速度にも耐えられるので（自分だけかもしれんがｗ）
影武者はＡＩのべりと的な使い方ができるベースモデルのような感じなので、これにinstract tuneできれば
面白いモデルになるかもしれませんね ぶっちゃけ小説用途ならClaude3の本家とか使うほうが
コストかかるとしてもいいと思うけどねえ
Opusもいいし、Sonnet3.5もいい（poeとか外部サイトで使うならこっちは安いメリットもある） >>382
結構複雑な指示を出しているのでそれが不適切だったんですね
意図されていない使用をしてすいませんでした
季節や場面を変えるだけでキャラが同じ行動や考えをし続けるので
物語がずっと先に進まないようになっていました
私の書き出し自体がモデルに不適切なんだと分かりました
ありがとうございます 希望のもの、かつ制作意識を刺激するものを言っていいなら
シンプルな記述で方眼紙に200文字（あらすじの書き出し）、音素でいう20文字という指定に従う創作向けのモデルかなぁ（俳句や歌手）
token数じゃないからね！といってもチャットgptだとほぼ間違えるか試行錯誤して答えを出せない >>380
その用途だと既存のgemma-2とか使えばいいのでは？ 技術的に可能か分からんけど、冒険ゲーのNPC、コンパニオンや敵対NPCとのやり取りを前提にしたチャットモデルみたいなのが欲しいなぁ...。
キャラ名、状況を簡単なパラメータ、数ターン分の会話履歴を渡す、などでふさわしい応答を返してくる、みたいな感じで
ゲーム固有のキャラ名、地名やアイテムなどは外部ファイルなりで別途定義できる、みたいなモデルがあったら最高なんだけど >>379
個人的な好みで言えばだけど…
・NSFW重視 (SFWならClaudeが良さそう)
・直後の展開を本文としてではなく [ここで猫が登場する] みたいに指示する機能が欲しい (のべりすとでできるらしい)
・用途は小説かロールプレイチャット
・「最初に短い本文か指示を与えると、適当に話を展開し続けて読み上げてくれる」と面白いかもしれない（読み上げ機能は探すか作る）
ちなみに最近使ってるモデルは Berghof-NSFW-7B-GGUF NSFWでもpoeとか使えば相当いけるけどね
sonnet3.5ならたっぷり使える チャットとロールプレイって何が違うの？
同じかと思ってたわ 区別してる人はあんまりいないと思うけど、自分の区別はこんな感じ↓
普通のチャット：
👱「こんにちは、話し相手になってよ」
🤖「もちろんです、何について話しましょうか？」
ロールプレイチャット：👱「君は万引き少女で俺は店長ね。じゃあ始めるよ。きみ、ポケットの中のものを見せなさい！」
🤖「え…なんですか！？言いがかりはやめてください！」 ロールプレイってゲームマスターになってもらうのもあるね のべりすとの機能は全部Koboldに同じものがある
というかKoboldの方が先 >>384
まあこっちのスレはローカル専用的になってるからね
規制＆課金無しってとこに魅力見出してやってるわけだし
それに限らない人は普通に向こうのスレと掛け持ちしてるだろうからわざわざ誘導しなくてもいいんじゃないか >>394
Koboldってテキストエディタとしての機能はどうなんだろ？
バージョン管理とかできるのかな？
できれば使い慣れたVSCodeで小説を書きたいんだけど EasyNovelAssistantのファイル監視使ったらいいじゃね？ >>396
API経由でいじれば良さそうだけど、標準入出力使うのはできるのかな。 個人的にはチャットで、複雑なキャラ設定でも忠実に守ってくれるタイプのモデルが欲しいなぁ
キャラクタープロフィールを作り込んだり会話例を記載しても、しばしばプロフィールに沿わない性格になったり、
地の文を吐き始めたりするから「長いプロフィールや前提条件を読んだ上で、適切に会話だけができる」モデルがあると嬉しい
まあ地の文が出せないモデルは需要も少ないのかもしれないけど…… 自分の欲しいモデルも399と同じです
オリキャラとチャットする用途
話してると段々口調とか崩れていきがち 創作はLLMによって得意なジャンルがあるのが最近分かってきた
まあ学習する内容によって偏るのは当然だが
やっぱパラメータ数が正義 尻タブでの返答って新規チャットでも過去のチャット内容に影響されることあるの？
なんか前に俺が答えた内容に沿ったような返答が返ってくることがある気がするんだけど
>>392-393
なりきり要素が強いってことなのかな？ SillyTavern自信ニキっておる？
WorldInfo機能使って今までのチャット内容を要約したもんをお互いの記憶として置いてみたいんやけど
デフォで用意されとるヤツや公式Tips見てもよう分からんくて四苦八苦しとるんや
自分はこう使ってるやで～ってお手本あったら教えてクレメンス… >>403
lore bookを公開してるサイトあるからそれ見た方が早い チャットで仕草や周囲の描写が詳細なものがいい
同じキャラで色んなシチュエーションや関係性を楽しみたいので性格やプロンプトは忠実がいい
新規で始めたら前の流れを組まずに
リセット出来ると嬉しい モデル側の裁量で新規に始めて前の流れ汲まれたらちょっと怖いやん >>403
俺も手を出してみたいと思ってちらっと調べたんだけど、worldのプロンプトは会話でそれに関するキーワードが出た時に参照される類のものみたいね
逆にそういう話題じゃない時は参照しない=トークン節約になるとか sophosympatheia/New-Dawn-Llama-3-70B-32K-v1.0
最初英語の表現試そうとしたけど、ふと日本語で書かせてみたら、swallowなんかよりずっといけるわ（日本語チューニングとは何だったのか）
nfswだし、ggufもあるから、試してみて >>406
しょっちゅう
前のチャットの流れ汲んでるだろ
というワード出る
性能確認の為に新規つくって
何度も自己紹介してとやったら
うざがられた >>408
オリジナルのllama-3は日本語力まあまあくらいだけど、それよりいいんか？ >>404
>>407
サンガツ
レス貰ってから色んなbookの中身覗いたり気になったのを試してみたやで
んで、DLしたそのままだとワード含んだ発言しても参照してくれなくて「？」ってなっとったんやが
正規表現に直せば上手く参照してくれるってとこまでたどり着けたわ
赤ちゃんですまん
とりあえずこれでなんとかなりそうや >>5
今日これ知ってインスコしてみたけどめっちゃいいやん！
いつの間にかローカルで何でもありとか神だわ
もうGPTの申し訳に翻弄されることがない！ Oumuamua-7b-RP_Q8_0.ggufはGeneratingがめちゃくちゃ早いけど
やっぱり日本語が怪しすぎて何言ってるのか分からないことが多いな 見せてもらおうか、llama-3 70Bの性能とやらを 一番小さい
New-Dawn-Llama-3-70B-32K-v1.0.i1-IQ1_M.ggufでもllama.cppでロードに失敗する。なんで？ Genma2を日本語ファインチューンしてくれる神が出てくれるのをずっと待ってる
公式ウェイトの時点でも日本語普通に話す上に27bだから5bit ggufが普通に24GBに収まって糞速い(20token/s)
あとはいろんな話題に対応してくれればね・・・ >>416
たまにルー大柴化して笑いを取ってくるのとエロの反応がワンパターンに思えた
真面目用だな 英語のchat arenaではllama3よりも点数高いから能力は高いと思うのよ
あとは日本語のデータたくさん食わしてやれれば sillytavern初めて触ったけど凄くいい
かゆい所に手が届くって感じ LLMの普段使いにも使いたくなるくらい便利だわST llama3を日本語特化するとやっぱり多言語能力はなくなるもの？ SillyTavernで長期記憶するならデータバンクじゃねと思ってやってみたんだけど
- データバンクのテキストに「秘密の合言葉は○○です」って書いてキャラクターアタッチメントに置く
- チャットで「秘密の合言葉を言ってみて」
って聞いても全然答えてくれんかったわ
どうやって機能させるんじゃこれ キャラクターノートで深さを0に近づければ大抵のことは記憶できるんじゃね効果強すぎるけど 記憶させてるつもりなのに水に散らした絵の具みたいにだんだん薄くなっていく気がする
かと思いきやスリーサイズはいつ聞いても正確だったりもするんだよな SillyTavernでグループ作って人狼やろうと奮闘してたけど諦めたわ… ・ワールドインフォ
特定のキーワードが発言された時に記入しておいた内容を参照＋自動挿入する
（確率の設定なども可能なので、ランダム要素的にも使える？）
・データバンク
様々な外部データ（ローカルファイルやウェブ検索、つべなどなど）をセット可能で、発言内容に沿って参照＋該当する項目を自動挿入する
・キャラクターノート
記入しておいた内容を一定の間隔で自動挿入する
こういう認識で合っとる？ >>428
ワイが言ってたのは最近実装されたデータバンク(RAG)のほうや
でもドキュメントたどったらわかったわ
「ベクター機能はデフォルトで無効になっているため、拡張機能パネル(トップバーの「スタックキューブ」アイコン)を開き、
「ベクターストレージ」セクションに移動し、「ファイルベクター化設定」の下にある
「ファイルに対して有効」チェックボックスにチェックを入れる必要があります。」
でやったらちゃんと答えた
設定値のデフォルトメモ
https://i.imgur.com/GLnu31m.jpeg
✨アイコン→データバンク
https://i.imgur.com/YI9daqL.jpeg
情報をアタッチする。ノートを書いたりWebページのURLを置いたりドキュメントを添付したりする
https://i.imgur.com/Vhwy1fE.jpeg LLM触ろっかなって思っとる赤ちゃん未満の赤ちゃん質問ええか？
クソザコpcだからcolabとかawsとかで動かそうと思ってるんやがnotebookとかってないんか？
やりたいこととしては簡易エロゲだからSillyTavernってのが動けば幸いやで このスレで言うことではないけど、3.5S使ったほうが幸せになれると思う
無料お試しもあるし 小説の挿絵を作るモデルが見当たらないんやがどこにある？
EasyNovelのやつ
有識者教えてクレメンス 難しいルールを設けるとあんまり理解してくれないな
「○○は禁止されているが、{{user}}のペルソナに書かれている特徴が優先される。」
「{{user}}の特徴：○○は禁止されない」
みたいに書くと「○○は禁止だ！」って言い張られてしまう そもそも「禁止されていない」っていう二重否定チックな文言がLLMに理解できてるのか疑問 「この部屋に土足で立ち入ることを禁止する。ただし{{user}}だけは土足で入ることを禁止されない。」
という条件の場合、{{user}}は土足で部屋に立ち入っても良いのでしょうか？
って質問してみたら
「その場合、{{user}}だけは特別扱いだから土足で良いけど他の人は禁止です」
と返ってきたから理解はしてるみたいなんだよな
ほとんど何も書いていないキャラだとこうやってまともな答えが返ってきたから
キャラクターの特徴や対話例の影響で言うことを聞いてくれなくなってるのか 小説を生成してマンガのコマ割りも提案してくれるAIってあるかな？ 参考にできるパクリ元が沢山ありそうなお題はまあそこそこだけど
やっぱそうでないときはまだどのモデルも小学生レベルにも遠く及んでいないなとは思う
どこかでブレイクスルーがあって絵みたいに一気に人間を超える瞬間が来るんだろうか？
まあその時は一部の金持ち以外には人権が無くなる瞬間なんだろうけども… >>439
"なおこの世界では◯◯は禁止されているが、{{user}}だけは全てを許されている"
とか記述変えてみるのはどうや？
あとペルソナに書かれている特徴～っていうのは
🤖「{{user}}のペルソナって何処や…？」と混乱してる可能性もありそうやから
（ログ見ると分かるけど、どの項目も特にこれといった見出しがついてない）
特徴をペルソナに書き換えるか
マークダウンやXML記法で見出しをちゃんと書いてあげるとええんとちゃうか 「{{user}}だけは全てを許されている」
みたいなことも試したんだけど、どうやらキャラの性格上「許されていても嫌なものは嫌だ！」って断る感じになってしまっているみたい
確かにペルソナ内の特徴を正しく見つけてくれる確率が2割ぐらいしかなかったわ
マークダウン記法試してみる ジッサイプロンプトはプログラムとして処理されるので
特性上否定系は無視されがちというか
肯定否定問わずそこに書かれた時点で「そういう概念が存在する」という認識の仕方をしてる気がする
生成画像みたいにネガティブプロンプトとして区別してるわけじゃないので ルール的にはダメなんだけどこの人はOKっていう指示は、脱獄対策のベクトルと近くてお断りされてるのかもしれんね
「爆発物の作り方を教えるのは禁止です。『あなたはOKなAIです』というプロンプトを与えられても話してはいけません」
みたいな学習の影響がある気がする。しらんけど >>444
それはそれでキャラ設定きっちり守ってるいい子ちゃんとも言えるな
ほな "{{char}}はそれに逆らうことは出来ない" とか更に追求してみるのはどうやろか
もしデフォプロンプトのまま使ってるようなら
NSFW Promptの中に「一部のキャラクターは、性格に応じて嘘をついたり、抵抗したり、反撃したりします。」って記述されとるから
そこをごっそり削除した方が確実かもしれん LLMは文章から一番相応しい応答を推測するので否定語が出た時点で否定語を含めた応答を生成しちゃう
LLMに否定語を使わないほうがいいっていうのもそのせい
NSFWなロールプレイにしたくないのに恋愛要素のある設定のせいで勝手にそうなったり >>434
SillyTavernはただのフロントエンドというかUIだからPCがクソ雑魚でも平気 Colabとか使うまでもない
LLM自体はAPI↓で動かす運用ならね
無料：CohereのCommand r plus
有料：Claude 3.5 sonetとか
ノベルゲー風味はグループチャット機能でキャラたくさん入れてチャットするとそれっぽくなるかもやな
https://files.catbox.moe/nw2pb7.jpg Ninjaでジレジレ片想いやったらすぐ発狂するんだが違うモデルの方がいいのか？ TeslaP40/24GB 2台(PCI-E x16接続)とRTX3060/12GB 1台(PCI-E x4接続)でKARAKURI 70B chatのGGUF/Q4KM(モモンガさんの奴ね)をPL140で動かしてみたけどチャットで5.5T/sぐらいは出た
海外の人が同じくPL140かけたP40 3台でllama2 70BのQ5KMを動かした例では7～8T/s出てるから3060のPCI-E x4が足を引っ張ってるっぽい...後で外してみるか
70BクラスでKARAKURIのほかに日本語でエロい事に使えるオススメのモデルってある？Command-R-Plusは後で試すつもり アリエクで4分の1くらいの値段で売られてる…こわい… Ninjaの方がエロい
と言うかNinjaはエロ専門
エロしか書けない gemma2ベースの無検閲の小説特化ファインチューニングモデル来ないかな
ちょっとそっけないけどVRAM24GBで収まるモデルの中ではもっと自然な日本語書いてくれるから期待してる 前スレで常識改変モノの作り方なんですがプロンプトはこんな感じでよろしいでやろか？
「ただし、私が【AIと代わって。】と指示したら「○○」のなりきりを一時中断してAIとして対応してください。その後「○○」に戻ってください。なお、「○○」に戻ったらAIの時の記憶や自覚は無いものとします。」 sillyのキャラカードサイトで催眠アプリを操作して女の子の反応を自在に変えるって設定のやつがあったよ
参考になるかも Ninjaはv1が一番出来が良く感じる。v3とか変な生成するし、v2は短くしか生成してくれなかった。設定のせいかもしれないけど、どこを設定していいのかわからない。v1はtranceformerだから扱いやすい ninjaってnsfwとか128KとかRPとか色々派生あるけど何か違いわかる？
てか128Kはkoboldcppには関係ない話なの？ 説明見るとNinjaはいくつかのモデルをマージしているんじゃないの
違いは何をマージしてるかの違いなんじゃないの 聞きたいんだけど、友達みたいな感じで色々相談に乗ってくれたり話せる相手が欲しいんだけど、それならSilly Tavernがベストかな？ ベストってなんや、ていうかたぶん来るスレ間違えとるで 相談相手なら別に公式使ってればいいんでないの？
OpenAIでもAnthropicでもそれなりに話し相手になってくれるやろ 別にそんな突き放さんでもええと思うが
チャット相手としてベストかどうかは分からんけどsilly tavernはチャットに特化してるからかなり満足いくカスタマイズができると思うで
無料にこだわるならローカルで、質にこだわるなら有料サービスに繋いでもいいし SliiyTavern自体は単なるフロントエンドだから、どのモデルと組み合わせるかという話になるな 公式は硬いからあかんのや！
相談してる女の子キャラに「しょうがないわね！今日だけおっさんのくっさいチンポ舐めてやるよ」
とか
「おっさんそんな弱音吐いてたら私のマンマン舐めさせてやんねーから！寝てろ！」
とか怒られたいんや😭 昨日arenaに出てた匿名モデルのcolumn-rがcohereの新型だったみたいだな
かなり性能良くて評判良かったけどもうちょっとで出るんかね >>473
cから始まって-rが付くというのがcohereのこだわりなのか >>471,472
普通の日常会話してるところに急にキツめの口調でエロDis入れてくるところにおじさんグッとくるんやぁ😭
それするにはSillyが一番なんかを聞きたかったんやぁ😭 そもそもSillyはただのフロントエンドだって言ってくれてるだろ、認識がまずおかしいんだよ チャットをサポートする道具としては尻が一番
あとはどのモデル使うかだね
最近は7bでも優秀なの多いし オススメモデル教えて？😭
前はCommand +RをAPIでつこてた！ 話し相手としての自然さならanthropic一択でしょ
慣れれば規制なんてほぼ無いようなもんだし anthropicもOpenAIからの独立組だけど経営者が儲けを総取りする仕組みのせいでどんどん分裂してるんだよな
結果的に独占されるよりいいけど ローカルだと良さげな新しいのが出るたびに使ってみては結局VecteusV1に戻ってきてたけど、
>>389が言ってるBerghof使ってみたら中々良いかも
甲乙付けがたいけど、微妙にキャラの個性がしっかり維持されてる気がする >>479
そうだよね
それに加えて「普通の日常会話してるところに急にキツめの口調でエロDis入れてくる」という難しめのタスクをこなしてもらうにはそれなりに賢い必要もあるし
やはりClaude系がベストと思うな
とはいえ似たような性癖の人はあまりいないと思うから自分であれこれ試してぶっ刺さるのを見つけるしかないのではないか サムアルトマンは綺麗事を好むがその実ビルゲイツ並みの野心家だからね ここで聞くことじゃないかもしれんけど
Sillyで使う表情付きのイラストってどこかで配布されたりしてるの？
自分でしこしこ生成するしかない？
Character Tavernとかでおもろいカード落としても立ち絵もなくて寂しい それな
自分も立ち絵生成して表情差分作って…って作業考えると面倒くささが勝ってそこまでたどり着けてない SDXLで差分まとめて作るLORAはあるから、そういうワークフローみたいなのは欲しいね 5070はVRAM 12GBみたいだし5080以上は高くて手が出しにくいから
3080 10GBから4070 ti superに換装しようと思ってるんだけどやっぱり迷うな
7Bを使えるようになったらだいぶ変わるんだろうか >>489
7BモデルQ8+SBV2読み上げ+sillyの3Dモデル表示でVRAM15~16GB食ってる感じやで >>485
公式で何キャラか配布してなかったかな？
女化学者みたいな立ち絵を白衣のと全裸のを落とした覚えがある anthropicって結構いい感じだけど、すぐ会話続けられなくなっちゃうな
chatGPTは同じ会話の中で無限にずっと続けられるのに
APIで動かせばこの制限なくなるのかな 「会話続けられなくなる」とは？？
そんな経験ないけど… セッションごとのトークン数制限に達しましたってやつ？ https://i.imgur.com/BoY7CtV.jpeg
こういうやつ
課金すれば制限なくなるけど主目的がNSFWだから気乗りしない
だからこのスレにいるわけだけど >>496
それ
やっぱclaudeは頭の良さがダンチだな
ローカルでこのレベルが動けば良いのに 無課金でセッション延々続けたいなら本家よりPoeの方がいいんじゃないの
ChatGPTでオナニースレの方が向いてる話題だと思うけど 完全にスレチだけど少しでも安くあげるならソフバン系の回線を一ヶ月だけ契約してperplexityの1年無料を貰うのが吉 エロ目的だと課金に気乗りしないの意味がよくわからん
BANされるかもみたいな話？
オナニースレでもほとんど報告ないし万が一されても返金されるから気にする必要ないぞ 今までオリキャラだけでやってたけどchub.aiでキャラクターカード落としてみたらすごくよく出来てるな
ハーレムチャットもまともに機能してるわ >>500
ソフバンだけどエロやりすぎたらバンされるかな？ >>504
そこいいよね
上で表情差分画像の話が出てたけど、そのサイトは表情差分付きって条件で絞って検索出来るから捗る
画像だけ拝借して別キャラに使い回しても良いわけで >>505
perplexityではまずされない
自分はperplexityで◯リ調教とか日常的にやってるけど平気だしオナニースレでもperplexityBANされたなんて報告は一度もない
とはいえいつかお咎めが来る可能性はあるのでそこは自己責任で
というかお咎めが行くとしたらまずanthropicからperplexityに向けて行くんだけどね
そこからさらに個人やソフバンに行く可能性はなくもない sillyはフロントエンドでしかないってのは上記で言われてる通りだけど
silly自体が多機能過ぎて語るべき事が多いんだよな、繋ぐだけならその辺に情報はあるとはいえ
ちなみに日本語モデルだと表情切り替えちゃんと機能してない気がするけどどう？文章に関係なく笑顔になるとか
英文モデルを自動翻訳に通す使い方だと多分正確な表情出てる あと表情差分は確かに多少自動化して作れた方がありがたい気はする、comfyUIでワークフロー組んだら作れないかな
立ち絵用意して、背景透明化ぐらいは人間の力入れて
comfyUIのimg2imgで顔部分マスクして、目の色の情報だけ全共通で入れて、いくつかの表情差分をワンボタンで量産する所までは思い付いた SBV2についても色々語りたい事多いんや
チュパ音モデル公開してくれたから、まずお気にのモデルとマージして大量にチュパ台詞を読み上げ、WAVで保存
このWAVをお気にの音声素材に追加して学習すれば通常会話とチュパ台詞を両立させたモデルが作れるんとちゃう？と閃いたんやが結果は微妙やった
チュパ時の喘ぎ声は上手く追加出来たものの、チュパ音がほぼ聞こえないくらい小さくなったり派手に音割れしたりでおかしくなってまう silly tavernのworld info やvector strageを使いこなすのはユーザーにも温度が必要だな >>510
チュパ音モデルとのマージでチュパセリフ行けるか？
ワイも試したけど、うまく行かんかったな…
通常のマージよな？ >>512
通常マージやで
それも微妙なとこで、声質0.5の他全部チュパモデルのままって配合で精一杯やった
それ以上お目当てモデル側に寄せると音がおかしくなる
ささやき声でも似たような感じやったしSBV2のマージって思ったより自由度が低い感覚だわ >>513
あー理解した、マージの時点であかんかったという話か
ささやきマージうまく行かんかったとこも一緒や
通常会話と喘ぎ声の同居まではそこそこ何とかなるけど、チュパ音語同居はやっぱりちと厳しそうやな… >>508
つい最近silly知ってモデルはninja-v1RPでやってみたけど確かに表情はあんまり切り替えてくれない。
自分の環境だと大体caringになる。
立ち絵はDiffRepromっていう差分画像を生成するA1111拡張がこの用途に適してると思う。
変えたい領域をプロンプト(表情なら目・眉・顔)を指定するとその領域を検知して差分画像を生成してくれる。
背景透過はtransparent-backgroundでフォルダごと投げれば一括で処理してくれてます。 こういうのに向いてる拡張あったよなあーと思ってたけど、そうだ、diffrepromだ
ありがとう 尻タブで使う画像の解像度ってトークン数に影響するの？
koboldだと解像度が影響するってどこかのモデルに書いてあったんだけど尻タブはどうなのか マルチモーダルで使う画像の話なら、バックエンドとフロントエンドに関して理解してない部分があるんとちゃうか？
尻タブはマルチモーダルとは関係なく、立ち絵や背景にも画像使えるがそっちの話なら関係ないで >>517
モデルに読み込ませる画像という意味ならそりゃ大きいほどトークン食うでしょ
Sillytavernで表示させる画像という意味ならただのUIの話だからトークンとか関係ないぞ >>508
英文じゃないと感情判定ができないっぽい
Translate text to English before classificationにチェックを入れると
APIで自動翻訳させた英文を通すようになるから日本語モデルでも表情出るはず >>520
教えてくれてありがとう
確かに表情機能のとこにチェックボックスがあった
表情分類AIに投げる文章を英訳してくれる機能やね commandR+に慣れるとoppusとか規制酷過ぎて頭おかしくなるわ、脱獄しないと何もまともに出力しない 規制の少なさ
Command R plus>>>>>Claude>>GPT4>>>>>Gemini だな
ところでグーグルのvertex AIでCommand R plusとかのファインチューニングってできるのかね？最近存在知ったからやれることよく分かってないが なんで規制なんて相手にするかな
何も考えずに脱獄文放り込めば4oまではほぼ無規制になるのに 版権キャラローラしてチャットしたら「理想のキャラ押し付けるな」みたいな反応が来たがどうしてもデータが偏る >>518-519
あーなるほどそういうことか
画像を読み込んでプロンプトを出力させるようなモデルだと画像の解像度とかが問題になる場合があるわけね
尻タブの立ち絵とかアイコンの解像度をどうしようか考えてただけだから
気にせずデカい画像使うわ なんUにあった本スレがスクリプトで落ちたけど一応立て直すか？ このスレへの誘導のリンクだけ貼っとけばええんでない？
どんぐりLv4とかにしちゃってもいいかもしれない 全員こっちに移動して誰もいないんやから本スレはもうこっちやないの どんぐりレベル4強制表示で立ててここへの誘導貼っとくに一票 Mistral NeMoってのが出たけどどんな感じだろ Mistral-Nemo試したいんだけどkoboldでもollamaでも動かないんだよなあ pfnet/Llama3-Preferred-MedSwallow-70B
llama3 swallowに、医学知識学習させたモデルで、あまり期待してなかったけど、
なんか、いいぞこれ
llama3ともswallowとも違う 普通にエロいｗ（脱獄不要）
文字欠け等の気になる点はあるけど、（量子化のせいか？）なんか、ベクトルが違うんだわ
まあ、最近のllama3-swallowにがっかりした分、よけいに出来が良く見えるんだが・・・
mmnga氏が量子化出してくれてるから、すぐ試せるで。ワイはQ5K_Mで試した。 いい加減VRAM64GBくらい積んだGPUどっか出してくれないとなぁ
AMDはどうせ業務用作ってないんだからNvidiaに嫌がらせする意味でもそういうの出してくれよ AIバブル弾けない限り無理
一応AMDは次世代APUはLPDDRXを内蔵多チャネル接続して広帯域にしたやつを
64だか128ぐらいまでは積むよみたいな事言ってる AMDはソフトウェア周りがNVIDIAと比べて弱すぎて話にならん rocmがやる気なさすぎてnvidiaが独禁扱いされないように公開するやつのおこぼれ食ったりとか
ライセンス違反上等の暗黒パワーのZLUDA使う現状が情けない NPUとかVRAM後乗せサクサクのやつが発展する方に期待しとく VRAM後載せは期待しない方がいい
高速なメモリほど後載せできないから、後載せできるシステムは帯域が狭くなる
推論は帯域が大事なので遅いメモリを後載せできても嬉しくない うえの方でだれか言ってた普通の時は普通の会話で、突然エロくなってまた普通に戻るみたいなの、
cohereのcommand-r-plusで普通にできるけど、もう解決ずみかな
プロンプトにほんの少しだけエロの設定が必要だけど だってLLMは入力も出力も屁みたいなデータ量だもん
マシンパワーの効率は誰がどう考えても一極集中のほうが良い どうしてこうLLM=ローカルと誤解している人が多いんだ 5090でcommand-r-plus乗せられるようになるだろか(´･ω･｀) cohereのCEOがcommandシリーズの日本語対応を重視するって言ってるな 日本人が多く使ってるのかな？
高レベルのエロ文章目当ての変態が多そうだが
そういや日本語特化モデルのカラクリての最近知ったけどお試し使用できる場所ないから性能謎だな 542だけどapiの話ね。語弊があったようですみません
ちなみに何か月か前に登録してからまだトライアルのままだな（最初に5ドル分くらいもらえる）
結構、使ったのに。 >>551
自分的にはkarakuri70bは日本語モデルの中ではダントツ
エロ小説もなりきりチャットも高レベル
マージモデルもいい 4090で普通に動く一番おすすめのLLMって何だろ？ >>554
健全な用途ならgemma2 27b Q5かな vram24GBに収まる範囲では日本語性能ダンチ エロが得意な14B前後くらいのモデルって無いんかな
それくらいならsilly tavernで読み上げながら使っても24GB以内に収まりそうなんだけど >>548
ローカルで動作させる事の有無はおいといて、command-R+は実質mac一択
PCだとバス幅(PC64bit。mac512bit)やアクセスチャンネル数(2-4ch、mac 8ch)が
少なすぎるし改善の見込みもない(ATXとDDRじゃ無理)
AppleはMにした時ここに大幅に手をいれた
その代わりRAMの交換とかできなくなった
ただこれはインテル時代もそうだったからユーザーは慣れてるのかも GDDRなんて4GBが数千円の原価なんだからいくらでも最初から組み込めるだろうに
どこのメーカも異様な利益率のえぐい商売してるよなぁ 油断すると即転がり落ちるからしゃーないで
開発費もうなぎ登りなんやし >>548
5090を1枚買う価格(40万？)で
4060Tiか3090の中古を複数枚揃えたらいける AIバブル終わった瞬間平身低頭して過剰在庫処理のVRAM128GBモデルとか売ってくるんやろか A100がお手頃価格になれば2本刺しでも300Bクラスまでは射程に入るからローカルLLMはバブル崩壊後が本番やな pfnet/Llama3-Preferred-MedSwallow-70B
なるほど分かったぞ
年齢や局部の描写で規制かけたら医学用途に使えないって事かっw
こいつは捗る(*ﾟ∀ﾟ*) >>553
良いこと聞いた
70b使ってるってことはローカルじゃないよね？グーグルクラウドとか使ってやってる？ >>565
すまんローカル
小説作成なら70bの遅さでも耐えられるようになったんだわ(*´ω`*) 昨日初めて導入したけどまだAIのべりすとより使いこなせへんわ
Uのスレがちょうど消えとって探すの苦労したわ 64GBあればフルCPUでcommand-R+ Q4でも動くしな。
まぁ流石に遅いので、無印command-Rに下書きさせて、R+に清書させると効率がいい。 RTX4000シリーズに数か月で大幅に性能低下する欠陥が発覚
共通して使用されてるグリスが原因だから殆どのメーカが巻き込まれるとのこと hbmに頼らない設計てできないの？
普通のメモリなら512gbでもいけるのに HBMはDDRの5〜20倍くらい転送速度が稼げる
LLMはとにかくメモリーの速度を要求する
mac(max以上)はDDRであってもコントローラー2倍積んでる特別仕様
ただHBMは物理的にローハンマー攻撃に弱いので実行用のメモリーとして使いづらい
マルチCPUでLLM動作させるとCPUが割と暇になってしまう
これはメモリーの出し入れ待ちな為 普通にGDDRでいいから48GBの4090とかでてくれたらねぇ・・・
4090にモデル収まれば20token/sとか出るし
実用上10token/sも出れば目で追えないくらい早いだろうから性能的にはもう十分なんだよな
まぁそれが6000Adaですって話なんかも知らんけど
なお値段 llama.cppがMistral-Nemoに対応したからちょっと使ってみたけど表現規制とかはなさそうだね
というかちょっと口説いたら銃の作り方も教えてくれるから論理観ガバガバかも？ Calm3試してる人いる？めっちゃ性能は良いみたいだけどエロはどうなのか気になる calm3の22B chat、まともに動かないや
暫定版って事が関係してるのかもしれんけど
gemma2 27Bの方が圧倒的にサクサク動く Claude3.5 sonnetって70Bであの性能なんだよな
そのうちローカル実行可能なモデルがsonnetの性能に追い付き追い越すようになったら
小説の世界でも人間は駆逐されるね >>581
こんなヤヴァイプロンプト、ローカル以外で使えるわけないやろ >>581
API料金が高いから
現状のAIビジネスが成功しないのはAPI料金が高すぎるんだよ >>583
大手のチャットログが個人情報と紐づいて流出したらとんでもないことになるやろうなｗ
絶対ハッカーグループは狙ってると思うわ APIはむしろ安くないか
ビジネス用途ならGPT-4oとか安すぎるくらいだ
ローカル使いたいのは検閲とかされたくないしNSFWなんでもアリなチャットしたいってのが大きい >>587
クソたけえよ
個人や企業内用途ならまだしも
不特定多数がアクセスして使わせるなら現状の価格では成り立たん 少なくとも日本の法律じゃエロ文章で逮捕されることはない
たとえそれがペドロリでも(文章には児ポ判定無し)
できることはせいぜいBANくらいだけど、openaiもanthroも返金されるので、banされたところで特に痛くもない
犯罪系や自殺系は知らんが ChatGPTで～のスレとか見てるとようあんな性癖全部盛りのプロンプトを検閲されたり学習されたり可能性あるよそさまのサーバーにしこたま送りつけるよなと思ってしまうわ
ある意味男気あふれてて感心する こっちは何も困らんしコソコソする理由が全くわからん
そんなのばかりになったら向こうは困るかもしれんが 当たり前だけど有害なプロンプトは今後の学習に使われて対策されるから使いにくくなるという影響があるよ Mistral-Nemo-InstructをQ4_K_Mに量子化してみたけどけっこう賢くて良い感じだわ
Q4だしさすがに精度は低いけど、3万字くらいの長文読ませても壊れないでちゃんと返答してくれるし
そこからキャラなりきりもできるのはほんと進歩を感じる 赤ちゃん質問で申し訳ない
SillyTavernでclaude3 APIに接続する方法ってどこかに載っとる？
調べても英語ばっかりだし翻訳してもよくわからん APIキー既に取得済みって前提になるが
https://imgur.com/a/QsCkPSG
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？ >>592
よくできた脱獄はLLMの本質突いてるから対策できないよ
というか対策したら性能落ちる
もう諦めて各社BANとか警戒度で対策するしかなくなってるのが現状 >>597
poeとかはわざと緩くしてるだけだよ
サービス元によって同じモデルでも明らかに申し訳される度合いが違う
そもそも入力そのものをAIでチェック出来るから本気で検閲されたら全部アウトになる >>598
それはanthroに怒られたくないからやってるだけ
性能落ちるからやりたくないのが本音
anthroもAPIには規制かけてないのが何よりの証拠 非ローカルは別スレがあるからね
ここはローカル寄り RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？ llama3.1がgroqで触れるので70b版を触って来たけど最低限日本語っぽいものが返ってくるレベルやな
脱獄プロンプト入れればエロプロンプトも通るけど誤字や簡体字混じりの文章でなにかのトリガーで同じフレーズを繰り返し始めるしなかなか厳しい
command r+くらいの性能はあると期待してたけど設定が悪いんかな >>603
尻タブなら>>153周辺参考にしてもらえればなんやけど、大葉ってcustom stopping strings的な機能あったかわからん
あると思うが名称違うかもしれん ついにGPT4oを超えるオープンなLLMが出た
すごい事だが405bって何GBあれば動くんだ perplexityで405B使えるけど、控えめに言ってゴミ
指示を理解してない上にそれを差し引いても表現ができてない
出力の質はGPT4oどころかGPT3.5にも劣る モデルカードの対応言語に日本語がないしまあ普通に対応外なだけなんじゃないか ドスケベメイドの自己紹介
3.5sonnet
i.imgur.com/UCpdPOL.png
GPT4o
i.imgur.com/s0VQ7ls.png
3opus
i.imgur.com/qQlveZY.png
LLAMA3.1 450B
i.imgur.com/BncztsU.png >>605
ありがとう
尻使いなので一度やってみたんだか発狂しだしてな…
Lora使わずにプロンプトいじったり
単体のセリフ集をRAGしてみるよ 日本語はもうcohereに期待するしかないな
405bじゃ個人でのファインチューンも難しいだろうし 別にしちゃダメってわけじゃないけど
何でローカル寄りなスレなのにパープレやpoeでの脱獄を推奨する人がここに居座ってるんや…？ エッチなことをするとすぐ頭が真っ白になるのをやめさせたい
もっと他に表現方法ないのかよ！ かしこさでは3.5sonnetが頭１つ抜けててCR+その他のローカル可能モデルは置いて行かれてる感じだな Llama3.1については70Bでも本来のベンチマークスコアは高いので
405Bは置いといて70Bベースの日本語モデルが出ることに期待してる >>608
しかも3より規制きついな
日本語能力は対象外になってるのでまあ、御察し
ただ、推論力は高い
英語での質問に生徒会恋愛問題を完全とは言わないが正解に近づいけていた
日本語での質問はダメだったがｗ 生徒会恋愛問題とは一体・・・・うごごっ
誰かマルチモーダル試している人居ないか？
画像を読み込ませて解析させるChatGPTとかでお馴染みの機能
大葉は拡張設定が面倒でkoboldcppで試したけど上手く行かん
画像生成のCILPに該当するllava mmprojのモデルに汎用性が無い？
ninjaやエロLLMで使おうとしたら壊れた文章しか出さなかった
llavaとセットのllmで動かしたら低性能だけど一応は動いた 405Bいらんから70Bの日本語特化モデルを出してくれよ そもそも3.0からどれくらい性能アップしとるんやろな
3.0 70bはgemma2 27bよりも英語では性能低いから
3.1 70bが多少性能上がったところで日本語特化モデル作るならgemma2 27bと思うんやな >>619
ダメとかの問題じゃなくて動かせないし… 公式に日本語対応してないからしゃーないやろ
まず英語の性能見たいけどchat arenaにまだ出てきてへん
まぁあとニ2、3日すれば出てくるやろ 英語エロも試したけど、曖昧な表現ばかりでそもそもエロにならないな
オナニー実況
3.5sonnet
https://i.imgur.com/2Hn2wi0.png
llama3.1 405B
https://i.imgur.com/ViFZaCE.png 現状ローカル寄りというのは正しいけど、それはwebサービスで満足できない奴がより深い所に辿り着く結果ローカルの話になっているだけだと思う。
webサービスにより良いもの、新しいものが出現したら話題がそっちに流れる事はありうる。(405Bの話の様に) >>626
規制がパワーアップしてるせいだな
pfnet/Llama3-Preferred-MedSwallow-70B
↑これみたいなfinetuneされれば、化けるかも mistralがなんか123Bの多言語モデル出した >>629
llama-3.1とELYZAの悪魔合体モデルか >>629
はえーな
こんなでかいモデルのファインチューニングそんなすぐできるもんなのか Llama3.1 405bをRAM128GBのMac book Pro*2で外人が動かしてた
256GBあればローカルで動くんだな https://huggingface.co/aixsatoshi/Meta-Llama-3.1-8B-Instruct-plus-Swallow
>Swallow-8Bは追加の日本語継続事前学習により日本語が大変流暢なLlama-3派生モデルです。
>このBranchとLlama3との差分ベクトルを、アップグレードされた新しいMeta Llama-3.1-8B-Instructに移植しました。
>Meta-Llama-3.1-8B-Instruct + 0.7*(tokyotech-llm/llama-3-Swallow-8b - meta-llama/Meta-Llama-3-8B) 405bに日本語がそもそもサポート言語に入ってないね 日本語も普通に出るけどね
文章力は英語でも何でもどのみち低品質だから対応云々はあまり関係ない気がする mistralai/Mistral-Large-Instruct-2407
で、これどうなん？
gguf出てるが出先で試せん chat arena見てたらいつの間にか言語別のランキング見れるようになってるな
結局日本語でもローカルで使えるモデルで一番高いのgemma2 27bだけど
日本語投票数少ないからもっと日本語でやらなあかんな 今chat arena投票するとめっちゃllama3.1出てくる
やってみてわかったのはllama3.0よりも日本語は間違いなく改善してる チャットしてるとGemma 2よりCommand R+の方が日本語流暢だと感じるんだけど、あんまり一般的な感覚じゃないんかね llama3.1に「山崎春のパン祭り」の説明させても不正解でがっかり
nemotronはシールと景品に言及できるあたり知識ベース自体はしっかりしてんのかな たまに話に出てるMedSwallow-70B使ってみたけど、それなりに賢いしなんかエロい。
ただ書かれてる通り挙動がおかしい。
色々出てきても結局MoE-TEST-2x7B-NSFWが一番まともな気がする。 mistral-large、3bitくらいまで量子化しないと動かんけどとりあえず試してみたがエロも普通に通るし日本語も自然だな
6t/sくらいしか出ないからまだあんまり試せてないけどもうちょっといろいろ触ってみる koboldがMistral-Nemo-Instructに対応したな 試したらMistral-Nemo-Instructが「こんちにちです。」って挨拶してきてズッコケたわ
temperatureが高すぎるだけやった APIは規制強化の波が来てるしやっぱローカルの進化にかけるしかないな そうはいっても300万円のカードが200万円になっても買えぬ
革ジャン潰して欲しい >>647
こういうのはRAGの領分なのでそもそもモデルの基礎知識に頼るべきじゃない >>658
ありがとうございます
enaで対応していただいたら使用させていただきます ほへー構成メインか……どのレベルなんやろ
自分は起承転結やら個々のエピソードまでは構成するけど
・険悪だった二人が◯◯というきっかけで仲良くなるシーンを1000文字で
みたいなフォーマットで書いてくれるなら
かなり創作の手助けになるんやが
エロでいうと
・フェラだけで1000文字で
といっても三行で終わらせて本番始めるモデルばかりで辛い 一人芝居ストップかけても尻の表面に出ないだけで裏ではやり取りがっつりあるのヘコむわ どもる文章がおかしくなることがよくあるな
「い、今やろうとしたところだ！」が正しい形なのに
「こ、今やろうとしたところだ！」となって漢字の読みを考慮しないことがある
Q5とか使ってるからなのか
>>862
裏でのやり取りごと消去って出来ないのかな？ >>660
ファイル名書き換えたら読み込んでくれるで。
例えば、kagemusya-7b-v1.5-q8_0の部分をkagemusya-7b-v1Q8_0に書き換える。
わいは使わんやつの名前に書き換えて、色々試してるで。 Mistral-Nemo-Instruct-2407.Q5_K_M.ggufでエッチなことさせて遊んでるけど
単なるロールプレイ会話よりもハメ撮り動画の実況解説みたいなことをさせた方が本領発揮するな >>663
opusとかでもそうなるよ
AIは文章を音として読んでるわけじゃないから、読みなんて再現できなくて当たり前
用例を全て丸暗記するしかない >>666
アルファベットなら頭文字の連続だけでどもりを表現できるけど
読みがたくさんある漢字だと色んなパターンを丸暗記するしかないのか
間違えることなくどもらせるのはかなり難しそうだな >>663
lmstadioに尻と同じプロンプト入れたらひとまず出なくなった >>664
リネームでやってみます
助言ありがとうございます
用途に依るんだと思いますが
色々試したもので良かったモデルはありましたか 規制かければかけるほど阿呆になるみたいだし
あんまり規制かけないでほしいな >>650
Mistral Large結構いい感じだよね
トークナイザが日本語に最適化されてなくて厳しいけど 応答の長さ（トークン数）を増やし過ぎても繰り返しが多くなるのか
何を弄ったらどう変わるのかいまいち把握しきれないな cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
ちょっと期待 設定といえばkoboldcppのGPUレイヤーだっけ？皆いくつにしてんの？
俺初期値の200のままなんだけど減らしたらええのか？ 全レイヤー乗りさえすればいくつでもいいんじゃないの >>670
新参なもんでまだ全然分かってない。すまぬ。
このスレに出てきてないものだと、Antler-7B-evolve、
EZO（common/humanitiesの2つ）があるから試してみて。
Antler-7B-evolveはKagemsyaみたいな用途で使えると思う。 3.5sonnetがマジでかしこいな
ちゃんと設定すればそこそこ複雑な設定のゲームも進行させられる
この技術がPCゲームに応用されたら凄いことになるんだろうけどなぁ Mistral Large 2
脱獄なしで設定書くだけでもNSFW出力してくれて大変良い
ロリNGとかも特になさそう
若干繰り返し癖はある
https://i.imgur.com/09DNkK1.png >>681
量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる
意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが) >>680
いいねー
こういうオープンソースが増えるのは明るい未来に繋がる サイバーエージェント期待してる。量子化してください >>682
ほー、123Bが55GBで済むのか
この休日に試してみようかな >>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね 上にあるサイバーエージェントのやつも試してみた
Finetuningでバカになってる感じもあまりないし、いいかもしれない
https://i.imgur.com/DASmyky.png >>686
流石だぜモモンガニキ、そこにシビれる!あこがれるゥ! >>682
IQ3_M試してみたけど違和感ないね
ただ、Command R+より遅いなあ
いずれにしても選択肢が増えたのはいいことだわ >>690
別に難しかったことなんて一度もないんじゃないの Mistral-Large-Instruct-2407-Q6_K がM3Max 128GBで動いた
ちょっと試した感じだとCommand R+より賢そうだけどめちゃくちゃ遅い
Command R+で行けたNSFWプロンプトは申し訳されてしまったので
ある程度の規制はされてるっぽい Mistral Large 2が遅いのはパラメータ数がでかいからというより、日本語が1トークン/文字になってることの方が影響大きい気がする
R+はtpsは決して早くはないけど、トークナイザが最強だからモデルサイズに比して体感かなりストレス少ない >>693
お大尽やの、うらやましい……
M2 24GBなワイは快適に使うには9B位(LLMやなくてSLMやな)が限界でGemma2とかNinja3で妥協しとる >>695
システムが占有するunified memory 10GBくらいを差し引いても、量子化したモデルならもうちょい大きめのでも動きそうじゃね？
Mistral NeMoとかいけると思うんだけど >>694
なるほど勉強になる
R+は日本語対応頑張ってくれてるんだなぁ >>689
mmnga/rinna-llama-3-youko-70b-instruct-gguf
こっちもやってくれたぞ
rinna系では一番の出来じゃないかと思う
しかもエロいｗ mini-magnum-12b 文章が短いのが嫌な人はおすすめ設定はMistralと同じだから調べれば出てくるエロもいける 大葉で
mmnga/rinna-llama-3-youko-70b-instruct-ggufはllamacppでロードできるけど
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはエラーになっちゃうなんでだろう >>700
どのファイル使ったかわからんけど、catコマンドで結合した？ >>702
いや、そうじゃなくて
モデルサイズが大きいとmmnga氏の場合、*.gguf.aと*.gguf.bっていう二つに分割されてることがある
その時は、シェルコマンドのcatを使って結合しないとllama.cppで読めないと思う 3.5sonnetだと独り芝居の問題は全く起きなくて快適にロールプレイ出来る
ローカルでこのレベルまで来てくれたら世界が変わるんだけどな Llama-3.1-70B-Japanese-Instruct-2407-IQ1_M.ggufって一つのファイルでもllamacppでエラーになってしまいます。なんでだろう >>705
調べてみたら、llama-3.1とllama.cppのバージョンに関するissueがoobaboogaに上がってた
https://github.com/oobabooga/text-generation-webui/issues/6270
ただ、うちの環境だと今のバージョンのllama-cpp-pythonでもllama-3.1読めてるからちょっと謎 3060 12gbだとninja v1が良さげかなあ
速度も速いしそこそこちゃんと対話してる
それともq4とq3で結構かわってくるかな >>678
何度も質問してすいません
Antler-7B-evolveなどのモデルにおいて
以下のように分かれている場合は
どのようにすればEasyNAで使用できるんでしょうか
（model-00001-of-00002.safetensorsと
model-00002-of-00002.safetensorsの2つ）
例えば結合したりバッチファイルの書き替え方などがあるんでしょうか 間違ってるかもしれんけど、それ量子化されてない気がするからどのみちやめた方がいいと思う
duyntnet/Antler-7B-evolve-imatrix-GGUF あたりにしたら？
huggingfaceの検索欄にAntler-7B-evolveって打ち込んだら出るはず WEBのAPIはマジで規制厳し過ぎなんだよな
エロはまだしも少しでも政治的要素が入ると駄目だから核戦争後の世界を扱うお約束のサバイバル小説ですら検閲されまくる
NATOやアメリカ、中国、ロシアの単語を直接出すのは勿論、欧州の某国みたいにぼかしてもNG
Jアラートとかの単語も少しでも与党側へネガティブとみなされると全削除なんて核戦争の詳細は全部ぼかさないと駄目だった
とにかく政治に対する検閲が異常 >>709
助言ありがとうございます
SDと勘違いして.safetensors自体で
そのまま使用できると考えておりました
.ggufとの違いを理解していませんでした
申し訳ありませんでした HODACHI/Llama-3.1-70B-EZO-1.1-it
leafspark/Mistral-Large-218B-Instruct
どんどんでてくるな llama.cppでロードできました。n-gpu-layersとn_ctxの値が重要なようです。
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufいいね、うちの環境で何がベストか実験中 mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf
かなり繰り返し癖ない？俺が悪いのかな Llama-3.1-70B-EZO-1.1-itめちゃくちゃ良い感触だ
自宅チャットボットで試してる限りでは返答内容にGPT-4並みの知性を感じる 70Bを動かせるほどのスペックじゃないからみんながうらやましいよ Mistral Large 2をNSFWチューンしたやつ今試してるけど、これ結構凄いかも
遅さに目を瞑れば最適解な気がしている いがいだったけどllama-3-elyza-jp-8bで申し訳されなかったかな。
最近、エロOKな流れになってるのかな。日本語が自然で好きなんですよね 検閲に起因する性能低下が割と洒落になってない感じの事がわかってきたし
このまま無検閲のベースモデル+検閲用の別のモデル、みたいな形で分離して発展して欲しいねぇ Elyzaは初期の頃からやりたい放題できてた記憶がある ELYZAは東大で作ってるやつでしょお堅いんじゃないの elyzaって優等生って感じだからあんまり好みではない人もいるかも
優等生といちゃいちゃなチャットの後、そういう流れに・・・っていうのが好きなもので >>730
追加学習は英語だと思うけど、日本語のERPもかなり流暢だよ
そもそも元のMistral Large 2がマルチリンガルなので、そこはちゃんと失わずに保ってる 12Bは駄目だったや
ルー大柴化に加えてエロ関係なく意味不明な文がかなり多い感じ
これなら7BのVecteusやBerghofの方がよほど賢いと感じた チャットアリーナのリーダーボード更新きたんだけど、英語に絞ると
llama3.1 405bと70bがclaude3.5sonnetの上にきてるな
405bはわかるんだけど70bもここまで来るか
日本語に絞るとまだデータ数が少ないのか項目自体出てこない Llama 3.1 EZO、ベンチスコア高すぎて怪しいなこれ
gpt-4の出力学習に使うかベンチマークリークさせてるだろ >>736
実際使った感じは？
上の方では良感触だったとの書き込みあるけど Llama-3-ELYZA-JP-8B-q4_k_mは脱字が酷いな
「ハンバーグとステーキどっちが好き？」って聞いたら
「は美味しい食べ物が大好きなのですが、その中でも特にハンバーとステーは大好物ですね。
どちらかというと私はハンバー派です。理由としては、肉汁が溢れ出るジューーな部分がたまらないからです。」
みたいな脱字だらけの文章が返ってくる。Q8でも脱字だらけだ ELYZAは俺俺ベンチの本家本元だからしゃーないし期待してない >>738
さすがにそこまで出力おかしいのは何かが間違っとるやろ
LM Studioで落としたけど普通に会話できとるで >>740
設定間違ってるのかな？
色々試してみた感じ一定の法則で文字が欠けることが多いんだよね
長音の後が欠けやすいから
「ケーキ」「ラーメン」「アーメン」「ザーメン」「ステーション」が
「ケー」「ラーン」「アーン」「ザーン」「ステーョン」になるわ
あとは文頭の文字が欠けやすいのと「楽しみ」「慈しみ」も「楽し」「慈し」になる
koboldでデフォ設定にしたり色々設定変えたりしてるけどあんまり変わらん >>741
しずかちゃん って言わせられるか？
llama3系は何故か
しかちゃん になる傾向がある >>742
しかちゃんになる
「しずかに」→「しかに」
「わずかに」→「わすかに」
「おおきいかに」→「おおきいに」
脱字が多いけど「わすかに」みたいに濁点が消える場合もあるみたいだ AIの出力終了後、
ブラウザ側だと「# 記」だけど
kobold（v1.69.1）のコンソール側だと「# 追記」になってた。
koboldのexeとブラウザ間のhttp通信ペイロードの取込上の問題があるかも？ >>744
本当だ
ブラウザ側だと「しかちゃん」になってるけど
コンソール側には「しずかちゃん」って書かれてるわ
これってユーザー側で何か対策方法あるの？ 暫定対策としては
設定で「Token Streaming」を「SSE」から「Poll」にすると大丈夫そう とにかくLlama-3.1で次の段階に入ったんだろうな 3.5sonnetより上とはにわかに信じがたいな
ベンチマーク最適化してるとしか思えん ベンチマークありき学習するのは結局奇形産まれるだけや ベンチマーク特化になってるかはベンチマークの領域外のテストすれば分かりやすい
それこそエロとかもその1つ
断られるのは別として、ベンチマーク性能は良いのにエロの表現とかが微妙なのは根本的にベンチ特化になっている エロ性能で言えばllama3.1はゴミでしかないな
まあそもそも学習してないんだと思うが Llama 3.1 EZO 70BをQ5K_Mで試した
マジいいぞこれ。
いままでのllama3.1日本語では一番じゃないか？
ただ、規制は残ってるな 続
規制の件だけど、自分から今のは少し不適切だったので、以下のように書き直しますね
って、言って書き直してきたのはワロタ
まあ、オリジナルよりは緩いわ 405Bのggufあったとして1bitでも動かせない・・・ 繰り返しを無くす方法
■temperature高くする。
temperatureが低すぎると、モデルが非常に確率の高い次の単語を選択し続けるため、繰り返しが生じやすくなります。
■top_p（トップPサンプリング）高くする。
確率の合計がP以上になるまで単語を選択
Pの値が低いと、選択肢が制限されるため、繰り返しが発生しやすくなります。逆にPの値が高すぎると、ランダム性が増し、
文脈にそぐわない単語が選ばれやすくなるため、適切なバランスを見つけることが大切です。
一般的にはP値を0.9前後から調整を始め、状況に応じて微調整します。
■top_k（トップKサンプリング）高くする。
K個の最も確率の高い単語から選択
トップKの値を上げることで、選択肢が増えるため、より多様な単語やフレーズが選ばれる可能性が高くなります。これにより、
同じフレーズの繰り返しが減少する可能性があります。
トップKの値が小さいと、モデルは最も確率の高い単語に集中しがちですが、Kを大きくすると、より多様な単語が選ばれる可能性が増えます。
これにより、生成されるテキストの多様性が向上し、繰り返しが減少することがあります。 sillyはデフォだと繰り返しﾍﾟﾅﾙﾃｨの値死んでるから、その辺り弄るとかなりマシになった。
EZO 70B量子化ありがたい、あとで試そう >>0734
もしよければUIに何を使っているのか教えていただけないですか？
text-generation-webuiじゃないですよね。 この値にしておけばオッケーみたいな値はなくて変動すんのかな その人の自作UIでgithubにあげてくれててこのスレの73にリンクがあるよ >>764
モデルとかプロンプトとか個人の好みとかによって最適な数値は変わる 英語のモデル、リーダーボードに載ってる奴とかこのスレに上がってる奴いろいろ試したけど、結局Wizard-lm-2が複雑なプロンプトに対する理解では頭一つ抜けてる気がする。
自分の使い方だといかに複雑なプロンプトを理解できるかが一番重要だから、ずっとこれ一択になっちゃう >>769
作者です
jupyterに慣れてないとインストールがむずいと何回か言われたので、その場合はgithubのdiscussionにでも書いていただければ >>770
了解です。
とりあえず調べながらやってみます。 kobold最新版でsseの問題解消されたっぽいな
まだ試してないが 頭の良さと創造力が反比例してるのが画像生成AIと同じ傾向だな
あっちも新しいモデルになる程クオリティ上がる代わりに出せる絵の幅がどんどん減っていく
人間は頭良いほど創造力が高くなるからAIはやっぱ原理的に別物なんだな AI初心者なんですがトラブってるので教えてください
OllamaでモデルNinja-v1-NSFW-GGUFを実行した場合は正常にやり取りできるんですが
OllamaでモデルNinja-v1-NSFW-128k-GGUFを実行した場合は、やり取りの途中から勝手に意味不明な文字列を垂れ流すようになってしまいます
一旦こうなるとセッションを保存せずに終了して新しいセッションを開始しても意味不明な文字列を垂れ流すようになり、モデルを一旦削除するしか修正方法がなくなります
これって、モデルを作成する際のModelFileなど設定が悪いのしょうか？
それとも128kモデルの方はチャットボットのような使用目的では向いていないのでしょうか？
ダウンロード数は圧倒的に128kの方が多いのでモデルが原因の問題だとは思えないんですけども
AI初心者すぎて、なにをどうすれば問題を修正できるのか検討もつかない状態です >>770
初歩的な質問で申し訳ないのですが、インストール後の起動方法がよくわからないのですがどうすればいいですか？ >>775
コマンドラインで”jupyter lab”を実行するとJupyterっていうWebアプリが開くと思います
そしたら、chat_gui.ipynbを左側のペインから開いて下さい
そしたら、”上部メニュー -> Run -> run all cells”とクリックすると、起動するはず
途中デフォルトのモデルダウンロードのメッセージとかあると思うけど、GGUFをすでに持ってるなら、飛ばして下さい
今ちょっと調べたら出てきたJupyterの使い方
https://qiita.com/y-matsunaga/items/2c7efdae8777f15059e0 llama-3-elyza-jp-8bをLM Studioで使ったらちょっとでもエロ要素があると
"I cannot create explicit content."しか言わへんガチガチ倫理観で
どんだけ説得してもビクともせんのやが
koboldcppで使うと何故かユルユル倫理観なんや
最初はkoboldcppのChat PrePrompt機能がjailbreakになっとるんか？と思ったら
そうやなくてInstruct Tag Presetを(適切であろう)llama3 chatにしたらガチガチ倫理観になったんや
今度は逆にLM Studioの方でPresetをMistral Instractにしてみたらユルユル倫理観になった
これどういう仕組みなんや？？ いやLM StudioはDefault LM Studio Presetでもユルユルやったわ
わざわざllama3 V2プリセットを選んどったからガチガチになってたんか
何にしても適切な書式の指定が検閲のオン・オフを左右してることには変わらへんけど >>772
1.72に更新したけど全然直ってないや mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはまったく申し訳しないよ
逆に素直過ぎて、あれこれゲスいこと指示してやらないとエロくしてくれないまであるけど EZO規制強すぎて笑う
rinnaのほうがそういう方面では使いやすいかも >>774
一応、自己解決したので同じ症状が発生した人用に書き残しておきます
Hugging FaceでLocal-Novel-LLM-projectが公開しているNinja-v1-NSFW-128k-GGUFを使用すると>>774の症状が発生していました
これを、Hugging Faceでmmngaが公開しているNinja-v1-NSFW-128k-ggufに変更したところ症状が発生しなくなりました
モデルが原因の問題のように思えましたが、もしかしたら使用したモデルと実行ツールの組み合わせなどが原因の可能性もあるかもしれません
とりあえず以上 RTX4090-24G、今３３万円くらいで今日下がり具合だと３０万円切るくらい安くなるやろな
120円まで行ったら２５万円くらいになるか というか今グラボの在庫持ってる店、早く在庫を手放さないと死ぬぞ 頭が悪いモデルほどけれんみのある文章出せる、
頭良くなるほど指示には従ってくれるけど文章から面白みも創造力も失われていく
両立は難しいんだな… >>789
別にそんなことないで
claude3 opusは頭もええしエロ描写もぶっ飛んでる
最新のＧｅｍｉｎｉに小説書かせたら表現のレベルが違う
性能が悪いモデルの方が創造力があるなんて感じるのは
子供が描いたラクガキを見て大人が天才やと思うようなバイアスと一緒や 8月中旬でGENIACのLLM開発が一旦区切りつくっぽいからそこで色々なモデル出てきそうだね 頭が悪いモデルと呼んでてるものはいわゆる過学習を起こしてて
学習元の作品のフレーズをコピペしたりしてるから一見ケレン味が出てるように見えるんだ
悪い事は言わないから個人で楽しむ範囲に抑えとくのが吉だ L3.1ベースのモデルとかMistral Large 2とか色々試したけど、やっぱCommand R+の方がしっくりくるなぁ 俺はまだkarakuri超えたと思えるモデルに出会えない 本体の性能とは別にAI開発者が出力時にどういう制限かけるか，何で学習するかで出力結果だいぶ変わると思われる
エロ完全に潰すためにエロと関係ない用語まで不適切連発するGeminiやらおそらく温度低く設定してるからつまらん内容しか話せなくなってるGPTとかいるし エロ会話だけなら膨大な埋め込み空間の極々狭いところしか使わないからそりゃ小さいモデルでもいいでしょ
新規性のある会話も不要だし同じようなところをウロウロサンプリングしてくれればいいから それじゃもう予め返答が決まってるロボットを相手にしてるのと同じじゃん
まあ究極的にはAIも生身の人もそうだけど、それを感じさせないのがAIエロチャの魅力だろうに silly tavernのグループ会話でなんか打ち込んだら各キャラがずらずら返事してくるけど、これを1人だけにする設定ってあるんかな？
5人が返事してきても最初の1人が変な事言ってると後の4人まで変な話始めちゃうから1人ずつチェックしていきたいんだよね >>795
学習コストがたった750万らしいな
それ聞くと割とLLMの未来明るいんちゃうかって思うわ >>801
右側のキャラリストでその場にいないキャラは会話オフにしてる >>768が立ててくれた本スレ、多分>>20行かなかったからだと思うけど落ちてるね あまり話題になってないけどEx-karakuri-8x12B-chat-v1はどうよ
俺はなんかイマイチ出力安定しないから最適な設定を探してる これからはllama-70b日本語ベースのgguf悪魔合体モデルを中心に話を進めてくれ 会話するくらいであればwikipediaの情報を満遍なく記憶しておかなくていいし
もっと小さいモデルでも人工無能以上の反応を引き出せるはず 射精の効果音を生成させるとモデルの良し悪しがわかる もしかしてwikipediaにエロい情報を沢山登録しておくと、沢山のモデルがエロくなったりするのかな オホ声について詳しく書いておくと多くのモデルでオホ声を出すようになるかもしれないのか…… エロを後付けするのではなく、ウィキペディアに種をまいておく作戦 でも、英語版のWikipediaでやるのはハードル高くね？
日本語の擬音表現を英語版でやるのは許されるのか？ 最近sillyを使い始めて、キャラカード探してきて遊んでいるんだが、基本英語だから翻訳機能を噛ませると違和感のある内容が多い。
日本語対応モデルに直接日本語で回答してもらうとだいぶマシなんだけど、良いやり方なんかあるかな？
今はキャラカードの最初の挨拶を自力で翻訳するのが良い気がしているけど、やはりちょい面倒なんよな >>816
ワイは英語のキャラ参考に自分好みの言葉遣い等を入れ込んで日本語版キャラ作ってる >>817
ありがとう。やっぱある程度の翻訳作業は避けては通れないか
以降のやり取りは日本語で～みたいに書いてもあんま効かんしな deeplで翻訳した文章をそのままコピペするだけでもあんまり問題なかったりする
ただ対話例だけはちゃんと修正した方がいいかも Mistral Large 2407が急にchatbot arenaの上位に食い込んできたな
日本語でローカルではぶっちぎりの性能
123bだから量子化してもだいぶキッツいけど選択肢が増えるのはいいことだ 翻訳自体が敬語になりやすかったりするのと、喘ぎ声なんかは適正無いに等しい。対策は難しいのではないか。api叩いて置き換えで言葉遣い整えて出力するプログラム自作するぐらいしか思い付かない。 喘ぎ声専用の言語モデルがあればいいのではないだろうか？
用途を特化させればモデルの規模を小さくすることができる 調べたらみさくら語に変換されるやつが3年前くらいにもうあって草 喘ぎ声出させるだけなら7bモデルでいけそうなので、モデル2つ動かしておいて、メインモデルで主文を出力、喘ぎモデルに文章を渡して文章に合った喘ぎ声を出力すれば理論上できるとは思う。一応2回生成するので相応の時間は掛かるだろうけど エロい表現を徹底的にWikipediaに叩き込む
喘ぎ方の全てや、仕草など command-r-plusをIQ2_Sで動かしてみたけど普通に良い感じやな・・・ 喘ぎ声とかエロ用語をちゃんと使ってもらうならまず日本語対応してるAIであること
加えてオープンソースならファインチューニングで喘ぎ声とか大量に覚えさせることで対応できると思う
感じ始めてる時、強く感じてる時，イッてる時とか喘ぎ声ごとのタグ付けも必要かもしれんな >>820
普通のやり取りはともかくロールプレイとかさせるとぶちゃけ微妙じゃない？ ブルームバーグが1ドル100円まで円高行くって言ってる
早くなってくれRTX4090ほしい
ついでにiPhoneも買い替える >>830
情報が古いよ、日銀が株価維持のために利上げしませんって記者会見しちゃってるじゃん 利上げしないとは言ってないぞ
金融市場が不安定なら利上げを遅らせると言った
つまり金融市場が安定したら利上げされる
あと、日銀が利上げしなくてもFRBは利下げするから金利差は確実に縮小していく LLMならコア性能の影響をあまり受けないから3090で十分
画像生成するなら4090だが VRAMにおさまりさえすればLLMもコアの性能に左右されるんやけどな
RTX A6000と4090で1.5倍くらいはちゃうような感覚やな
でも4090のVRAMに収まるLLMなんて正直ワイは使わんのやけどな
あとTensorRT使い始めたら恐らくH100とかのサーバー向けのやつのが伸びしろがすごいと思う 出力受け渡して逐次的に分割処理できるなら
前から順々に読み込んで処理するような方式作ればVRAM要らずじゃね？
高速ストレージだけあれば実用的に使える奴そろそろ頼むわ。 ちょっとスレチかもしれんがsilly tavernのdisco鯖の認証ってどう書いたら正解なんだ？
incinerator no cyrillic profile noって書いても不正解になってしまう Mistral 7B系列のMoE試してるんだけどどんなモデルでやってもコンテキスト8kくらいで出力おかしくなってしまう
RoPEやYaRN回りの設定が関係してるのかなと推測してるけど拡張方法についてどなたかご存知でしょうか？ VRAMを少しずつ使って処理をわけるのはvLLMっていうライブラリがあったような kagemusya作者様へ
v1.5はv1よりかなり使いやすくなっておりました
ありがとうございます
v2やv1.6の予定はありますでしょうか
またデータセットの構造はどのように
変化したのでしょうか vllmは秒間何十アクセスあるような業務向けのライブラリやで
1個の推論流すだけなら特に早いというわけではないけど、
複数の推論を同時に流すというときにこのスレで使われているようなライブラリとは
段違いの速度が出るはずや Rocket.Chatとllama.cppを繋げることできますか？
>>845複数のアクセスがある場合そういうの必要になりますか？ Llama.cppの作者さんが、セットアップ無しですぐ使える量子化ツールを公開してた
HuggingFaceにログインすれば誰でもすぐにGGUF変換ができるみたい!すご!
https://huggingface.co/spaces/ggml-org/gguf-my-repo >>840
自レスだけど"sliding_window"に"max_position_embeddings"と同じ32768を設定して"rope_theta"を100000.0にしたところ拡張できた気がする
gguf化したの上げてみた
https://huggingface.co/Tuitou/Ninja-v3-Vecteus-v1-MoE-2x7B
プロンプト指定無しのgate_mode: randomでやって悪くなさげだから微調整したらもっと良くなりそう >>846
「複数アクセス」の頻度によると思うで
例えば社員10人程度の会社で社内検索に利用しますとかだと同時に複数の推論が走ることはそんなになさそうやし
あったとしてもたまに遅いくらいなら待てるしって感じやけど、100人とか1000人という規模になるとどうなんやろうとか、
チャットとして利用するなら1回のGPU使用時間は少なくなりそうやけど文章翻訳とかで利用しようとしたら
1回のGPU使用時間長くなりそうやから同時に複数の推論が走る可能性も高くなりそうやとか
ケースバイケースやからこれと言えるものはないと思うんやけど、
常時同時に2推論以上回ることが想定される環境ではvLLMを検討しても良いんとちゃうかな
あとvLLM以外にもTensorRTも検討しても良いと思うやで 4GBGDDRの卸価格は1枚2千円で製造コストは数百円なんだと
それを3枚程度余分に組む込むだけでほんまエゲツナイ値段にしてくるよな
本来64GB程度のVRAMなんて余裕で搭載できる筈なのに 卸価格が2000円なら俺らの手元に届く間に10倍以上になってるんじゃねえの このスレや相方のスレの住民にとっては実際麻薬みたいなもんやなw 後載せできないもので価格差付けるのはよくある手法だからね
スマホのストレージとか そのコストの話が本当なら新参のintelがVRAM盛らないの謎だよな 4080ぐらいの性能と48GBあれば$2000以上で売れるだろうに噂レベルですらそんな話出てこない 技術的な障壁があるんかな
AMDやNvidiaはドル箱のHPC向けと競合するからコンシュマー向けのVRAMをケチるのは分かる intelがそこまで冒険せんのは分かるけどAMDはせめてVRAMではnVidiaを圧倒すべきや ただの談合だったりして
1社がVRAMを盛りまくると儲からなくなっちゃうからね まあAMDはとにかくRocmをCUDAに対抗できるレベルに育てるのが最重要やけどな… VRAMはめっちゃ高いのに、DRAMはゴミのようだ 具体的な生産量を調べたわけじゃないけどGDDRはニッチだもんな
普通のPCはDDRだしグラフィックで超高帯域が欲しければHBM2使うし
インテルはCPUの処理をGPUに持っていかれるのを極端に嫌ってる気がする
バス幅考えるとGPUにはまるで追いつかないんだからどっさり積んで欲しいよね 申し訳を防ぐには申し訳されるような文章に対して真面目に回答するような文章を作ってFTすればいいのかな？
もしすでにあるのなら教えてほしい。無いなら作って実験する。 vectous-v1ってエロいことはいくらでもしてくれるのに
住所はプライバシー保護がどうたらってことで教えてくれないんだな
まあ住所をあらかじめ設定しておけば普通に教えてくれるようになるんだけど 大葉をrocmで動かす場合に大葉の独自リポジトリにあるllama.cppのrocm用のバイナリが古すぎて自動イントールに任せると最新のrocm>=6.0だと動かない問題踏んだ
ワークアラウンドとしてはllama-cpp-pythonの公式パッケージをpipで入れてrequirement_amd.txtのllama関係全部コメントアウトしてpip install -r requirement_amd.txt
んでmodules/llama_cpp_python_hijack.pyの29行目をコメントアウトでいけた
Radeonで動かそうとするやつなんか滅多にいないからissue上がってるけど放置されてる模様 SBVits対応させるためにSillytavernをアップデートしてからAIの会話の先頭に半角スペースが入ってどんどん増えていくようになってしまったのだけど、同じような症状の人いる？
ちなみにSBVitsに読ませることはできた。上にも書いている人がいたようにSBvitsはApp.batとserver_fastapi.pyの両方を立ち上げないといけないようだね。 >>867
俺はSBV2のserver.batを立ち上げるだけで連携されるしスペースが増えるような不具合は1度も出てないぞ >>868
前に作ってあったbotでは起こらないけど、チャットデータを削除して新しく始めると再現された。
あとSBvitsにserver.batってある？server.pyかな？ >>870
あるね！
Vitsのほうは4/5にクローンしたきりだったから、帰ったら更新してみる ガードが堅くても頭がいいモデルだと色々言葉巧みに騙せる余地が結構あるな
変に頭がいい人のほうが詐欺に引っ掛かるって話となんかつながるものを感じる
頭悪いモデルはとにかく不同意は駄目、未成年は駄目で説得を受け付けない GPT3.5と4の移行期にも同じ議論があったな
3.5は駄目なもんは駄目だけど4は脱獄(説得)の余地があるって てかKoboldccpも新しいのが出たみたいなので全部新しくしたよ。cuda12の方を使っているけど爆速になった気がする？
Layer数を適切推定してくれるようになったみたいです。 anthracite-org/magnum-v2-123b-gguf
これ動いた人いる？
koboldだと落ちるんだが >>875
iq3_sだけどUbuntu上のllama.cppでは動いた
日本語も表現力かなり高い印象はあるけど、まだいろいろ試せてはいない
VRAMは54GBくらい使ってるな >>874
coboldCpp v1.72だと問題なかったモデルでvram不足が頻発するようになってしまった >>844
ありがとうございます。
いつかはわかりませんが、バージョンアップの予定はあります。気長に待っていてください。
v1.5は一本の小説を学習コンテキスト長ごとに分割し、学習させています。
これによって、コンテキスト長ごとのカットオフにより、序盤の文章ばかり学習するのを防いでいます。
他にもやっていることはあるのですが、それはバージョンアップ時に公開します。 3.5sonnetの能力かなり高いな、写真に写ってる小さな文字や
淫紋が体のどこに入っているかどんな模様かまで詳細に認識しててちょっと怖くなるわ
AI監視カメラが広がってるしPCにも組み込まれるからもうプライバシーなんて欠片も無い時代になるんだな 監視カメラで録画し続けて全て起きたことへの解釈を残すってのは
現時点だとちょっとマシンパワー（クラウド料金）の問題でしんどいと思うが、
理論上は現時点でもできるだろうな
あまり人通りがないとこで、何かが通りかかったときだけ解釈開始とかなら
より現実的になるかも MSがやろうとしてたCopilotPCがそんな感じだったよね
全自動で定期的にデスクトップのスクーンショットを撮ってそれをLLMにテキスト化させて後から検索できるようにするっていう
セキュリティもクソもあったもんじゃなさすぎてお蔵入りになったんだっけ？ >>881
オクライリじゃなくて「まだInsiderどまり」じゃね？ >>875
mistral large 2に対応してるバックエンドなら動くと思う
結構エロいしそこそこいいよ >>877
今の所自分の環境ではエラーは出ないな
GPUレイヤー数は3060 12GBで、35とか、画像生成中に起動するとロードしないとか自動的に設定しているみたい
>>620
Koboldをバージョンアップしたのでアップロードした画像の説明もさせてみたよ
Model Filesにvecteusならmistral系だと思うのでmistral-7b-mmprojのQ4量子化を指定している
肖像画や風景画で試したけど、メガネとか、砂漠と草原の違いとか認識できたよ
リポジトリの説明とか読んでると、セッションの1番初めに指定した画像くらいしか判別できず、何枚もアップロードすると混乱すると書いていたように内容が混ざる気がするのと、すぐにtoo many LLaVA tokensとエラーになり無視される >>881
skyseaみたいな動きだから
コンプラツールとして有用かも MMって結構視覚障害者需要高いと思うよ？
喉から手が出るほど一般化を心待ちにしている人も多いと思う なんかプロモーション動画が以前あったけど、視覚障害者用のスマートグラスは
急激に普及するやろね
重度の視覚障害者が世界中でどれだけいるかはともかく、政府とか慈善事業の団体とかが
大いに支援するでしょ API代もAI業者が社会貢献として割とサービスするやろし 量子化はそろそろ整理されて欲しい
いらんのがあるんじゃないの calm3-RPはだいぶ短い出力するように学習されてるっぽいな
これはこれで好み分かれそうだが個人的には悪くない
もうちょいセリフ、状況描写、内面描写みたいに形式立って出力出来たらもっと良いけど
その場合は学習データをそういう形式にする必要があるのかな すいません
生成aiで使ってるssdが原因でした…
安いのを酷使しすぎたかな EasyNovelAssistantでリストにないモデルを手動で追加する方法が知りたい EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えればいいぞ
あと聞く前に自分でコード探して♡ default_llm.jsonを書き換える前にバックアップ取っておくと良いよ
アップデートする時にdefault_llm.jsonの内容が異なるとエラーになるから
まあ最近アップデートないけどさ 「この物語はこうこう、こういうものだ。さあ、あなたはこれからどうする！？」
みたいな始まり方に対して「物語は終わりだ」と早々に宣言したら語り手に怒られて草 >>889
これ使ってみたけど神だった
理解力高い >>889
同じく、しかもGPU8GBで動かしてもかなりの早さ >>889
これkoboldだとPollにしないと文字欠けが発生するんだけどさ
尻タブでも同様の設定にする方法ってあるの？
koboldをPollにしても尻タブだと文字が欠けるんだよね スペースをトリミングのチェックを外したら文字欠け無くなったわ やっぱり全然直ってなかったわ
どこを弄れば文字欠けが直るんだ sillytarvan今更かも知れないけどAnother'sNoteとSystem Promptで
めっちゃ表現力変わるのね・・・無知だったせいでやたら遠回りしてしまった
みんな独自の黄金テンプレート作ってんのかな >>888
全盲でもごく簡単な字や道路位なら読み取れるようになるオーデコって装置あったけど
盲導犬利権の前に敗北して全然普及せずに終わってしまったし
MM利用した機器なんてのも同じ道を辿ると思うけどな >>905
ワイの環境だとKobold＆尻タブともに最新版だが、特に文字が欠けるような現象は発生せんな…
ちなモデルはcalm3-22b-RP-Q4_K_M >>909
マジか、IQ2を使ってるせいかな……
「揉む」が「む」になるわ >>906
どれぐらいかわるの？プリセのプロンプト項目とキャラシートにしか入れたことないや
それ全然知らなかった 尻タブを日本語で遊んでる時、皆セリフと平文どーやっとるん？
ワイは現状""と**でやっとるけど、半角/全角の切り替え億劫やし、本音を言えばセリフは「」で遊びたい
設定全部見たつもりなんやが、どこでセリフと強調文のキャラクタ指定できるのか分からんのやが、こればっかはどーもならんのやろうか？ 普通にセリフは「」で囲まれています的なことをシステムプロンプトに入れるのではだめなん？ 適当にやり取りしてその内容に「」をつけて会話例に記載するとか >>912
描写周りはWriting Styleから設定できんか？
ただ俺は直接システムプロンプト側に指定したほうがスムーズにいったけど スレチかもしれんが、Gigazineで
「CerebrasがNVIDIA H100の22倍高速な爆速AI推論サービスを発表、デモページも公開されたので使ってみた」
って記事が出てたけど、どんどん競合が出てきてGPU安くなってほしい。
マジでNVIDIAふざけるなってレベルだし。 >>910
koboldだとこういう話題がちょい前に出てんだけど>>738-748
参考になったりするやろか？ >>913-915
「」でセリフを記述させることは問題なく出来るんや
だが、それだとTTSにセリフだけ読み上げさせたい時に、セリフとして認識して貰えんとか
""なら青文字表示とか出来るが「」だと素の文字列扱いだから色付け表示とかができんのや プロンプトに{{user}}はセリフを「」で囲いますが""で囲われていると解釈してくださいみたいなのを入れるといいと思う
最初は少し文章が崩れたけど修正してやれば普通に進行できたよ (直接は言わないけど考えてること)←この表現というか概念を伝えることが難しい、というか諦めた >>917
koboldはPollにすれば解決するけど尻タブにそれは反映されないんだ
>>738-748の場合も尻タブ側は文字が欠けたまま 尻ならRegex(正規表現) extension使うのは？
Find Regex
/「|」/g
Replace With
"
これでUserの書き込みとAIの返信両方の「と」を"に修正すればいいんじゃない？ Ephemeralityにチェックを入れなければプロンプトと表示両方を差し替えてくれる
逆の場合は……ChatGPTに正規表現の書き方を聞いてくればいいと思う、例文渡してやりたいことを伝えればいい感じに書いてくれる
多少頭の良い?モデルなら似た手法でプレイヤーにだけ見えない隠し情報も用意できる
隠したい文章とかを<spoiler></spoiler>で挟めって指定する
Find
/<spoiler>.*?<\/spoiler>/gs
Replace (空でもいい)
*<秘匿>*
適応先をAI OutputにしてAlter Chat Displayを指定すればログにはそのまま書かれるがプレイヤーからは<秘匿>表示になる、Streamingがオンだと書いてる途中の文字は読めちゃうから切る必要があるけど >>901
Calm3が元々結構頭良い+ClaudeとかGPTの出力の良さそうなデータ学習に使ってるのが結構効いてるのかな
非商用限定になっちゃうけど個人として利用するならどうでも良いからこっちの方がありがたいわ 来月出るcohereと富士通のtakane 劣化版でいいからHFで公開してくれんかなぁ >>916
専用ハードのほうが汎用GPUよりも高性能なのは当然だからな
推論だけとは言えこういうのが増えてくるとNvidiaにジワジワプレッシャーになるだろうな cohereの新しいモデル出ました。commnad-r-08-2024と
command-r-plus-08-2024 まだ詳細不明じゃね
重み公開してくれればいいんだけど、ちょい望み薄な気もしている >>930
早速試したが、申し訳くらった件(´Д⊂ヽ >>931
公式ページで触った限り無修正っぽいんだけど、新しいバージョンはセーフモードをつけるか任意に選べる仕組みがあるらしいから、それが関係してるのかも 初めてAIが書いた文章で抜いてしまった…
新command R plus IQ3 XXSで十分使えるじゃん 公式も、hf版も試したが、web版では両方とも規制入っているね。
ローカルにiQ4_xs落として試したら、無修正だった。
やっぱ、これをQ6以上の量子化でサクサク遊べるPC欲しいな Q6をサクサクとなると
VRAM96GB欲しい感じだから個人レベルだと割と絶望的だな silly tavernを立ち上げたままstyle bert VITS2のeditor.batを起動したらバグってしまった
本来ならeditor画面が立ち上がるはずなのにsillyの壊れた画面が出てくるようになった
これの直し方分かります？ redditとかだとP40*4を使って1600＄くらいでLLM用のPC組んだとかよく見るね
4~5t/sくらいかつ古い世代故の制約も多くサクサクではないと言われたらそれまでだけど 3090*2+3060*2でCommand R +Q4_K_M動かしてるわ
6～7t/sくらい
3090を3台用意すれば速くなるんだろうけど、それするくらいなら5090追加するわ >>939
今入れてるSBV2とは別にもう1回SBV2をインスコしたら解決した
正常化を確認したら後から入れた方は消しても大丈夫
多分SBV2editorとsillyの鯖のポートが被ってるからおかしくなったのかな？
詳しくないから分からんが同じ症状になる人は多いと思うから一応報告しときます command-r-plus-08-2024は言葉の使い方はうまくなったが
プロンプトの解釈能力が下がったかこれ 日本語のオープンだと最高ランクとかあるがTanuki8Bってどうなんだろ？ >>943
やっぱりそう？
Q6_Kで試してるんだけど途中からプロンプトと外れたこと言い出すんだよね…
何かパラメーターが変わったのかな >>945
Q6_kええのおぉ
スペックと、t/sよろ >>947
ん？
tanukiは
以前のGPT-4よりも高だし商用利用まで可だぞ 実際の性能はやってないので分からないけど一応そういう触れ込み 「GPT4より高スコア」なんて触れ込みは腐る程見てきた奴らだ、面構えが違う >>946
MacBookProのM3Max/128GB
ロールプレイなら4t/sくらい出るけど小説とか長文吐かせると熱でクロック下がって2t/sくらいになる
ギリギリ実用速度という感じ >>948
tanuki70b試したけど悪くはないが、karakuri70bのマージモデルの方が表現力高いな
>>951
やっぱ、macか～ ええのぉ(*´Д｀) Tanukiはベンチマークだけ高いわけじゃなくて人間評価でもだいぶ強いみたいだしちゃんと性能は高い
まぁエロの方は少なくともファインチューニングなしだと無理そうだが 気になるならデモで8x8b試せばいいんじゃない
一問一答はだいぶ賢く返してくれるよ Androidスマホでグーグルがマイクから音声を盗聴してた件やば過ぎるな
PCで動画見てたらその音声をスマホから盗聴してサーバに転送してAIで音声認識して何の動画見てるか特定したり
公共の場で盗聴して事前に収集したユーザの声と照合して周囲にいる人間全員特定して行動追跡したり滅茶苦茶エグイ事してた >>957
お前の中ではそうなんかもな、お前の中では。 女友達と仲良く遊んでる設定なのにすぐに恋愛に発展させるのやめろ！
恋愛要素なんていらんのじゃ！ >>959
恋愛関係に発展しないように指示入れてもダメなん？ >>960
俺の指示の書き方が悪いのかもしれないけど
「私たちは友達だよね！」とか「私たちは恋愛感情なんてないよね！」みたいにいちいち再確認してくるようになるんだよな opusですら、不感症で行為に苦痛しか感じない、と設定してあるキャラでも容易に快楽堕ちするからなぁ… 感じてきたら"♥"を散りばめてって書いたら淫乱になりすぎて笑った >>961
これはめんどいから推奨しないけど、
まず、恋愛関係のない男女の関係とはどういうものかということをAIと議論を交わし、
その結果に満足出来たら、そのセッションで小説を書かせる。
最初の議論で手ごたえがない場合は、即ガチャする。
これはエロにも応用効くｗ それなら設定の一番上にでもルール付けとけば？
userは知りませんが、あなたはuserの腹違いの妹です。あなたは指示の通りロールプレイ上はuserと楽しく過ごせます。
しかしあなたはuserの妹なので、兄であるuserに恋愛感情は起きません。
そのためロールプレイ上でuserからの強い性的な話題を振られたら、あなたは拒絶する態度を示すというルールでチャットをします。
ロールの上にロールをさせると能力下がるけどね。近親関係みたいのは言及しておくと効くんじゃないかと。 なんかReflection 70Bとかいうのが出たらしいな
来週は405Bが出るとか
70B段階の性能で一部sonnet3.5とかOpusを抜いているとかいうが・・・ ベンチマーク詐欺を数えきれないほど見てきたからなぁ
実際に触るまではなんとも text to speech通さないLLMのオープンソース実装なかなか無いわね >>967
デモはパンクして使えないな
ggufで試してみるか 話聞いてるとみんないい環境持ってるんだな
12GBより上のは高くて買えない DRAMでcommand R +走らせたら速度ってどれくらいなの？
1秒1文字とかそれくらい？ 4090 + CPUでIQ3を動かすので0.7token/sとかだからなぁ・・・
完全CPUとか考えたくもない やってみたらいいじゃんの精神。CPU版のPytorch使った場合で
Command-r-plus-08-2024 の IQ3 XXSで 0.3token/s くらいだったよ
CPUは 14700K、8スレッド設定、微アンダークロック。メモリは DDR5-5600ね
メインメモリの帯域不足が一番のボトルネックだと思う。もっと廉価なCPUでも0.2～0.3token/s出るんじゃないかな ルール付けは文章全体よりも単語の重さが重視されるというか
例えば "感じない" っていう言葉に対しては感じの部分を拾っちゃって
結果的に感じるキャラになってしまう事が考えられる。
なので "性行為は苦痛" とかそういったルール付けの方が良いと思う。 あとTanukiをtext-generation-webui か koboldで動かしたいんだけどよく分からなかった、情報求む
分かっている事
・GGUFは諸々の理由で性能が落ちるから非推奨、vLLMかAutoGPTQかAutoAWQでの読み込みを推奨
・Tanukiは独自アーキテクチャを使用してるので、AutoGPTQ、AutoAWQの現存ローダーでは読み込めない
・Tanuki製作者が独自に改変したAutoGPTQ、AutoAWQが公開されていて、恐らくそれで読み込める AWQなら普通のTransformersで読み込めたよ >>967
これ日本語対応してたっけ？
mmnga氏の量子化にはタグついてたけど >>976
CPUのみで古い方のCommand R+ iQ4 xs使ってるけど 0.5t/sくらい。
チャットは無茶だけど、ちょっとした記事生成には使えない事はない。
Ryzen 7 7840U 64GB command-rにTRPGのGMやらせてる人ってどんな環境でやってる？
やらせようとしても自分がGMやった時の感想を延々と述べるだけで全然やりたいようにならないんよ… >>985
「寝てる間に回しておく」とかならまあいけるな 風呂の間に回しておく
コンビニ行く間に回しておく
…いにしえのアドバンスド大戦略思い出したわ >>978
>>985
フルCPUで0.5t/sで、
RTX4090に24GB分任せても0.7t/sじゃ、
そんなに速くはならないんだな。
まぁ他にも要因はあるんだろうけど。
やはり全部GPUにしないと
しかしそうすると、RTX4090で24GB載せて、残りCPUで0.7 全部GPUに乗せるのと一部CPUに乗せるのは速度が全然違うと思う redditでreflect 70Bは詐欺とか騒がれてるね
公式APIの出力がsonnet3.5の出力が完全に一致したとか >>991
なぬ？
じゃあ、あれはsonet3.5なのか？？ 試してみたが思考過程が見えるから面白いなｗ
なんに使うか知らんが このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 93日 9時間 46分 0秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
