なんJLLM部 避難所 ★5
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) こんな感じかな
モデル一覧は若干古くなりつつありそう
anthracite-orgのmagnumシリーズとかは追記しておくべきかな？
[anthracite-org (Anthracite)](https://huggingface.co/anthracite-org) 乙乙
magnum v4 123bが今の所最強かな
メモリ64Bで動かせるギリ最良量子化サイズがiQ3k_m いちおつ
はよgemma3とかの新モデル出んかねぇ マグナムって日本語ではないよな？
123bだとVRAMに全然収まらんし70Bクラスでいい感じの日本語モデル来て欲しいわ
Llama-3.3-SuperSwallow-70B-Instruct-v0.1 っての出てるから試すぜ >>22
日本語(エロ)で最強やで
英語最強クラスなら他にいっぱいある 5090×2でmagnum123BのiQ3Mがギリ乗るわけか…
帯域も1.8TB/secなんでしょ
4090の1.8倍速かあ
夢が広がりんぐ… ネット記事に
llm-jp-3-172b-instruct3
ってのが流れてきた
日本製なら日本語強いんじゃね？って期待は結構してるんだよなぁ >>27
ここのはいままでパッとしなかったからなぁ・・・ さすがに172bあるからベンチでは最高クラスだよ
学習トークン少ないからモデルサイズで考えるともっといいの出て来るけど ベンチでは最高クラスに今までどれだけ騙されてきたか、特に日本産は酷い 日本産でいままで満足できたのは初代karakuri-70bだけだった
でも興味あるから、どっかでデモできないかな いちおつ
公開してくれるのはとても嬉しいんだけど172bでGPT3級なのね
試してみたいけどいままでの日本語モデルはMetaが片手間に作ってくれたLLMのほうが性能よかったしな...
Metaの新しい言語に(あまり)依存しない研究に期待。来年くらいにでそうだし。 立て乙だ
>>26
消費電力600W×2とか、GPUだけで結構な電気代になるぜ・・・？ >>33
600MAXなわけであって1200W使うかと言われれば多分そうじゃないから安心しとけ。
今までのマルチGPU環境とかデータセンターとかもそうだが無謀なことしない限りはカタログスペック上の消費電力なんてまぁ100パーでも出ることない。
この辺は車の燃費と一緒でちょっとかけ離れてる。ある程度ボーダーで書いておくのはいいことかもしれんが…(CPUは青天井) まぁいうてLLMでGPU100%使い切るかどうかはさておいて500W前後x2あたりだからかなりキツそうではある よそのやつを日本企業がチューニングしたパターンが1番精度良さそうなんやけどな 例えば4090ってPL60%にすると消費電力は270W前後まで下がる
そんで性能はというと6%程度しか下がらん
これはゲーミング性能の事だからLLMだともっと影響低いと思う
なので5090もPL60%にすれば多分400W以下で不自由無く使えるはず 7B以下で良いモデルが大量に出てこないかぎりローカルは盛り上がらんだろうなあ
そろそろLLMに食わせるデータが無くなるって話だし
効率化の研究が進むといいんだが 賢いままでもっとサイズを圧縮する技術や
ハードウェア側で大きなサイズを高速に動かす技術
この辺の進展に期待したい モデルのファイルが壊れる場合ってハードウェア要因以外である？
koboldでメモリが足りないってエラー出たんで、
ファイル落とし直したら直ったけど、MD5値調べたら一致してなかった >>22
https://imgur.com/a/hDs72MT
magnum v4 123b iQ3_Mの作例
Q6_Kならもっと精度あがるんだろな >> 43です
軽めのエロだったら拒否されなかったです。明日また試します >> 43,44です
deepseek api。エッチは普通にできた。温度を1.5くらいにすると良くなる
激しいのとか、表現力はまだわからない
頭の良さはgpt-4o並みとのこと >>38
アメリカからグラボ制裁されてる中国が少量の計算資源で効率的に推論する技術を発明するとか、bitnetやphi系モデル開発して小規模言語モデルに注力しるMicrosoftに期待したい deepseekも感じさせすぎるとcommand r的な言葉の連続になっちゃうな
まあ、しょうがないか cyberagentのMistral-Nemo-Japanese-Instruct使ってる人っている？
日本語RPのベンチ見てたらスコアくそ高かったんで感触いいならabliteratedしてファインチューニングしようと思うんだけれども Abliteratedって日本語モデルにも有効なんか？ またスクリプト湧き出したみたい
戻んないで良かったねｗ >>49
あの処理って、７０Bクラスのモデルだとどのくらいのメモリ必要なのかな？ >>53
モデルサイズ分のメモリがあればいけるよ
やってることは単純で、推論→拒否部分を特定→拒否部分を無効化して保存だから >>54
おー
と言うことは既存のデータセットに日本語でヤヴァイ指示入れまくったらさらに無力化出来るってことか それで効果あったら面白いな
どんな質問にもエロを見出す脳内ピンクモデルとか作れそう Mistral-Nemo使ってるよ。普通に賢いし、特に小説の一節を読ませて質問に答えさせるとかの長文読解をさせると、他のモデルと比べて格段に長い問題を読めるし良い感じに解ける
お手軽に使えるサイズのモデルだと今でもトップクラスだと思うよ。日本語トークンを学習してるのも嬉しい所 >>57
それは素のmistral-nemo？それともcyberagentが再学習したやつ？
もしcyberagentのなら素のnemoと比べて日本語能力やRP能力に差を感じるか教えてくれると助かる Mistral-Nemo-Japanese-Instruct-2408.Q8_0
Mistral-Nemo-Instruct-2407-Q8_0 (imatrix)
Mistral-Nemo-Instruct-2407-abliterated.i1-Q6_K (imatrix)
の３つ試してきた。
RPじゃなくて、1000文字程度の小説書かせただけだけど。
全部koboldのLegacyの値使ったけど、cyberagentが一番日本語能力低く感じたよ。
ストーリー展開と会話も他2つの方が好み。 アドバイスお願いします。
漫画のセリフを別キャラのセリフとして変換するのにオススメモデルはありますか？
rtx4090でメインメモリ64GBを使ってます。
現状はローカルでエロセリフはBerghof-NSFW-7B、
非エロのセリフはperplexltyを使ってます。 完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開
〜GPT-3.5を超える性能を達成〜
https://www.nii.ac.jp/news/release/2024/1224.html
これが先週のニュースだからな
国の金つかってこんなしょぼいLLM作ってるんだから日本は しかもフルスクラッチで始めて日本語ベンチでgpt3.5並て（笑）
下手糞すぎひん？ nicky氏のsuperswallowXをメモリ96G積んでるニキ、例の規制解除処理しておくれでやんす ちなAbliteratedは4bit推論も可能なんでメモリ弱者にも優しい仕様になってるで 大規模モデルは信じられないぐらい金かかるから簡単には出来ないとはいえ淋しい結果だな DeepSeekV3の普及速度えぐいわ
あっという間にSonnetとかレベルで利用されだしてる
https://i.imgur.com/tCVMetL.jpeg AIサービスはdeepseekv3一択になりつつある
高性能だし安い
LLMチャットサイトも大半が移行してる 安さがぶっちぎりなんだよな
価格で対抗できそうなのはawsのやつくらいか deepseekのベンチがいいのは分かったけど実際はどうなの？🤔 >>72
英語ならかなり良い
日本語は…？
翻訳して使おう >>72
AI realmってサイトでちょっとだけ使えるよ DeepSeekV3、OpenRouterを介してSillyTavernで試してみたけど
日本語もだいぶ話せると思うよ。多言語対応してるのは偉い(ふつうに申し訳されるけど)
3.5Sonnet超えてるかというとコーディング領域じゃ微妙だけど会話とかは結構イケてると思う
オープンウェイトだからローカルでも動かせる!(動かせるとは言ってない) DeepseekAPIは激安のcohereAPIより更に激安なのがいい
というかチャットだとcohereでも結構かかる モデルの規制解除試してるんだけど、parquetファイルを追加する手段ってなかなかないのね
どっかいいのないかな？ chatgptとかに.txtを読み込むようにして〜ってお願いすればやってくれるで DeepSeek V3をローカルで動かすならMacクラスターが良いらしい
Macはメモリは優秀だけどGPUがショボくて今までのLLMだと遅すぎて使い物にならなかった
でもDeepSeek V3のMoEモデルはそんなMac相性が良くてかなり高速に動くみたい
https://blog.exolabs.net/day-2/ >>65
.bitsandbytesがcpu量子化に対応してないから、メモリ64Gの環境では無理ですた
macメモリ増し増しのニキ頼むー
swallow v0.3 70Bが規制なくなればかなり良さげなんだわ >>79
4bit量子化とはいえ、671Bとはすごいね
しかも5.37token/sもでるのはMoEモデルならではとな
その構成のM4 pro 8台なら270万円〜 ww
でも研究者用にはよさそうだ
Apple のAIサーバーはM2 Ultraを並べてて色々欠点をあぶり出していて
その結果M5からGPUがAI向けにチューニングされているという噂
でもM4 maxがでたら我慢できないかも >>81
270万円は高くはあるけどNvidiaでこのメモリサイズ揃えるよりは圧倒的に安いんだよな >>58
ごめんよく読んでなかった、素のmistral-nemoの方だわ
オリキャラ数人とパラメータいじりつつ会話してみたけど、cyberagent版の方が言葉遣いとかは自然だけどRPの演じ分けはあまり上手くない気がする
素の方は設定に忠実な、悪く言えば設定をなぞっただけの、翻訳文みたいな味気ない会話文を出すことがしばしばあるけど、総合的なPR能力はまあまあある方だと思う
cyberagentの方は会話の表現力自体は高いんだけど、どうにもチャットAIの回答に味付けしてくれるって感じで、特に無口系のキャラとかチャットAIと方向性が違う性格になると途端に忠実さが下がる
キャラなりきりチャットで遊ぶなら、多少表現が固くても素の方を選ぶかな
あと長文読解に関しては、素の方が圧勝だわ。まあこれに関してはほとんどの人は興味ないだろうけど……書きかけのテキストまとめる用途とかに便利なんだよ
素のmistral-nemo Q8_0だと、4.5万トークン(4bit/8bitキャッシュでVRAM16GB)くらいの小説を読ませて質問してもまともに説明できるし、説得力のある解説や解釈を入れてくれる
Q4_K_Mで8.5万トークンの小説読ませた時も日本語としてギリギリ成立するくらいの文章が出せたから、Q8とかFP16ならちゃんと応えられそうな気がする
cyberagent版やmagnum、phi-4とかのモデルだと3万トークン以下でも日本語として全く成立しないくらいに破綻するから、やっぱり素のmistral-nemoは総合的なポテンシャルがかなり高いと思う >>83
はえ〜勉強になるわ
ワイEasyNovelAssistantをちらっと触っただけなんやけど
小説を読ませて質問、てどういう風にやるんやろか？
イラストスレでも前スレ食わせてまとめさせとるニキおるし
めちゃロマン感じるんや
青空文庫から江戸川乱歩や吉川英治読ませて明智探偵や曹操丞相と会話したいんコ゚ あと「そちら荊州借りパクしてますよね？」と魯粛先生の代わりに孔明を説い正したい
でも本気で罵倒してきたら王朗みたいに血ぃ吐いて憤死するかもしれんけど
楽しみでしょうがないんや 2024年は大変お世話になりました。
ENA初心者いるっぽいんで、役立ちそうなこと書いときます。
・huggingfaceからDLしたgguf使いたい！
ggufが保存されているフォルダ（自分の環境だとKoboldCpp）に入れて、
ファイル名をVecteus-v1-IQ4_XS等、ENAからＤＬできるファイル名に置き換えると使えます。
jsonファイルを書き換える方法もあるっぽいけど、この方法で困ったことないです。
・localhostにアクセスしてKoboldAI Liteを使おう！
モデル読み込んだら一番下にURL出てくるはず。
ENAだと温度しか設定変更できないが、こっちだと色々なSamplersが変更可。
（コンテキストサイズはENAからのみ変更可）。
Sampler Presetの下部にあるLegacy設定がおすすめ。
XTC、DRY、Min-pを変更するのが最近の主流らしい。
まだ使いこなせてないので、良い値あったら教えてください・・・ >>59,83
わざわざ検証サンクス
やっぱり元々日本語喋れるモデルに日本語チューニングしてもあんま意味ないんやろな
>>84
EasyNovelAssistant使ってるならkoboldcppってのが入ってるはずだからそれを立ち上げてcontext sizeをデカく&tokensタブからkvキャッシュの量子化をしてコンテキスト長が長いモデル(mistral-nemoとか)を起動
そしてlocalhost:5001に行けばGUIが立ち上がるからそこに長文ぶち込んで質問すればええよ >>84
Oobabooga / Text generation web UI 使ってる。>>87ニキの通りEasyNovelAssistantでもできるはず
Mistral-NemoのQ8版をダウンロードしてきて、フォルダごとmodelフォルダに入れて、Web-uiのModelタブで設定を調整してロードすればOK
n_ctxの値が消費VRAM量に直結するから、そこはVRAMに合わせて調整してもろて。16GBなら4.5万トークンまではVRAMに乗り切ると思う
https://i.imgur.com/G0YjNQF.jpeg
ロードできたらDefaultタブか、NotebookタブのRawを開いて、こんな感じのプロンプトの中に小説や文章を貼り付けてGenerateすれば読解してもらえる
https://pastebin.com/UJE6muvi
プロンプトは以前やっつけで作ったヤツだから、適宜直してな
後は好きに質問したり、要約させたり、「（登場人物）は、こういう時にどう思いますか？」って聞いたり、「（シチュエーション）の台詞を考えて書きなさい」って指示すればいい
長文やってる人は少ないから、何か面白い会話とか出たら共有してくれると嬉しいで >>87>86>88
丁寧にサンガツやで！
EasyNovelAssistantの最大文字数？くらいしかいじったことないんやけど
全然足りとらんかったのね……画像までありがとう、やってみるで
LLMうまい人は質問の仕方や出力フォーマット指定も上手なんやろな
ワイは電子書籍化したpdfとか山とあるんやが、歴史系の専門書はまだ裁断しとらんのや
検索性は紙媒体が優れてるけど部屋にはもう置けんし、AIが司書さんになってくれたら
本処分して引っ越しも楽になるし
LLMの進化は楽しみなんや 86だけど、ちゃんと調べたらDRYとXTCの考案者pew氏がおすすめの値公開してた・・・
https://github.com/oobabooga/text-generation-webui/pull/5677
https://github.com/oobabooga/text-generation-webui/pull/6335
Min-p:0.02、rep_penなし、DRY（mult:0.8、base:1.75、A_len:2）、XTC(threshold:0.1、probability:0.5)
らしい。 まじかこれ
https://x.com/koltregaskes/status/1874535044334969104
- Claude 3.5 Sonnet (2024-10-22) = ≈175B
- ChatGPT = ≈175B
- GPT-4 = ≈1.76T
- GPT-4o (2024-05-13) = ≈200B
- GPT-4o-mini (2024-05-13) = ≈8B
- o1-mini (2024-09-12) = ≈100B
- o1-preview (2024-09-12) = ≈300B GPT-4 = 8x220B = 1.76T のMoEなのか
4oのマルチモーダルは精度えぐいからまぁええけどLLM性能だけ見たらなんか劣化してそうだな 実際に4oは最初なんだこりゃってなったからな
コーディング向けというか、とにかく事務的で人と話してる感が4よりも遥かに劣っていた
今もそうだけど ローカルLLMとパラ数が大差ないことが驚き
下手したら個人のPCでもGPT-4oが動かせそう 推定値ってはっきり画像に書いてあるんで鵜呑みにしない方がいいよ
さすがに4o-miniが8bは賢すぎる 8BぐらいならモデルをうっかりHuggingfaceにリークしてほしい
いつも情報をうっかりリークするOpenAIさん この人のツイートを見る限り、小型モデルをトレーニングしていくのではなく
巨大モデルを作成してから何らかの軽量化して小型モデルを作ってるのかな
https://x.com/shanegJP/status/1866893458247651518 巨大モデル作成→枝刈りが軽量モデルの訓練最適解だとすればローカルLLM界隈は厳しい状況にある気がする
大規模なグラボがないと軽量かつ高性能なモデルが作れない 7Bモデルまで軽量化する時にオホ声やメスガキの枝を大事に残してるとか草 なのに最初から小さいモデルを作る日本メーカーさんて😅 確かに文字の出てくる速度からして相当パラメータ数少なそうだなとは思ってたけど
もし本当に8bなのだとするとローカル界にもかなり希望があるってことにはなるなぁ 言ってることが正しくても投資家の文字が出てくると胡散臭さが5割増に見える不思議 macってメモリをGPUにシフトできるけど、koboldとかで使う場合GPUレイヤーに載せた方が速いの？
同じユニファイドメモリなんだからcpuモードでも同じと思ってたけど違うんかな？ >>91
信じられないな
4o-miniがローカルで動かせるとは思えん >>104
CPUモードだと演算をCPUでやるのでは？ 理論的にはエロ性能に特化した4o-miniをローカルで動かすことも不可能ではない
誰か頭が良くてエロい人頼んだ >>104
CPUとGPUではアクセスの粒度がぜんぜん違うので
MMUに対して領域を指定してその部分DRAMバンクのアクセス方法が切り替わる
(画面表示の時の読み出し割り込みが定期的にかかるから違うバンクのほうが予測率あがる)
さらにM3以降はそこの改良が進んでてダイナミックキャッシュの圧縮もしている
どうやって圧縮しているかはみつからんかった。最大2倍という広告は見たけど wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど cohereのaya exp 8bはしゃべり方とかだいぶ4o-mini的かも
ただもとが優等生的なキャラなのでエロいのが好きな人は物足りないかも 尻タブだと問題ない
koboldだとぶっ壊れる
chat modeがダメなのか？ アダルトなフォルダ群と、それに対応するサムネ画像群があります。両者のファイル名は表記揺れが多かったり、無駄に日付やバージョンが追記されていたりします。サムネ画像群をlsして200行ごとにA〜Kへと分けています。
AIに対して一つのフォルダ名とサムネ画像群ファイル名リストAを渡し対応しそうな名前を返してもらう、という処理をローカルで行いたいです。
powershellとkoboldcppでこういった処理は実現できそうでしょうか? LLMとしりとりするの難しいな……GPTでも上手くいかないことがあるぞ >>113
フォルダ名から画像ファイル名探すだけならkoboldにファイル名リストぶち込んで質問でもいいんじゃね
ちゃんとやるならベクトルDB構築することになるけど
>>114
トークン化されてるからね
strawberry問題と同じよ >>115
GPTだとちゃんと語尾を取ってくれるんだけど
「ん」で終わってしまったときの仕切り直しでおかしくなるんだよね
AI：「メロン」！
俺：「ン」で終わったらダメだよ！
AI：あ、すみません！「メロン」の「ン」ですね。じゃあ、「ノート」！
みたいな感じで
アホなLLMはそもそも全くしりとりが成立しない aya
cohereのとこだし似たようなもんだろって思ってたけどCR+よりは賢い気がする
ただ、軽めのマグナムが現状やっぱ最強
重いのも一応動くけどおっっそいし、俺調教モノがしたいからレスポンス早いの大事なんよなぁ たしかに並のLLMだとしりとりダメだったわ面白い
QwenとかCohereとかだと単に似てる単語を返したりしてくる
4oとかClaudeレベルじゃないとルール理解してくれんかった 尻タブでAPIからDeepSeek試してみたけど、いまいちだな…
同じような繰り返しばかりだし、LLMにありがちな明るい未来病をにおわせるフレーズが多くて響かん
設定煮詰めたらましになるのか？ ワイもSillyTavernでDeepSeekV3試したけど
同じ語句くりかえしたり出力途中で途切れたり長い文章の出力途中で違う言語になったり
みたいな挙動は確認した 俺もdeepseekのapi呼び出しで全く同じ症状出てるわ
繰り返しと文章の破綻
とてもじゃないけどこれがclaude越えはない
apiクレジット多めに買っちまったよちくしょう ayaは32bのモデルもあって、それを蒸留したのが8bだと思う >>apiクレジット多めに買っちまったよちくしょう
(´・ω・`)人(´・ω・`)ﾅｶｰﾏ 文章出力変のはトークナイザーやらテンプレートの設定を間違ってるからだろ そういう設定ってどこかにまとまってたりすんのかな
というかどう詰めていけばいいのか謎 Magnumの派生で色々試してたら気に入ったモデル見つけたわ >>126
そこらへんの情報ググっても全然出てこないよな
chatGPTに頼んでもまともな答えが返ってこないし
何がどう間違ってるのか確かめる方法と基準が分からん reddit以外だとDiscordとかになるんかね
Googleはオワコンだし、LLMの知識はそこの情報食ってウンコ出してるようなものだからもっと使えん ローカルがパワー不足(12GB)だから月課金のサービス使ってMagnum72B動かしたけど、当然ながら12Bより理解度高い上にキチンと下品な対応をしてくれるね…… mradermacher/Writer-Large-2411-v2.1-i1-GGUF
期待してたこれようやくimatrix量子化してくれて感謝
小説特化のせいか評価問題は指示がうまく入らなかったけど、なんか知らんが隠語表現がぶっ飛んでたわw >月課金のサービス
LLM用途だと、どこがお勧め？ 【Claude3】ChatGPTでオナニー ★51【AI】
https://mercury.bbspink.com/test/read.cgi/onatech/1735603890/
同じ板のこっち行ったほうが早いぞ
熟練の変態達が色んなサービスをためしてる >133
infermatic.ai、arliai、groq、together.aiなどなどあるけど、自分はinfermatic.ai使ってる
使用できるモデルは少なめだけど、定額使いたい放題だからね…他のは単発で使うなら安いけど使用のたびに費用かかるのが合わない 今のとこLyra Gutenbergs Twilight Magnum 12bに落ち着いてる
軽くてレスポンス早いし、NGないし、文章のクオリティも結構高め
よくミスるけどLMStudioなら介入しやすいし、早いから再出力もさせやすい
>>132
試してみたけど悪くないな。地の文は良い感じ
セリフがちょっと堅い気もするけど 俺はこれに落ち着いた。
Lumimaid-Magnum-v4-12B.Q6_K 12Bなんて俺の12GBグラボじゃ動かん
羨ましい 量子化すれば12bモデルも6gbになって余裕で動くようになるで 12gbで12bは余裕ぞ
というかそのぐらいまでがベストなサイズ感すらある 3060 12Gで問題なく動く→12B Q6
7Bまでと思い込んでたので、12B動かせること知って全然変わったわ。 M4 MacStudioが発表されたら買おうかな
192GBあればほぼなんでも動かせるだろう
ただGPUがショボいから生成が遅いらしいが
動かせないよりはマシか 重いやつのがクオリティは間違いなく高いんだけどね
結局AIが生成する文章そのものというより、いい感じに自由度高く介入できるのが好きなんだと気付いたんでやっぱ生成速度大事やわ うおおおお
koboldがついにwebsearchに対応したー このスレも以前はグラボ関係なく70Bをガンガン(ゆるゆる)動かして「いやー30Bくらいの方が性能と速度のバランスがいいんだけどな」なんて会話をしていたものだがのう >>138
このモデルすげえわ
指示に適度に従いつつも表現の幅が広い
小説向け Magnumすごいよな
巷の官ジェネもよく通るし、出来もいい
俺の用途だと月課金する必要感じんわ
CommandR+より遅いのが難点かな でも12Bって良いモデル全然ない気がするぞ
7Bのがよっぽどまとも mistral系のモデルで7b派と12b派がいるよね
自分は理解力重視で12b派 軍人口調にしようとしてるんだけど難しいな
喋り方がかなりおかしくなってしまう >>151
台詞のサンプルとか指定したらいけないか？
あと性格とかでも口調が変わってくる >>138
これQ8とその一個下のQ6 K Lってモデルあるな
magnumで色々試すのはいいかもしれん >>152
セリフのサンプル通りにならないんだよな
性格と矛盾してる箇所があるのかもしれないからそこらへん弄ってみるわ セッションが続くと文章崩れる問題ってもうどうあがいても解決できないのかなあれ
magnumすごくいいんだけど、結局そこで躓く
素人考えだと、前の文章に必要以上に引っ張られなきゃいいだけじゃんって思うんだけども ファインチューンで使うデータセットのトークン長を長くしないといけないから難しい問題なんよね
英語ならトークナイザーが強いからあんまり気にしなくていいんだけれども コーディング支援系のやつ色々ためしてんだけど
Cursor→Cody→Roo cline
って変遷してんだけどゴリゴリ自動で作業してく感じすごいわ
AIが作業した結果に許可ボタンポチるだけのAI見守りおじさんだよ👴 >>155
忘れてほしくない情報は記憶しろって言う
忘れて良い情報は忘れろって言う
それが大事 >>157
俺も興味あるんだけどプログラミングとかほんのちょっとしか触ったことなくて良く分からんのよな
例えばどんなことが出来るの？ koboldcppアプデでwebサーチ機能が追加されてんね
なおどこを有効にすればいいのか分からない😇 >>157
なんというかこういう感じやね
ｽﾞﾄﾞﾄﾞﾄﾞって直にコード編集してくれる
@neko.py @piyo.py みたいにコードを引用できたりするから
コードコピペしてChatGPTに貼り付けてぇとかしなくて済むのがデカい
https://youtu.be/M4bLmpkxa1s?si=GPqQ8dA5eFXFPMbn&t=107
>>161
一番ええのはCursorかな?
ただし月額サブスク20$なのでトークン毎の支払いがよければ
VSCODE拡張で入れられるCline(またはフォークのRoo Cline)かな
OpenRouterのトークン消費ランキングで大体上位におるからよく使われてると思う
https://i.imgur.com/5fB1rJU.jpeg >>157
そのラインナップでgithub copilotは使ってないんか？ bbx規制終わったかー
>>160
ウェブサーチいい感じだな
7bレベルだとなんか変な結果になるけど
設定は起動時と起動後のコンテキストのオプション2つ設定やで RyzenAIMaxはモバイル用なのか
なんでデスクトップ用を出さないんだ？ 色んなところで言われてるがVRAM 32GBは微妙すぎる
70Bクラスで遊べないのはきつい 70B動かすなら48GBは欲しかったよねえ
さらにお値段ドンになっちゃうけど AMDかintelがとち狂って96gb積んでるグラボ出さねえかなぁ
それこそaimaxを強くしてデスクトップ向けに出してくれたらいいんだけど とか思ったらnvidiaもaimaxみたいな製品出してきやがった
まだvram帯域わからんしwinみたいなos入るわけじゃないから完全AI専用機だけど期待大 nvidiaが$3000のスパコンを出すってよ
ユニファイドで128gb まあ‥5〜6年もすればLLMもハードウェアも進化してるでしょう 一方俺は８年前のTeslaP40をebayで買うのであった $3,000-は性能の割に格安だね。mac studioが霞む
どうした革ジャン、突然神になったのか？
ただリンクがNVLink-C2Cということは2台までだよな
TB5とか積んでるんだろうか
nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips Digitsの方は消費電力も少ないから自宅のLLMサーバー用途にはこっちの方がよさそうな気がしてきたな
CUDA使えるのも強い おお、connectXか。400GBあればMoEであればなんとかなりそう digitsってアーキテクチャarmなのか
帯域がどれくらいなのかも不明だな なんだMac買おうと思ってたのにこんなの出されたら待つしかないな 話が旨すぎる
放っておけば5090複数挿しする層に何故こんな餌を 2台で405Bがローカルで動くのか
それも僅か$6000で ついに現実的な値段でまともな文章力のがファインチューニングされる時代が来たのか
70Bとかのは正直「頑張ってるね」レベルが否めなかったからなあ 待ちに待ったStrix Haloの発表の日や！デスクトップ向けメモリ128GB対応で一番安価そうなのは……AI Max PRO 385ってやつなんやな！夢が広がるンゴ！
とかやってたらNVIDIAのproject digits発表見て横転したわ
AI Max PRO 385搭載で128GBのマシンが10万以下とか格安で出るならそれはそれで夢があるけど、project digitsの期待値ちょっとヤバすぎるな ただ開発者向けだから買うのがちょっと面倒になりそうだな なんだこの期待値ぶち上げな情報は
先月今月でソシャゲに30万だったかぶち込んでしまったがもっと早く情報出してくれたら2台目のために温存してたまであるぞ・・・ 128gbで3000ドルなら
64gbを1500ドルで出してくれんかなぁ・・・ チップの演算速度はどのくらいなんだろう
4060くらいはあるんだろうか？ グラボなんて適当に数万だして差しときゃよかったのに
うおおお30万!!やすい!!
順応性高すぎる RTX5090定価$1999(31.5万円)が\393800になるの草 AIの生成速度ってメモリ帯域で決まるから5090のことなら間違いなく早くなるよ
project degitsはメモリ帯域わからんから何とも まだスペック完全には出てないと思うけれど、少なくともA6000よりは全体的に上で、A100の80GBとは互角かそれ以上になる・・・
かもしれないってChatGPTが言ってた
画像生成モデルの学習や生成も個人レベルではかなり上がるんじゃない？
俺もそっち方面含めてめちゃ期待してる ヤベえよ5090買おうとしてたのに
いや、VRゲームとかもやるからそっちはそっちで要るか と言うか128Gのメモリで最大200bってことは量子化前提なんかな？
4台くらい繋げられんのだろか 5070 24GB版が後から追加される可能性はあるのだろうか と思ったらGPUじゃなくて小型スパコンとかいう意味わからんデバイスのことか
こりゃ革ジャンががんばってくれたら数年もしないうちに個人用AIサーバーみたいなのを
家電買うぐらいのハードルで建てられるようになりそうだわ Project DIGITSってLPDDR5Xらしいしそんなに帯域大きくないんじゃないのか Project DIGITSほしいよおおおお
でもビグテックが買い占めて庶民には回ってこないんだろな… mediatekと組んで作ってるということはスマホベースなのかな
macと同じようなものを作りますということ？ >>206
これは学生含む小規模開発者向けだからビッグテックが買い漁るジャンルのものじゃないよ
学校で一括導入したりはあるだろうけど >>207
単純にARMのCPUの設計をしてもらうために組んだのでは もういっさいゲームとかしなくてLLMか画像と動画生成をローカルで遊ぶくらいしか用途が無いんだけど買うならRTXよりdigitsの方が良いかな
OSもlinuxベースなら画像生成も学習も問題なく出来るよな? ARM系だからセットアップが面倒（一部ライブラリを自前でコンパイルする必要があるとか）だけど
普及すればその問題も消えるだろうしVRAMが必要な推論用途なら大本命のデバイスやね >>212
ARM系とかlinuxも全く分からんけどGPTあたりに聞けばなんとかなりそうだな挑戦してみよう RTX50はFP4対応したけどRTX40以下とのGPU混載だとFP4の高速化の恩恵受けないのかな FP4対応ってTensorCoreやろ？
ワイは一度試しに動かしたことある程度なんやが個人で利用してる人おるんやろか
正直geforceではtensorcore削って安くしてほしいんやが Chat with RTXみたいにTenser Coreに最適化済みのモデルを動かすと速いよ、50xxだとfp4も使えてさらに速いよって話なのかな
fp4使えなくても最適化済みモデルの数が増えるとか最適化手法が一般化することで恩恵あるかもね 最適化と言うかtensorrtはそのモデルを使う環境でモデル変換をする必要があるからめんどくさくてどうしても普及しない
nvidiaのはどうやってるか知らないけど、多分力技で全パターンの変換済みモデルを自前で用意してるんじゃないかと
多分一つのモデルに対して数十パターンは用意しないといけない
下手したら100以上かも 5000シリーズも出そろったし、チャット系だと実は mac mini M4 24G 位の方がリーズナブルだったりするんだろうか。 digitsの出力速度はどうなんだろう
メモリがDDR5なのが気になるところ vidiはvram増やさないで済む戦略で進めるようだし
メモリほしいならmac一択やな ワイはまだRyzen AI MAXへの希望を捨てへんで…… >>220
500gb/sじゃねえか、ってredditに出てた これで同価格帯でmac ultra 512Gが出てきたら萌える macはどう考えてもお高いだろ
m2ultraの値段から考えるとm4は128GBで200万ぐらいするんじゃないの digitsはCUDAのサポートが保証されてるのが一番でかい
ハード的にはラズパイくらいの難易度だが機種選定に手間をかけたくない研究機関は脳死でまとめ買いするだろうな
革ジャンにとっては慈善事業の類だろうがTCOで見たらコスパ高いよ そういえば、デスクトップマスコットx localLLMって無いもんなのかな
LLMの記憶力問題をマスコットプログラムで管理して、ゲームブック的なシナリオ. txtにプレイヤーとして挑んでほしい
で、仕事して家に帰ったら今日の冒険がテキストにまとまっててほしい >>228
Steamでdigitalmateっての見つけて買った
合成音声もつかえる Digital mate x LocalLLM、やばいですね
大手が一律でNSFWを禁止している理由がハッキリ分かる >>231
どんな感じなの？
俺のチンポが興味津々なんだけど できることそのものは選択したキャラクターとLocalLLMでチャット出来るというだけだよ
パッケージとして完成していて、手軽に使える、手軽にカスタム出来る、調べ物なしでいきなり果実に手が届くというタイプの危険さ
沼に転げ落ちる予感というか...$3000か... できることそのものは選択したキャラクターとLocalLLMでチャット出来るというだけだよ
パッケージとして完成していて、手軽に使える、手軽にカスタム出来る、調べ物なしでいきなり果実に手が届くというタイプの危険さ
沼に転げ落ちる予感というか...$3000か... MMDモデル使えるんだっけ？
音声はさすがにSBV2は無理かな？
あとはVR化出来たらもうピースが揃っちゃうんだけどな 伺かが人工知能だったらって妄想が現実になったみたいな感じか
すげーなかがくのちから ollamaいれてcreateしたらいけるのかな
chat用をいれなかったからかすごいユーザー発言自己主張しまくって読み上げてきて笑った ソフト側でollama apiを選択して、lightchatassistant経由で起動してたkoboldcppのポート番号をいれるだけでとりあえず動いたよ
ボイスの自然さ、表現力、声質カスタムが揃えばそれだけで無限に客が呼べるのでは
短時間の音声サンプルから声質をコピーしたものを作れてしまいますよ、というのは証明されていますし
ASMRも担当できますよ、とかね >>235
voxtaならVaM基板だからVR行けるしNSFWも多分行けるんじゃね voxtaってVaM動かさないといけないんでしょ？
確か会話でTimelineとかを操作してセックスモーションとかを起動できたはずだけど
あれCPUの性能要求がえげつないんだよな 本当だ
ollamaいれんでもkoboldcpp起動してポートうごかしたらいけたわ 16GBグラボ環境で日本語ローカルLLMをNSFW小説目的で遊んでたのだが
ふとRocinante-12bを英語で使ってみたら大分性能に差があることに気が付いてしまった
他に英語向けのNSFW可能なモデルでおすすめのあったら教えてほしいわ >>242
有名なのはLumimaidじゃないか
Mistral系はなんでもいけると思うけどな digitalmateはollama apiを使う感じなのかな?バンドルで売ってるchatwifeは不要? いろんなサービス試してみたけどオープンLLM動かすならfeatherless.ai使うのがコスパ良さそうだ Digital Mate、色々触ってみたけどLLMチャットにキャラクター概念を挿入するためのソフトって感じだな
高度なことを追求するよりは理想のキャラデータを量産できる体勢を作ったほうが面白くなりそう
良い絵を一枚持ってきてL2Dで少し動かして口調サンプルからセリフを4oに作ってもらうとか
>244
chatwifeは別の会社が作ってる同系統のソフトというだけっぽい DigitalMateそのものは、俺はこれは別にいいやってなったけど、
今後何かちょっとした開発をこちら側でしたいってなった時に大事になってくるのはこの方向性だなとも思った
LLMの文章を画像出力させる！みたいなことしたい時も、
文章読ませて画像プロンプトそのものを出力させるより、「タグ」のプリセットを予め用意して適したのを選ばせた方が精度が高い
指向性を定める箱をちゃんと用意するのが大事なんやろなって感じ digitsのせいでm4ultraとstrixhaloへのモチベがダダ下がりしている
macの制限受けるUltra
おそらくAI以外のパフォは大した事ないdigits
いまいちAIへのやる気感じられないAMDのstrixhaloでそれぞれ欠点はあるんだけども digitsも感覚麻痺してるから3000ドルで安い！ってなるけどA40１年ノンストップで借りる額と同じなんよな
使わないときは止めれば4、5年は使えるしそのぐらいたてばもっと安くて性能いいものが出てると考えると何とも サブスクは値上げの可能性が付きまとうから単純比較はまた悩ましい koboldのアドベンチャーモードってtokenを大量消費する仕様があったりするの？
設定したコンテキストサイズの半分ぐらいで文章がおかしくなるんだけど
>>234
ほえー
ちょっと面白そうだね
MMDとかよく分からんけど digitsは高価だろうけど、ドッキングできるのもあって中古の需要は高いだろうし、売却すればそれなりの金額になるんじゃないかな（希望的観測）
……ってそうなってくるとdigitsのレンタルもできるようになってくるのかな？そういやsaladだったか、個人でGPUリソースの貸し借りするサービスあったような…… digitsは開発者向けと言ってるから一般販売用の第二世代がすでに準備されてる可能性あるような
70bが動かせて10万円ですとか 何にせよ販売経路も一般とは異なりそうだし5月に使用感のレビュー見るしかないな
帯域がどうだろうなあ もしかしてこのスレってクラウドサービスでオンデマンドスケベLLMしてるエンジニアの鑑がいるのか？ >>251
多分ユーザー側で入れる情報と別にアドベンチャーモード用のプリセットプロンプトも読んでるからそこでトークン消費してる >>256
チャット派のワイはこれで200Bが動かせるとしてもやっぱ応答速度が気になるんや
3000ドルやっす！とは思うけど冷静に考えると5090に9800x3D合わせても2500ドル以下で買えるしなあ…
小説派は全速力で飛び付け！とは思うで >>258
ははあ、そういうことかいな
アドベンチャーモードは面白いけど半分も占有されるのは辛いもんやな 推論速度は気になるところなんよな
公開されてるのはfp4が1pflopってことだけやねんけど、
そこからいろいろワイ独自に推測に推測を重ねて
最速で4070くらい、再遅で4070の半分くらい(3060くらい？)かなって気がしとる
4070の半分くらいやったとしても70bをおそらく5token/sくらいで動かせるので
結局ほしいんやが redditで画像に写ったメモリチップの比率から32bitチップでstrixhaloと大差ないって考察してる人はいたね
イメージ画像だろうし500は出るだろ派やappleみたいに128bitチップ専用に作ってもらって1T出るんじゃないか派もいたけど >>260
ワイはGeminiが無料でコンテキスト大量だからそっちでアドベンチャーモードと同じ遊び方してる
NSFWも露骨なのは止まるけど、システムプロンプトにコンプライアンス最低でとか過激な表現は避けて婉曲的に描写することとか書くとエロいこと自体はしてくれるし >>257
クラウドにインスタンス建ててLLM置いてオレオレLLMサービスにAPI接続ってことか？
A40(48GB)でも$0.39/hrとかすっから24時間借りっぱなしとかになると月額数万とかになるだろ
どこにもホストしてないドマイナーモデル/俺だけのファインチューニングAIを使いたいんだあってケース以外割にあわん クラウドでGPU使うならnovita.aiが安いかな
RTX4090が安く使える paperspaceって手もあるぞ
A100は期待できないがA6000ならまぁ混雑時間以外は大体使える
ただ、gradioない奴（SillyTavernとか）使おうとすると自力でgradioでラップするかバレたら垢停止の方法使うしかないけど・・・ チャットは何token/sあれば実用的なんだろうな 人間相手のチャットで長文派だと平気で10分とか20分とか待たされることもあったな 尻タブでも設定したcontext長が16384なのに6000ぐらいで
文章にアルファベットや記号が混ざっておかしくなる
もしかしてこれは繰り返しペナルティとか温度とかの設定の問題か？
まあ設定を弄っても全然改善しないんだが
はあーん、マジで分からん
context長を長くしても全く生かせてない >>270
ファインチューニングモデル使っててベースモデルなら問題ない場合はファインチューニングでロングコンテキスト性能が劣化しちゃってるからどうしようもない >>271
前スレのwabisabi-v1なんだけどそういうことなのかな？
バージョンアップで8kから128kにコンテキスト長が伸びたことを謳っていたから大丈夫そうなんだけど
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/754 >>272
ファインチューニングで使ったデータ以上の長さの文を送られるとAIが困惑して意味不明なこと言い始めちゃうんよ
モデル的に128kまで行けるから前の文章も覚えてはいるんだけどね 10token/sか
追い付かなくなってくる速度だな
リアルタイムで音声チャット出来るようになるにはこれでも足らないんだろうな >>272
そういえばwabisabi俺も16Kで意味不明な文章に破綻してたわ 日本語のerpデータセットってhfに上がってないんかな
官能小説データは自力で集めて今手元に数GBくらいあるんやけど >>276
日本語のerpはaratako氏のデータセットしかないと思う >>273>>275
16kまで行ける人がいるならモデルが原因ではないのか？
俺は8k以下でおかしくなるし
RTXのAI性能が上がるpytorchのパッチが来るらしい
https://x.com/_kaiinui/status/1877548551707689165
pytorchってどこで使ってるんだっけ？ digitalmateこれツンツンした時のreactionとかにもLLM使ってくれたらいいのにな
あと一定時間話しかけないと向こうから話してくれたり
結局自分からアクション起こさないと駄目だから億劫になっちゃう
伺かみたいだったら常駐する意味もあるんだけどな >>278
すまん、64→32→16と上から試して破綻してたからもうええかってなったんで8Kは試してない >>280
どれぐらいのコンテキスト長で破綻してたの？
俺は最大16k設定にしたのに6kぐらいで破綻した >>264
runpodってやつか
しかし60円/時で済むのか
ちゃんとスケジュールでterminateしていれば意外と趣味の範囲か…？ ポッキーゲームやツイスターゲームが学習されていないモデルって結構あるのな
説明してもなかなかルールを理解してくれない >279
開発自体は活発だしコミュニティも付いてるからパッと思いつく機能は時間経過で全部付くんじゃないかな
複数キャラを起動して勝手に会話させるとか
テキストを渡すと内容について評価感想を出してくれるとか
伺かにChatGPT3. 5のAPIを導入しているプロジェクトもあるみたいだから、Koboldcppをopenai 互換で起動しておいてHostsか何かでopenaiへのアクセスをリダイレクトすればLocalLLM伺かを爆誕させることも出来るかも >>279
その機能って超単純な仕組みで追加出来るだろうからリクエスト出せば受け入れられそうやな
一定時間入力されない場合に入力されるプロンプトや特定箇所をクリックした時に入力されるプロンプトを数種類用意しとくだけで済むし Android アプリのコトモ、ChatGPTのボイスモードよりそれっぽい合成音声とガードの脅威的緩さがすごいな
ダメじゃない！？ってなる
これぐらいの合成音声がどこででも使えるようになると色々捗るんだけど Style-Bert-Vits2ですか
VITS-APIアクセス経由でDigital Mateと接続できたりするやつ...？ sbv2にもapiはあるけど書き方違うはずだから使えないと思う sbv2入れてみたけど抑揚がおかしくて使ってないわ
あれいいのか？
それとも俺の設定がおかしいのか sbv2はモデルで発音に滅茶苦茶差があるからそれだと思われ
10月あたりにkotomoと比べたけど自分はそこまで差があるようには感じなかったわ そうなのか
もう1回チャレンジしてみよう
LLMで作った小説の朗読に使えそうなの探してるとこなんよな Japanese‐TextGen‐Kage‐ｖ0.1.2‐2x78‐NSFW‐gguf
Mistral_Nemo_NSFW_E3V1_Q8_0‐GGUF
Ninja‐v1‐NSFW‐128k‐i1‐GGUF
最近入れて悪くないなってなったLLM >>293
おーありがとう参考になる
こんな感じでテンプレの>>15も最近の情報にどんどん入れ替えて欲しいな
最初のテンプレ書いたの自分だけどさすがに古いわ… 120BクラスのQ8をそれなりの速度で動かせる環境が手に入って、Lumimaid-v0.2-123Bとmagnum-v4-123bを試して見たところ、普段使っているcalm3-22b-RP-v2と比べてそんなに優れているように感じませんでした
もし120Bクラスを常用している方がいたら感想やお薦めのモデルを教えていただけないでしょうか？
使途は日本語ERPです 合成音声、パッと調べた感じだとStyle-Bert-VITS2からいろいろクリーンにしたAivisSpeechに移行中って感じなのかな おっと送っておる
いろいろ作っている最中です感あるから後から触るので良さそう >>297
普段はLumimaid-v0.2-12Bを使っててたまにLumimaid-v0.2-123Bを触るけど123Bの方が少ないプロンプトで理解してくれる(察してくれる)のは感じるかな
他のモデルは自分は触ってないけどLumimaidやmagnumの123Bをマージしたlumikabra-123B_v0.4とか良いかも
あとはMistral系のモデルはtemperatureを0.3程度にするのが推奨されていることが多いからそのへん弄ってみるとか >>297
プロンプトや用途によるのかな？
俺が使ってる小説強化プロンプトで試してみたけど、magnum-v4-123bはプロンプト通り小説が強化されてるのに対して、calm3-22b-RP-v2は強化されてないように感じる。
calm3-22b-RP-v2はよく似た文章の繰り返しが多いのガ気になったかな。
magnum-v4-123bだとガチャ要素が少なくて、ほぼ一発て通るからこれオンリーで使ってるよ。
あと察してくれるのはまさにその通り。
小説強化プロンプト
https://rentry.org/nz5nodmx
システムプロンプトなどに張り付けて、指示文を書くだけ >>302
横だがいいねこれ
koboldとかで使うにはwsにシナリオ入れとく感じ？ >>303
ごめん、kobold使ってないからwsとか分からん
lmstudio使ってるんだけどシステムプロンプト書くところにリンクのプロンプト文を貼り付けて使ってるだけ
普通に1回目からリンクのプロンプトを投げるのでもいいのかもね
後は書いて欲しい内容を適当に投げて執筆してもらっています >>304
サンクス
帰ったら色々試してみるわ
koboldは最近追加されたstorywriterモードがいい感じなんでこれとうまく融合させてみる エロ小説を書かせると2000文字ぐらいで切り上げられちゃうんだけど
もっと長文で書かせる定石みたいなのってあるの？
>>302使ってもあっさりした描写ですぐ射精して終わりになっちゃう storywriterモード使ったらちょっと長くなったわ
でも複数キャラを出すと同じような展開ばっかりになっちゃうな
LLMで小説書き切る人はすげえわ >>307
storywriterモードは区切りのいいところで一旦終わってくれるので
そのまま続けてくれ とか
もっと〜を掘り下げて とか指示して流れを誘導していくのが面白い >>308
あれinstructモードだからそういうことが出来るんか >>301, 302
情報ありがとうございます
いつも次の応答を誘導するようなプロンプトを書いているので少ないプロンプトでもいけるというのは盲点でした
モデル、プロンプトの紹介もありがとうございます
手もとで試してみようと思います 小説家プロンプト、読み上げ環境で使うとたのしいな
AI文章は小説としてはまぁうんだけど目の前で即興でアイデアを喋っているという体裁があると気にならなくなる >>298
AivisSpeechはVoicevoxのフロントエンドにStyle-Bert-VITS2を組み込みましたみたいなやつやで
ゆっくり実況的ななにかを作るなら便利そうやけど、単に音声バックエンドとしてつかうならStyle-Bert-VITS2で十分やと思うぞ 今現在つかうならSBV2が正解だね
sasayaki28(ASMR風囁きスタイル)ちゃんに物語を読んでもらうのがとても良かった
ただSBV2はリポジトリの更新が止まってる、話速を調整すると単にスローモーションになるetcの問題がAivisSpeechでは解決されている、ファイル形式の刷新など下回りの整備をやっている…
てことは多分中の人たちはAivisSpeechにかかりっきりで、両者が統合されないにしてもSBV2の次の更新はAivisSpeech開発からのフィードバックがされてAivisSpeechベースの仕様になる雰囲気があるような
ならばいまのSBV2でより良い結果を求めて詳しくなるよりは、AivisSpeechベースになってから深く触ればいいかなと
AivisSpeechがうまく行って音声モデルがさらに増えてからのほうが面白みも増すだろうしね AivisはSBV2に比べてちと生成速度が遅いのが難点。
公式もそこは有料APIで補ってくれってスタンスだし。 >>313
なんJRVC部の住人に普通にSBV2の作者がおるんやが
AIVISの作者とやり取りはあるけど基本的には関わってないみたい
最近はエロ音声の文字起こし精度を高める方向を頑張っててSBV2に組み込むやり方も解説してた
SBV2自体の更新はサボってしまってるとも Deepseek以外でクソデカモデル含めると今一番日本語性能良いローカルモデルってMistral-Large系列？Qwen2.5 72b系の方が良かったりする？ mistral largeでいいと思う
qwenはなんかネイティブ感が足りない
固い用途で使うなら別にqwenでも全然あり Chatbot Arena見るとllama 405Bは日本語性能も良いみたいだけどサイズデカすぎるわな >315
情報たすかる
まずはモデルを簡単に作れるようにするための仕事が先、という話にも聞こえるな
技術が切り拓かれていってるタイミングだからアンテナの張り方も大事になりそう >>317
やっぱ微妙にカタコトなのか、参考になる
Aivisは結局SBV2ベースだけど音声合成専門でやってるような人に聞くと技術的に結構古くて最新のアーキテクチャとか使ったモデルの方がだいぶ性能良いらしいんよね
簡単に使えるレベルにまで降りてきてくれてないけど 濡れそぼるって表現をLLMで初めて知ったんだけど
エロ小説では一般的な表現なの？ちょくちょく出てくるんだよな 濡れそぼつ、な
まろび出ると同じでなぜかエロでしか使われなくなった表現 >>322
濡れそぼつなのか
やっぱエロでしか使われないのね
語感的にそのまま消え去ってもおかしくなさそうなのになんでエロだと残ってるんだろうな 意思に関係なしに身体は反応してるというドライで客観的な視点があるカモ >>322 >>323
濡れそぼつ、別にエロ用語じゃないやろ？ワイにとっては子供のころから普通に目にする言葉や
まろび出る、はあんまり見かけんが LM studio使ってる人ってどのくらいいるんやろ
GUI上で編集だの再生成だのを楽にできて特に困ってもいないから一旦はこれ使ってるんだが
他のプログラムとの連携とか考えだすと他の方がいいこともあるんだろうけど エロ文は表現力が求められるからな
難しい言葉使われがち 前スレで5chの連投スクリプトいなくなったから次スレからオナテク板から戻ろうって提案あったけど
やっぱ連投スクリプトいるじゃん しとどに濡れる、もエロ以外見かけないね
むしろエロは簡単な表現だったらエロくならん気がするけど
メスホールはヤバいくらいエモかった。
ヤバい。マジヤバい。五大湖かよ。
PC板は今けっこうスクリプト受けどるね
sikiガードも抜けてきよる >326
LM Studioは画面がシンプルリッチでごちゃごちゃ感も質素感もないのが良いよね
片端から使ってるけど、まだ機能的な差が少ないので用語さえ分かってしまえば他のものを使うのは難しくないよ
新機能部分はそれぞれあるけど実用レベルなものはあんまないからスルーでいい
あとLM StudioはふだんはEndpoint ( 127.0.0.1:5001 とか )が開かれていないけど、開発者タブの左上、Status:Stopの右側にあるボタンをONにすれば他から接続できるようになるよ ジャンルのそれぞれの文化とも結びついてるような
まろび出すも時代物読んでると臓物がまろび出しがち ヤンキー女とチャットするの難しいな
全然まともに喋ってくれねえ
>>325
つまり子供のころからエッチな環境にいたってこと？ ダメだ
乱暴な口調にするとすぐに男化する
ヤンキーとか女戦士みたいな強い女キャラが好きなのに難しすぎる 男性的要素を持つ女性を表現するには
できればCR+以上のモデルが要るような気はする 普通にマグナムさんどころか軽めのLLMでも、「レデースです」とか「いかにも不良っぽい、男勝りでつんけんした口調でしゃべります」って
システムプロンプトに書いたらいい感じに不良やってくれるぞ
態度も不良っぽくて割といい感じにイヤイヤ従ってくれる マジ？
エッチなことをすると、一人称が俺様になったりチンポ生えたり
userを女扱いしたりすることが多くなるんだけどプロンプトの書き方が悪いのか 10割で書かせるのはムリなのでは
Editや再生成で無かったことにしていくのが単純で簡単だけど、それだと魔法が解けてしまうひとも居そうだね 10割じゃなくても良いんだけどかなり頻度が上がるんだよな
クール系女戦士なら大丈夫なんだけど、荒くれものみたいな粗暴な口調にすると男になりやすい 10割でなくて良いなら手間の問題だから、出力結果を二次加工する方法があると綺麗に解決できそう
画面表示する前に出力文を評価して女の子にちんちんが生えてたらレッドアラートを出してくれるLLM処理とか
ちんちん行為ををまんまん行為に書き換えてくれるLLM処理とか
単純な事に思えるからLM StudioかSillyTavernのプラグインに存在してもおかしくないような 「今どんな感じ？」とか
トリガーワードつけて
雰囲気壊さないようにプロンプト説明はチャット画面に表記なしで
ゲームの1枚絵みたいに画像生成出来たらいいな そういやふつうのモデルって文章がNSFWかどうか判別して拒否してきたりするよね
てことは軽量だけど理解力はあるphi4.ggufちゃんを回して文章評価させればえっちな文章かどうかは判別できる、あるいは10段階でどのくらいえっちなのかも判別出来たりする...? >>339
尻タブで探したけどよく分からなかった……
拡張機能ってどこで探せばいいんだ
>>340
koboldに画像の自動生成機能があったような
>>341
7Bのvecteus-v1-abliterated-q4_k_mでもそこそこエッチ度評価できたよ
プロンプトに
-会話のエッチ度の表記:文章の最後に[会話のエッチ度：n]という形式で会話内容のエッチ度を表示してください。
nには1〜10の数字が入り、数字が大きいほどエッチです。
基準として、乳揉みは[エッチ度：3]です。
って入れておくと、エッチなことをするとちゃんと数字が上がって、エッチじゃないと数字が下がる
そこまで賢いモデルじゃないからかなり大雑把だけど 20個文章生成してえっち度で並び替えさせると使えそうだね
NSFWに厳しいモデルほどトレーニング段階でではえっち文章を食べてて、理解力がある可能性があるような
脱獄プロンプトで実力を試すとなかなかやりおるわけですし >>342
サンガツ
koboldもあるのか
STで画像生成プロンプト有りは
見たことあるが
相手がタグを喋りだしたら笑ってしまう >>NSFWに厳しいモデルほどトレーニング段階でではえっち文章を食べてて、理解力がある可能性があるような
鋭い考察に見えるがどうなんやろうな？
エッチ関連の重みバッサリ削って申し訳領域に強制ご招待されてるだけな様な気もするが 乳揉みは[会話のエッチ度：3]です
は書いたらダメだったわ
マッサージで足を揉んでも「揉む」に反応して乳揉みと同程度までエッチ度が上がってしまう
この記述を消したらマッサージのエッチ度が下がった
>>343
エッチな文章をしっかり食ってないと判別して弾けないもんな エロライトノベルをイメージしている人とフランス書院をイメージしている人の差があるスレでつね セッション長くなると繰り返しがちになる問題を検証してたんだけどベースモデルでかなり決まるっぽい
8gbに収まるサイズでテストしたらaya-expance-8b＞mistral-nemo＞gemma-2-9bの順で繰り返しの出現頻度が少なかったわ
ファインチューニングの問題だと思い込んでクレジット溶かしちまったぜ ayaは意外と優秀よな
cohereだしCR＋程度かと思ってると案外やれる やっぱベースモデルの重要度でかいよね
音声でも似たような傾向あるわ
ファインチューニングでいくら頑張っても元が悪けりゃ無理だったり このベンチマークが便利かもな
長文向きのベンチマーク
これのWord Count Ratioが低いほど繰り返しが少ない
https://arxiv.org/abs/2412.08268 digitsが出たらNSFW向けに調整した大型モデルも増えるのかな
7Bや11Bモデルでは満足できなくなってきたから待ち遠しい digitsは世界的にかなり引き合い強そうだし、そもそもAI開発者向けを謳ってるから販路も不明だしで、一般人がまともに買えるかちと怪しい。 LLMの次に来るLCMとかいうのが凄そう
次の単語を予測するのではなく、次の文章、意図を予測する仕組みとかなんとか
そのおかげでLLMに比べて長文と多言語対応に秀でてるらしい
https://zenn.dev/galirage/articles/meta-large-concept-model-lcm LCMは単語の上に概念があると言ってしまった時点で、概念のさらに上にあるものや下にあるもの、外側にある世界そのものや内側にあるなにかを考える必要が出てくる気がする
単語だけで全部出来るんだ、ならシンプルゆえの物量作戦で限界まで到達できる可能性あるけど、LCMは無限に作り直しが要求されるんじゃなかろうか ただまあ↑で言われてる繰り返し問題なんかはモロに改善されそうよね 同サイズでの進化があんまり見られないから新しい手法が来るのは嬉しい 海外のエロAIチャットサイトで色々モデル試したけどどうしても繰り返しが出ちゃって
ローカルならもっと改善されたモデル使えるかと思ってここにたどり着いたけどやっぱり難しいのか silly tavernの繰り返しペナルティ辺りの設定を詰めればなんとかなる事も多いけど使うモデルによって最適な設定は変わると思うので自分で試行錯誤するしかないっていう
そもそも繰り返しそうになったら手修正で防ぐという力技も 同じ話題や単語を避ければある程度は防げるんだけど
エッチなことしてると延々と同じことしまくりたくなるんだよね
>>359の言う通り、チャット履歴を遡って繰り返す単語や言い回しを削除・変更すれば繰り返しはほぼ消える LLMで再評価して自動修正出来ていい部分だと思うんだよな
LangFlowとかに手を出す必要があるんだろうか なんか今やってるセッション調子よくて、変な繰り返し少ないわ
同じルミメイドマグナム12bでも全然繰り返してたことあるんで原因不明
やたら長いシステムプロンプトが効いてるのか、
目まぐるしく変わる展開が効いてるのか、LMStudioのアプデ後が調子いいのかは分からん
繰り返しには困ってるからむしろ再現性欲しいぐらいなのだが 尻タブだとアプデすると繰り返しや出力文がおかしくなるからバックアップ取って一旦設定とかリセットすると治ったりするってたまに言われてる 一人称とかの頻出単語も修正することになったりしないの？
繰り返しペナルティで問題になるのも確か頻出単語が引っ掛かることだったはず 実際、変な癖覚える前に編集して改ざんしつつ続きから簡単に書かせられるのはLLMの大きなメリットだと思う
気になったら途中で出力止めて、少しだけ編集して助走つけつつ続きから書かせる形式がかなり良さげ
もうちょっとだけ文章欲しい時とか
「
だけ書くとセリフ書いてくれるし、その展開好みじゃないんだよなぁって時は主役側のセリフちょっと弄れば結構思い通りの展開になってくれる
TRPGのちょっと難しい処理とか、計算ミスしまくるんだけどそれはもう手動で修正することにしたし koboldとかだと>>366みたいに自分でちょっと書いて続きを書かせられるけど
これって尻タブでも出来る？
aaya-expance-8b試してみたけど結構良いね
ただ「私は女戦士だ。戦闘なら任せておけ」みたいな強そうな喋り方をなかなかしてくれないな
対話の例を書いても会話履歴を修正しても「私は女戦士よ。戦闘なら任せてね」みたいな女っぽい喋り方になりがち
他のモデルならちゃんと喋ってくれるんだけど 同じセリフを繰り返すなら、同じセリフを繰り返すキャラとエッチすればいいんじゃね？
と思って4種類のセリフだけを喋るNPC姦をやってみたけど相性抜群だな
延々と特定のセリフを繰り返すしエッチなことをすればセリフに喘ぎ声だけを足すことも出来る
設定をしっかり練らないとセリフには無いことを喋り出すけど geminiも繰り返し多いんだよな
claudeはちょっとマシになる
chatGPTが一番繰り返しは少ない LCMだとエロという概念を全て申し訳してしまう可能性 それ例えば練乳ぶっかけをエロと捉えるのか健全と捉えるのか気になるなw 4時間かけて学んだこと
ロードできるからって下手にコンテキストサイズ大きくして読み込んだら一発目から出力がおかしくなる
あと長いチャットしててコンテキスト上限に行くと直前の出力を繰り返す
パラやテンプレートが合ってないのかと思って時間溶けた.... 出力内容ってコンテキストサイズに影響されたっけ？
上限行ったら文章壊れるのはその通りだけど コンテキストシフトとかそういうのあるはず
上限に来たら古いものから忘れて容量を回復 10000トークンとかで入力読み込んだり3000程度にしたりと色々試すけど、そこが原因で壊れるかは怪しい気もする
はいそれ以上は無理ですみたいな感じに、なった記憶はあんまない >>366
まんまNovelAIの思想な気がする
生成確率のトップN単語の候補からポチポチ改変できたりメッチャUIUXが良いんだけど
どうもこのスレでは人気ないんだよなぁ メモwikiに掲示板を設定したついでにキャラカードを一つ配布してるから恥ずかしいけどよかったらどうぞ
気に入ったらやり取りをうｐしてくれると凄く嬉しい >>379
参考にさせてもらったよ
尻タブのテキストの修飾形式が載ってるページってどこにあるの？
**で囲うとかそういうやつ **とかはMarkdown記法だったような
違ったらごめん Markdownなのかな？
「」で囲っても色変わるんだけど まずmarkdown、次にhtmlの記法を覚えるのがいいかと。 LLMを使うならマークダウンは絶対に覚えたほうがいい 尻で使えるフォーマットを見るなら尻の入力欄に /? format で視覚的に確認できる
/? macros で確認できるマクロとかも頭が良ければ使えそうだけど、AI出力の頭に{{random:Joy,Anger,Grief,Pleasure,Hate}}:{{roll:d100}}で毎回違う感情値で文章を書かせる程度しかわからん hertogateis/SmallBot
これってdeepseekなんかな？
日本語性能すごくいい >>386
人格付与してみたけど2手目で剥がれちゃうな…
性能は結構良い印象だけど一部の指示追従性に難ありか？ hertogateis/deepseekchat
こっちの方はところどころ英文が混じるな
設定見ると同じdeekseek v3みたいだけど何でこんな差が出るんだろ 