なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>513
あー理解した、マージの時点であかんかったという話か
ささやきマージうまく行かんかったとこも一緒や
通常会話と喘ぎ声の同居まではそこそこ何とかなるけど、チュパ音語同居はやっぱりちと厳しそうやな… >>508
つい最近silly知ってモデルはninja-v1RPでやってみたけど確かに表情はあんまり切り替えてくれない。
自分の環境だと大体caringになる。
立ち絵はDiffRepromっていう差分画像を生成するA1111拡張がこの用途に適してると思う。
変えたい領域をプロンプト(表情なら目・眉・顔)を指定するとその領域を検知して差分画像を生成してくれる。
背景透過はtransparent-backgroundでフォルダごと投げれば一括で処理してくれてます。 こういうのに向いてる拡張あったよなあーと思ってたけど、そうだ、diffrepromだ
ありがとう 尻タブで使う画像の解像度ってトークン数に影響するの？
koboldだと解像度が影響するってどこかのモデルに書いてあったんだけど尻タブはどうなのか マルチモーダルで使う画像の話なら、バックエンドとフロントエンドに関して理解してない部分があるんとちゃうか？
尻タブはマルチモーダルとは関係なく、立ち絵や背景にも画像使えるがそっちの話なら関係ないで >>517
モデルに読み込ませる画像という意味ならそりゃ大きいほどトークン食うでしょ
Sillytavernで表示させる画像という意味ならただのUIの話だからトークンとか関係ないぞ >>508
英文じゃないと感情判定ができないっぽい
Translate text to English before classificationにチェックを入れると
APIで自動翻訳させた英文を通すようになるから日本語モデルでも表情出るはず >>520
教えてくれてありがとう
確かに表情機能のとこにチェックボックスがあった
表情分類AIに投げる文章を英訳してくれる機能やね commandR+に慣れるとoppusとか規制酷過ぎて頭おかしくなるわ、脱獄しないと何もまともに出力しない 規制の少なさ
Command R plus>>>>>Claude>>GPT4>>>>>Gemini だな
ところでグーグルのvertex AIでCommand R plusとかのファインチューニングってできるのかね？最近存在知ったからやれることよく分かってないが なんで規制なんて相手にするかな
何も考えずに脱獄文放り込めば4oまではほぼ無規制になるのに 版権キャラローラしてチャットしたら「理想のキャラ押し付けるな」みたいな反応が来たがどうしてもデータが偏る >>518-519
あーなるほどそういうことか
画像を読み込んでプロンプトを出力させるようなモデルだと画像の解像度とかが問題になる場合があるわけね
尻タブの立ち絵とかアイコンの解像度をどうしようか考えてただけだから
気にせずデカい画像使うわ なんUにあった本スレがスクリプトで落ちたけど一応立て直すか？ このスレへの誘導のリンクだけ貼っとけばええんでない？
どんぐりLv4とかにしちゃってもいいかもしれない 全員こっちに移動して誰もいないんやから本スレはもうこっちやないの どんぐりレベル4強制表示で立ててここへの誘導貼っとくに一票 Mistral NeMoってのが出たけどどんな感じだろ Mistral-Nemo試したいんだけどkoboldでもollamaでも動かないんだよなあ pfnet/Llama3-Preferred-MedSwallow-70B
llama3 swallowに、医学知識学習させたモデルで、あまり期待してなかったけど、
なんか、いいぞこれ
llama3ともswallowとも違う 普通にエロいｗ（脱獄不要）
文字欠け等の気になる点はあるけど、（量子化のせいか？）なんか、ベクトルが違うんだわ
まあ、最近のllama3-swallowにがっかりした分、よけいに出来が良く見えるんだが・・・
mmnga氏が量子化出してくれてるから、すぐ試せるで。ワイはQ5K_Mで試した。 いい加減VRAM64GBくらい積んだGPUどっか出してくれないとなぁ
AMDはどうせ業務用作ってないんだからNvidiaに嫌がらせする意味でもそういうの出してくれよ AIバブル弾けない限り無理
一応AMDは次世代APUはLPDDRXを内蔵多チャネル接続して広帯域にしたやつを
64だか128ぐらいまでは積むよみたいな事言ってる AMDはソフトウェア周りがNVIDIAと比べて弱すぎて話にならん rocmがやる気なさすぎてnvidiaが独禁扱いされないように公開するやつのおこぼれ食ったりとか
ライセンス違反上等の暗黒パワーのZLUDA使う現状が情けない NPUとかVRAM後乗せサクサクのやつが発展する方に期待しとく VRAM後載せは期待しない方がいい
高速なメモリほど後載せできないから、後載せできるシステムは帯域が狭くなる
推論は帯域が大事なので遅いメモリを後載せできても嬉しくない うえの方でだれか言ってた普通の時は普通の会話で、突然エロくなってまた普通に戻るみたいなの、
cohereのcommand-r-plusで普通にできるけど、もう解決ずみかな
プロンプトにほんの少しだけエロの設定が必要だけど だってLLMは入力も出力も屁みたいなデータ量だもん
マシンパワーの効率は誰がどう考えても一極集中のほうが良い どうしてこうLLM=ローカルと誤解している人が多いんだ 5090でcommand-r-plus乗せられるようになるだろか(´･ω･｀) cohereのCEOがcommandシリーズの日本語対応を重視するって言ってるな 日本人が多く使ってるのかな？
高レベルのエロ文章目当ての変態が多そうだが
そういや日本語特化モデルのカラクリての最近知ったけどお試し使用できる場所ないから性能謎だな 542だけどapiの話ね。語弊があったようですみません
ちなみに何か月か前に登録してからまだトライアルのままだな（最初に5ドル分くらいもらえる）
結構、使ったのに。 >>551
自分的にはkarakuri70bは日本語モデルの中ではダントツ
エロ小説もなりきりチャットも高レベル
マージモデルもいい 4090で普通に動く一番おすすめのLLMって何だろ？ >>554
健全な用途ならgemma2 27b Q5かな vram24GBに収まる範囲では日本語性能ダンチ エロが得意な14B前後くらいのモデルって無いんかな
それくらいならsilly tavernで読み上げながら使っても24GB以内に収まりそうなんだけど >>548
ローカルで動作させる事の有無はおいといて、command-R+は実質mac一択
PCだとバス幅(PC64bit。mac512bit)やアクセスチャンネル数(2-4ch、mac 8ch)が
少なすぎるし改善の見込みもない(ATXとDDRじゃ無理)
AppleはMにした時ここに大幅に手をいれた
その代わりRAMの交換とかできなくなった
ただこれはインテル時代もそうだったからユーザーは慣れてるのかも GDDRなんて4GBが数千円の原価なんだからいくらでも最初から組み込めるだろうに
どこのメーカも異様な利益率のえぐい商売してるよなぁ 油断すると即転がり落ちるからしゃーないで
開発費もうなぎ登りなんやし >>548
5090を1枚買う価格(40万？)で
4060Tiか3090の中古を複数枚揃えたらいける AIバブル終わった瞬間平身低頭して過剰在庫処理のVRAM128GBモデルとか売ってくるんやろか A100がお手頃価格になれば2本刺しでも300Bクラスまでは射程に入るからローカルLLMはバブル崩壊後が本番やな pfnet/Llama3-Preferred-MedSwallow-70B
なるほど分かったぞ
年齢や局部の描写で規制かけたら医学用途に使えないって事かっw
こいつは捗る(*ﾟ∀ﾟ*) >>553
良いこと聞いた
70b使ってるってことはローカルじゃないよね？グーグルクラウドとか使ってやってる？ >>565
すまんローカル
小説作成なら70bの遅さでも耐えられるようになったんだわ(*´ω`*) 昨日初めて導入したけどまだAIのべりすとより使いこなせへんわ
Uのスレがちょうど消えとって探すの苦労したわ 64GBあればフルCPUでcommand-R+ Q4でも動くしな。
まぁ流石に遅いので、無印command-Rに下書きさせて、R+に清書させると効率がいい。 RTX4000シリーズに数か月で大幅に性能低下する欠陥が発覚
共通して使用されてるグリスが原因だから殆どのメーカが巻き込まれるとのこと hbmに頼らない設計てできないの？
普通のメモリなら512gbでもいけるのに HBMはDDRの5〜20倍くらい転送速度が稼げる
LLMはとにかくメモリーの速度を要求する
mac(max以上)はDDRであってもコントローラー2倍積んでる特別仕様
ただHBMは物理的にローハンマー攻撃に弱いので実行用のメモリーとして使いづらい
マルチCPUでLLM動作させるとCPUが割と暇になってしまう
これはメモリーの出し入れ待ちな為 普通にGDDRでいいから48GBの4090とかでてくれたらねぇ・・・
4090にモデル収まれば20token/sとか出るし
実用上10token/sも出れば目で追えないくらい早いだろうから性能的にはもう十分なんだよな
まぁそれが6000Adaですって話なんかも知らんけど
なお値段 llama.cppがMistral-Nemoに対応したからちょっと使ってみたけど表現規制とかはなさそうだね
というかちょっと口説いたら銃の作り方も教えてくれるから論理観ガバガバかも？ Calm3試してる人いる？めっちゃ性能は良いみたいだけどエロはどうなのか気になる calm3の22B chat、まともに動かないや
暫定版って事が関係してるのかもしれんけど
gemma2 27Bの方が圧倒的にサクサク動く Claude3.5 sonnetって70Bであの性能なんだよな
そのうちローカル実行可能なモデルがsonnetの性能に追い付き追い越すようになったら
小説の世界でも人間は駆逐されるね >>581
こんなヤヴァイプロンプト、ローカル以外で使えるわけないやろ >>581
API料金が高いから
現状のAIビジネスが成功しないのはAPI料金が高すぎるんだよ >>583
大手のチャットログが個人情報と紐づいて流出したらとんでもないことになるやろうなｗ
絶対ハッカーグループは狙ってると思うわ APIはむしろ安くないか
ビジネス用途ならGPT-4oとか安すぎるくらいだ
ローカル使いたいのは検閲とかされたくないしNSFWなんでもアリなチャットしたいってのが大きい >>587
クソたけえよ
個人や企業内用途ならまだしも
不特定多数がアクセスして使わせるなら現状の価格では成り立たん 少なくとも日本の法律じゃエロ文章で逮捕されることはない
たとえそれがペドロリでも(文章には児ポ判定無し)
できることはせいぜいBANくらいだけど、openaiもanthroも返金されるので、banされたところで特に痛くもない
犯罪系や自殺系は知らんが ChatGPTで〜のスレとか見てるとようあんな性癖全部盛りのプロンプトを検閲されたり学習されたり可能性あるよそさまのサーバーにしこたま送りつけるよなと思ってしまうわ
ある意味男気あふれてて感心する こっちは何も困らんしコソコソする理由が全くわからん
そんなのばかりになったら向こうは困るかもしれんが 当たり前だけど有害なプロンプトは今後の学習に使われて対策されるから使いにくくなるという影響があるよ Mistral-Nemo-InstructをQ4_K_Mに量子化してみたけどけっこう賢くて良い感じだわ
Q4だしさすがに精度は低いけど、3万字くらいの長文読ませても壊れないでちゃんと返答してくれるし
そこからキャラなりきりもできるのはほんと進歩を感じる 赤ちゃん質問で申し訳ない
SillyTavernでclaude3 APIに接続する方法ってどこかに載っとる？
調べても英語ばっかりだし翻訳してもよくわからん APIキー既に取得済みって前提になるが
https://imgur.com/a/QsCkPSG
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？ >>592
よくできた脱獄はLLMの本質突いてるから対策できないよ
というか対策したら性能落ちる
もう諦めて各社BANとか警戒度で対策するしかなくなってるのが現状 >>597
poeとかはわざと緩くしてるだけだよ
サービス元によって同じモデルでも明らかに申し訳される度合いが違う
そもそも入力そのものをAIでチェック出来るから本気で検閲されたら全部アウトになる >>598
それはanthroに怒られたくないからやってるだけ
性能落ちるからやりたくないのが本音
anthroもAPIには規制かけてないのが何よりの証拠 非ローカルは別スレがあるからね
ここはローカル寄り RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？ llama3.1がgroqで触れるので70b版を触って来たけど最低限日本語っぽいものが返ってくるレベルやな
脱獄プロンプト入れればエロプロンプトも通るけど誤字や簡体字混じりの文章でなにかのトリガーで同じフレーズを繰り返し始めるしなかなか厳しい
command r+くらいの性能はあると期待してたけど設定が悪いんかな >>603
尻タブなら>>153周辺参考にしてもらえればなんやけど、大葉ってcustom stopping strings的な機能あったかわからん
あると思うが名称違うかもしれん ついにGPT4oを超えるオープンなLLMが出た
すごい事だが405bって何GBあれば動くんだ perplexityで405B使えるけど、控えめに言ってゴミ
指示を理解してない上にそれを差し引いても表現ができてない
出力の質はGPT4oどころかGPT3.5にも劣る モデルカードの対応言語に日本語がないしまあ普通に対応外なだけなんじゃないか ドスケベメイドの自己紹介
3.5sonnet
i.imgur.com/UCpdPOL.png
GPT4o
i.imgur.com/s0VQ7ls.png
3opus
i.imgur.com/qQlveZY.png
LLAMA3.1 450B
i.imgur.com/BncztsU.png >>605
ありがとう
尻使いなので一度やってみたんだか発狂しだしてな…
Lora使わずにプロンプトいじったり
単体のセリフ集をRAGしてみるよ 日本語はもうcohereに期待するしかないな
405bじゃ個人でのファインチューンも難しいだろうし 別にしちゃダメってわけじゃないけど
何でローカル寄りなスレなのにパープレやpoeでの脱獄を推奨する人がここに居座ってるんや…？ ■ このスレッドは過去ログ倉庫に格納されています
