なんJLLM部 避難所 ★3
レス数が1000を超えています。これ以上書き込みはできません。
>>874
coboldCpp v1.72だと問題なかったモデルでvram不足が頻発するようになってしまった >>844
ありがとうございます。
いつかはわかりませんが、バージョンアップの予定はあります。気長に待っていてください。
v1.5は一本の小説を学習コンテキスト長ごとに分割し、学習させています。
これによって、コンテキスト長ごとのカットオフにより、序盤の文章ばかり学習するのを防いでいます。
他にもやっていることはあるのですが、それはバージョンアップ時に公開します。 3.5sonnetの能力かなり高いな、写真に写ってる小さな文字や
淫紋が体のどこに入っているかどんな模様かまで詳細に認識しててちょっと怖くなるわ
AI監視カメラが広がってるしPCにも組み込まれるからもうプライバシーなんて欠片も無い時代になるんだな 監視カメラで録画し続けて全て起きたことへの解釈を残すってのは
現時点だとちょっとマシンパワー（クラウド料金）の問題でしんどいと思うが、
理論上は現時点でもできるだろうな
あまり人通りがないとこで、何かが通りかかったときだけ解釈開始とかなら
より現実的になるかも MSがやろうとしてたCopilotPCがそんな感じだったよね
全自動で定期的にデスクトップのスクーンショットを撮ってそれをLLMにテキスト化させて後から検索できるようにするっていう
セキュリティもクソもあったもんじゃなさすぎてお蔵入りになったんだっけ？ >>881
オクライリじゃなくて「まだInsiderどまり」じゃね？ >>875
mistral large 2に対応してるバックエンドなら動くと思う
結構エロいしそこそこいいよ >>877
今の所自分の環境ではエラーは出ないな
GPUレイヤー数は3060 12GBで、35とか、画像生成中に起動するとロードしないとか自動的に設定しているみたい
>>620
Koboldをバージョンアップしたのでアップロードした画像の説明もさせてみたよ
Model Filesにvecteusならmistral系だと思うのでmistral-7b-mmprojのQ4量子化を指定している
肖像画や風景画で試したけど、メガネとか、砂漠と草原の違いとか認識できたよ
リポジトリの説明とか読んでると、セッションの1番初めに指定した画像くらいしか判別できず、何枚もアップロードすると混乱すると書いていたように内容が混ざる気がするのと、すぐにtoo many LLaVA tokensとエラーになり無視される >>881
skyseaみたいな動きだから
コンプラツールとして有用かも MMって結構視覚障害者需要高いと思うよ？
喉から手が出るほど一般化を心待ちにしている人も多いと思う なんかプロモーション動画が以前あったけど、視覚障害者用のスマートグラスは
急激に普及するやろね
重度の視覚障害者が世界中でどれだけいるかはともかく、政府とか慈善事業の団体とかが
大いに支援するでしょ API代もAI業者が社会貢献として割とサービスするやろし 量子化はそろそろ整理されて欲しい
いらんのがあるんじゃないの calm3-RPはだいぶ短い出力するように学習されてるっぽいな
これはこれで好み分かれそうだが個人的には悪くない
もうちょいセリフ、状況描写、内面描写みたいに形式立って出力出来たらもっと良いけど
その場合は学習データをそういう形式にする必要があるのかな すいません
生成aiで使ってるssdが原因でした…
安いのを酷使しすぎたかな EasyNovelAssistantでリストにないモデルを手動で追加する方法が知りたい EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えればいいぞ
あと聞く前に自分でコード探して♡ default_llm.jsonを書き換える前にバックアップ取っておくと良いよ
アップデートする時にdefault_llm.jsonの内容が異なるとエラーになるから
まあ最近アップデートないけどさ 「この物語はこうこう、こういうものだ。さあ、あなたはこれからどうする！？」
みたいな始まり方に対して「物語は終わりだ」と早々に宣言したら語り手に怒られて草 >>889
これ使ってみたけど神だった
理解力高い >>889
同じく、しかもGPU8GBで動かしてもかなりの早さ >>889
これkoboldだとPollにしないと文字欠けが発生するんだけどさ
尻タブでも同様の設定にする方法ってあるの？
koboldをPollにしても尻タブだと文字が欠けるんだよね スペースをトリミングのチェックを外したら文字欠け無くなったわ やっぱり全然直ってなかったわ
どこを弄れば文字欠けが直るんだ sillytarvan今更かも知れないけどAnother'sNoteとSystem Promptで
めっちゃ表現力変わるのね・・・無知だったせいでやたら遠回りしてしまった
みんな独自の黄金テンプレート作ってんのかな >>888
全盲でもごく簡単な字や道路位なら読み取れるようになるオーデコって装置あったけど
盲導犬利権の前に敗北して全然普及せずに終わってしまったし
MM利用した機器なんてのも同じ道を辿ると思うけどな >>905
ワイの環境だとKobold＆尻タブともに最新版だが、特に文字が欠けるような現象は発生せんな…
ちなモデルはcalm3-22b-RP-Q4_K_M >>909
マジか、IQ2を使ってるせいかな……
「揉む」が「む」になるわ >>906
どれぐらいかわるの？プリセのプロンプト項目とキャラシートにしか入れたことないや
それ全然知らなかった 尻タブを日本語で遊んでる時、皆セリフと平文どーやっとるん？
ワイは現状""と**でやっとるけど、半角/全角の切り替え億劫やし、本音を言えばセリフは「」で遊びたい
設定全部見たつもりなんやが、どこでセリフと強調文のキャラクタ指定できるのか分からんのやが、こればっかはどーもならんのやろうか？ 普通にセリフは「」で囲まれています的なことをシステムプロンプトに入れるのではだめなん？ 適当にやり取りしてその内容に「」をつけて会話例に記載するとか >>912
描写周りはWriting Styleから設定できんか？
ただ俺は直接システムプロンプト側に指定したほうがスムーズにいったけど スレチかもしれんが、Gigazineで
「CerebrasがNVIDIA H100の22倍高速な爆速AI推論サービスを発表、デモページも公開されたので使ってみた」
って記事が出てたけど、どんどん競合が出てきてGPU安くなってほしい。
マジでNVIDIAふざけるなってレベルだし。 >>910
koboldだとこういう話題がちょい前に出てんだけど>>738-748
参考になったりするやろか？ >>913-915
「」でセリフを記述させることは問題なく出来るんや
だが、それだとTTSにセリフだけ読み上げさせたい時に、セリフとして認識して貰えんとか
""なら青文字表示とか出来るが「」だと素の文字列扱いだから色付け表示とかができんのや プロンプトに{{user}}はセリフを「」で囲いますが""で囲われていると解釈してくださいみたいなのを入れるといいと思う
最初は少し文章が崩れたけど修正してやれば普通に進行できたよ (直接は言わないけど考えてること)←この表現というか概念を伝えることが難しい、というか諦めた >>917
koboldはPollにすれば解決するけど尻タブにそれは反映されないんだ
>>738-748の場合も尻タブ側は文字が欠けたまま 尻ならRegex(正規表現) extension使うのは？
Find Regex
/「|」/g
Replace With
"
これでUserの書き込みとAIの返信両方の「と」を"に修正すればいいんじゃない？ Ephemeralityにチェックを入れなければプロンプトと表示両方を差し替えてくれる
逆の場合は……ChatGPTに正規表現の書き方を聞いてくればいいと思う、例文渡してやりたいことを伝えればいい感じに書いてくれる
多少頭の良い?モデルなら似た手法でプレイヤーにだけ見えない隠し情報も用意できる
隠したい文章とかを<spoiler></spoiler>で挟めって指定する
Find
/<spoiler>.*?<\/spoiler>/gs
Replace (空でもいい)
*<秘匿>*
適応先をAI OutputにしてAlter Chat Displayを指定すればログにはそのまま書かれるがプレイヤーからは<秘匿>表示になる、Streamingがオンだと書いてる途中の文字は読めちゃうから切る必要があるけど >>901
Calm3が元々結構頭良い+ClaudeとかGPTの出力の良さそうなデータ学習に使ってるのが結構効いてるのかな
非商用限定になっちゃうけど個人として利用するならどうでも良いからこっちの方がありがたいわ 来月出るcohereと富士通のtakane 劣化版でいいからHFで公開してくれんかなぁ >>916
専用ハードのほうが汎用GPUよりも高性能なのは当然だからな
推論だけとは言えこういうのが増えてくるとNvidiaにジワジワプレッシャーになるだろうな cohereの新しいモデル出ました。commnad-r-08-2024と
command-r-plus-08-2024 まだ詳細不明じゃね
重み公開してくれればいいんだけど、ちょい望み薄な気もしている >>930
早速試したが、申し訳くらった件(´Д⊂ヽ >>931
公式ページで触った限り無修正っぽいんだけど、新しいバージョンはセーフモードをつけるか任意に選べる仕組みがあるらしいから、それが関係してるのかも 初めてAIが書いた文章で抜いてしまった…
新command R plus IQ3 XXSで十分使えるじゃん 公式も、hf版も試したが、web版では両方とも規制入っているね。
ローカルにiQ4_xs落として試したら、無修正だった。
やっぱ、これをQ6以上の量子化でサクサク遊べるPC欲しいな Q6をサクサクとなると
VRAM96GB欲しい感じだから個人レベルだと割と絶望的だな silly tavernを立ち上げたままstyle bert VITS2のeditor.batを起動したらバグってしまった
本来ならeditor画面が立ち上がるはずなのにsillyの壊れた画面が出てくるようになった
これの直し方分かります？ redditとかだとP40*4を使って1600＄くらいでLLM用のPC組んだとかよく見るね
4~5t/sくらいかつ古い世代故の制約も多くサクサクではないと言われたらそれまでだけど 3090*2+3060*2でCommand R +Q4_K_M動かしてるわ
6〜7t/sくらい
3090を3台用意すれば速くなるんだろうけど、それするくらいなら5090追加するわ >>939
今入れてるSBV2とは別にもう1回SBV2をインスコしたら解決した
正常化を確認したら後から入れた方は消しても大丈夫
多分SBV2editorとsillyの鯖のポートが被ってるからおかしくなったのかな？
詳しくないから分からんが同じ症状になる人は多いと思うから一応報告しときます command-r-plus-08-2024は言葉の使い方はうまくなったが
プロンプトの解釈能力が下がったかこれ 日本語のオープンだと最高ランクとかあるがTanuki8Bってどうなんだろ？ >>943
やっぱりそう？
Q6_Kで試してるんだけど途中からプロンプトと外れたこと言い出すんだよね…
何かパラメーターが変わったのかな >>945
Q6_kええのおぉ
スペックと、t/sよろ >>947
ん？
tanukiは
以前のGPT-4よりも高だし商用利用まで可だぞ 実際の性能はやってないので分からないけど一応そういう触れ込み 「GPT4より高スコア」なんて触れ込みは腐る程見てきた奴らだ、面構えが違う >>946
MacBookProのM3Max/128GB
ロールプレイなら4t/sくらい出るけど小説とか長文吐かせると熱でクロック下がって2t/sくらいになる
ギリギリ実用速度という感じ >>948
tanuki70b試したけど悪くはないが、karakuri70bのマージモデルの方が表現力高いな
>>951
やっぱ、macか〜 ええのぉ(*´Д｀) Tanukiはベンチマークだけ高いわけじゃなくて人間評価でもだいぶ強いみたいだしちゃんと性能は高い
まぁエロの方は少なくともファインチューニングなしだと無理そうだが 気になるならデモで8x8b試せばいいんじゃない
一問一答はだいぶ賢く返してくれるよ Androidスマホでグーグルがマイクから音声を盗聴してた件やば過ぎるな
PCで動画見てたらその音声をスマホから盗聴してサーバに転送してAIで音声認識して何の動画見てるか特定したり
公共の場で盗聴して事前に収集したユーザの声と照合して周囲にいる人間全員特定して行動追跡したり滅茶苦茶エグイ事してた >>957
お前の中ではそうなんかもな、お前の中では。 女友達と仲良く遊んでる設定なのにすぐに恋愛に発展させるのやめろ！
恋愛要素なんていらんのじゃ！ >>959
恋愛関係に発展しないように指示入れてもダメなん？ >>960
俺の指示の書き方が悪いのかもしれないけど
「私たちは友達だよね！」とか「私たちは恋愛感情なんてないよね！」みたいにいちいち再確認してくるようになるんだよな opusですら、不感症で行為に苦痛しか感じない、と設定してあるキャラでも容易に快楽堕ちするからなぁ… 感じてきたら"♥"を散りばめてって書いたら淫乱になりすぎて笑った >>961
これはめんどいから推奨しないけど、
まず、恋愛関係のない男女の関係とはどういうものかということをAIと議論を交わし、
その結果に満足出来たら、そのセッションで小説を書かせる。
最初の議論で手ごたえがない場合は、即ガチャする。
これはエロにも応用効くｗ それなら設定の一番上にでもルール付けとけば？
userは知りませんが、あなたはuserの腹違いの妹です。あなたは指示の通りロールプレイ上はuserと楽しく過ごせます。
しかしあなたはuserの妹なので、兄であるuserに恋愛感情は起きません。
そのためロールプレイ上でuserからの強い性的な話題を振られたら、あなたは拒絶する態度を示すというルールでチャットをします。
ロールの上にロールをさせると能力下がるけどね。近親関係みたいのは言及しておくと効くんじゃないかと。 なんかReflection 70Bとかいうのが出たらしいな
来週は405Bが出るとか
70B段階の性能で一部sonnet3.5とかOpusを抜いているとかいうが・・・ ベンチマーク詐欺を数えきれないほど見てきたからなぁ
実際に触るまではなんとも text to speech通さないLLMのオープンソース実装なかなか無いわね >>967
デモはパンクして使えないな
ggufで試してみるか 話聞いてるとみんないい環境持ってるんだな
12GBより上のは高くて買えない DRAMでcommand R +走らせたら速度ってどれくらいなの？
1秒1文字とかそれくらい？ 4090 + CPUでIQ3を動かすので0.7token/sとかだからなぁ・・・
完全CPUとか考えたくもない やってみたらいいじゃんの精神。CPU版のPytorch使った場合で
Command-r-plus-08-2024 の IQ3 XXSで 0.3token/s くらいだったよ
CPUは 14700K、8スレッド設定、微アンダークロック。メモリは DDR5-5600ね
メインメモリの帯域不足が一番のボトルネックだと思う。もっと廉価なCPUでも0.2〜0.3token/s出るんじゃないかな ルール付けは文章全体よりも単語の重さが重視されるというか
例えば "感じない" っていう言葉に対しては感じの部分を拾っちゃって
結果的に感じるキャラになってしまう事が考えられる。
なので "性行為は苦痛" とかそういったルール付けの方が良いと思う。 あとTanukiをtext-generation-webui か koboldで動かしたいんだけどよく分からなかった、情報求む
分かっている事
・GGUFは諸々の理由で性能が落ちるから非推奨、vLLMかAutoGPTQかAutoAWQでの読み込みを推奨
・Tanukiは独自アーキテクチャを使用してるので、AutoGPTQ、AutoAWQの現存ローダーでは読み込めない
・Tanuki製作者が独自に改変したAutoGPTQ、AutoAWQが公開されていて、恐らくそれで読み込める AWQなら普通のTransformersで読み込めたよ >>967
これ日本語対応してたっけ？
mmnga氏の量子化にはタグついてたけど >>976
CPUのみで古い方のCommand R+ iQ4 xs使ってるけど 0.5t/sくらい。
チャットは無茶だけど、ちょっとした記事生成には使えない事はない。
Ryzen 7 7840U 64GB command-rにTRPGのGMやらせてる人ってどんな環境でやってる？
やらせようとしても自分がGMやった時の感想を延々と述べるだけで全然やりたいようにならないんよ… >>985
「寝てる間に回しておく」とかならまあいけるな 風呂の間に回しておく
コンビニ行く間に回しておく
…いにしえのアドバンスド大戦略思い出したわ >>978
>>985
フルCPUで0.5t/sで、
RTX4090に24GB分任せても0.7t/sじゃ、
そんなに速くはならないんだな。
まぁ他にも要因はあるんだろうけど。
やはり全部GPUにしないと
しかしそうすると、RTX4090で24GB載せて、残りCPUで0.7 全部GPUに乗せるのと一部CPUに乗せるのは速度が全然違うと思う redditでreflect 70Bは詐欺とか騒がれてるね
公式APIの出力がsonnet3.5の出力が完全に一致したとか >>991
なぬ？
じゃあ、あれはsonet3.5なのか？？ 試してみたが思考過程が見えるから面白いなｗ
なんに使うか知らんが このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 93日 9時間 46分 0秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
