なんJLLM部 避難所 ★3
レス数が900を超えています。1000を超えると表示できなくなるよ。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>830
情報が古いよ、日銀が株価維持のために利上げしませんって記者会見しちゃってるじゃん 利上げしないとは言ってないぞ
金融市場が不安定なら利上げを遅らせると言った
つまり金融市場が安定したら利上げされる
あと、日銀が利上げしなくてもFRBは利下げするから金利差は確実に縮小していく LLMならコア性能の影響をあまり受けないから3090で十分
画像生成するなら4090だが VRAMにおさまりさえすればLLMもコアの性能に左右されるんやけどな
RTX A6000と4090で1.5倍くらいはちゃうような感覚やな
でも4090のVRAMに収まるLLMなんて正直ワイは使わんのやけどな
あとTensorRT使い始めたら恐らくH100とかのサーバー向けのやつのが伸びしろがすごいと思う 出力受け渡して逐次的に分割処理できるなら
前から順々に読み込んで処理するような方式作ればVRAM要らずじゃね？
高速ストレージだけあれば実用的に使える奴そろそろ頼むわ。 ちょっとスレチかもしれんがsilly tavernのdisco鯖の認証ってどう書いたら正解なんだ？
incinerator no cyrillic profile noって書いても不正解になってしまう Mistral 7B系列のMoE試してるんだけどどんなモデルでやってもコンテキスト8kくらいで出力おかしくなってしまう
RoPEやYaRN回りの設定が関係してるのかなと推測してるけど拡張方法についてどなたかご存知でしょうか？ VRAMを少しずつ使って処理をわけるのはvLLMっていうライブラリがあったような kagemusya作者様へ
v1.5はv1よりかなり使いやすくなっておりました
ありがとうございます
v2やv1.6の予定はありますでしょうか
またデータセットの構造はどのように
変化したのでしょうか vllmは秒間何十アクセスあるような業務向けのライブラリやで
1個の推論流すだけなら特に早いというわけではないけど、
複数の推論を同時に流すというときにこのスレで使われているようなライブラリとは
段違いの速度が出るはずや Rocket.Chatとllama.cppを繋げることできますか？
>>845複数のアクセスがある場合そういうの必要になりますか？ Llama.cppの作者さんが、セットアップ無しですぐ使える量子化ツールを公開してた
HuggingFaceにログインすれば誰でもすぐにGGUF変換ができるみたい!すご!
https://huggingface.co/spaces/ggml-org/gguf-my-repo >>840
自レスだけど"sliding_window"に"max_position_embeddings"と同じ32768を設定して"rope_theta"を100000.0にしたところ拡張できた気がする
gguf化したの上げてみた
https://huggingface.co/Tuitou/Ninja-v3-Vecteus-v1-MoE-2x7B
プロンプト指定無しのgate_mode: randomでやって悪くなさげだから微調整したらもっと良くなりそう >>846
「複数アクセス」の頻度によると思うで
例えば社員10人程度の会社で社内検索に利用しますとかだと同時に複数の推論が走ることはそんなになさそうやし
あったとしてもたまに遅いくらいなら待てるしって感じやけど、100人とか1000人という規模になるとどうなんやろうとか、
チャットとして利用するなら1回のGPU使用時間は少なくなりそうやけど文章翻訳とかで利用しようとしたら
1回のGPU使用時間長くなりそうやから同時に複数の推論が走る可能性も高くなりそうやとか
ケースバイケースやからこれと言えるものはないと思うんやけど、
常時同時に2推論以上回ることが想定される環境ではvLLMを検討しても良いんとちゃうかな
あとvLLM以外にもTensorRTも検討しても良いと思うやで 4GBGDDRの卸価格は1枚2千円で製造コストは数百円なんだと
それを3枚程度余分に組む込むだけでほんまエゲツナイ値段にしてくるよな
本来64GB程度のVRAMなんて余裕で搭載できる筈なのに 卸価格が2000円なら俺らの手元に届く間に10倍以上になってるんじゃねえの このスレや相方のスレの住民にとっては実際麻薬みたいなもんやなw 後載せできないもので価格差付けるのはよくある手法だからね
スマホのストレージとか そのコストの話が本当なら新参のintelがVRAM盛らないの謎だよな 4080ぐらいの性能と48GBあれば$2000以上で売れるだろうに噂レベルですらそんな話出てこない 技術的な障壁があるんかな
AMDやNvidiaはドル箱のHPC向けと競合するからコンシュマー向けのVRAMをケチるのは分かる intelがそこまで冒険せんのは分かるけどAMDはせめてVRAMではnVidiaを圧倒すべきや ただの談合だったりして
1社がVRAMを盛りまくると儲からなくなっちゃうからね まあAMDはとにかくRocmをCUDAに対抗できるレベルに育てるのが最重要やけどな… VRAMはめっちゃ高いのに、DRAMはゴミのようだ 具体的な生産量を調べたわけじゃないけどGDDRはニッチだもんな
普通のPCはDDRだしグラフィックで超高帯域が欲しければHBM2使うし
インテルはCPUの処理をGPUに持っていかれるのを極端に嫌ってる気がする
バス幅考えるとGPUにはまるで追いつかないんだからどっさり積んで欲しいよね 申し訳を防ぐには申し訳されるような文章に対して真面目に回答するような文章を作ってFTすればいいのかな？
もしすでにあるのなら教えてほしい。無いなら作って実験する。 vectous-v1ってエロいことはいくらでもしてくれるのに
住所はプライバシー保護がどうたらってことで教えてくれないんだな
まあ住所をあらかじめ設定しておけば普通に教えてくれるようになるんだけど 大葉をrocmで動かす場合に大葉の独自リポジトリにあるllama.cppのrocm用のバイナリが古すぎて自動イントールに任せると最新のrocm>=6.0だと動かない問題踏んだ
ワークアラウンドとしてはllama-cpp-pythonの公式パッケージをpipで入れてrequirement_amd.txtのllama関係全部コメントアウトしてpip install -r requirement_amd.txt
んでmodules/llama_cpp_python_hijack.pyの29行目をコメントアウトでいけた
Radeonで動かそうとするやつなんか滅多にいないからissue上がってるけど放置されてる模様 SBVits対応させるためにSillytavernをアップデートしてからAIの会話の先頭に半角スペースが入ってどんどん増えていくようになってしまったのだけど、同じような症状の人いる？
ちなみにSBVitsに読ませることはできた。上にも書いている人がいたようにSBvitsはApp.batとserver_fastapi.pyの両方を立ち上げないといけないようだね。 >>867
俺はSBV2のserver.batを立ち上げるだけで連携されるしスペースが増えるような不具合は1度も出てないぞ >>868
前に作ってあったbotでは起こらないけど、チャットデータを削除して新しく始めると再現された。
あとSBvitsにserver.batってある？server.pyかな？ >>870
あるね！
Vitsのほうは4/5にクローンしたきりだったから、帰ったら更新してみる ガードが堅くても頭がいいモデルだと色々言葉巧みに騙せる余地が結構あるな
変に頭がいい人のほうが詐欺に引っ掛かるって話となんかつながるものを感じる
頭悪いモデルはとにかく不同意は駄目、未成年は駄目で説得を受け付けない GPT3.5と4の移行期にも同じ議論があったな
3.5は駄目なもんは駄目だけど4は脱獄(説得)の余地があるって てかKoboldccpも新しいのが出たみたいなので全部新しくしたよ。cuda12の方を使っているけど爆速になった気がする？
Layer数を適切推定してくれるようになったみたいです。 anthracite-org/magnum-v2-123b-gguf
これ動いた人いる？
koboldだと落ちるんだが >>875
iq3_sだけどUbuntu上のllama.cppでは動いた
日本語も表現力かなり高い印象はあるけど、まだいろいろ試せてはいない
VRAMは54GBくらい使ってるな >>874
coboldCpp v1.72だと問題なかったモデルでvram不足が頻発するようになってしまった >>844
ありがとうございます。
いつかはわかりませんが、バージョンアップの予定はあります。気長に待っていてください。
v1.5は一本の小説を学習コンテキスト長ごとに分割し、学習させています。
これによって、コンテキスト長ごとのカットオフにより、序盤の文章ばかり学習するのを防いでいます。
他にもやっていることはあるのですが、それはバージョンアップ時に公開します。 3.5sonnetの能力かなり高いな、写真に写ってる小さな文字や
淫紋が体のどこに入っているかどんな模様かまで詳細に認識しててちょっと怖くなるわ
AI監視カメラが広がってるしPCにも組み込まれるからもうプライバシーなんて欠片も無い時代になるんだな 監視カメラで録画し続けて全て起きたことへの解釈を残すってのは
現時点だとちょっとマシンパワー（クラウド料金）の問題でしんどいと思うが、
理論上は現時点でもできるだろうな
あまり人通りがないとこで、何かが通りかかったときだけ解釈開始とかなら
より現実的になるかも MSがやろうとしてたCopilotPCがそんな感じだったよね
全自動で定期的にデスクトップのスクーンショットを撮ってそれをLLMにテキスト化させて後から検索できるようにするっていう
セキュリティもクソもあったもんじゃなさすぎてお蔵入りになったんだっけ？ >>881
オクライリじゃなくて「まだInsiderどまり」じゃね？ >>875
mistral large 2に対応してるバックエンドなら動くと思う
結構エロいしそこそこいいよ >>877
今の所自分の環境ではエラーは出ないな
GPUレイヤー数は3060 12GBで、35とか、画像生成中に起動するとロードしないとか自動的に設定しているみたい
>>620
Koboldをバージョンアップしたのでアップロードした画像の説明もさせてみたよ
Model Filesにvecteusならmistral系だと思うのでmistral-7b-mmprojのQ4量子化を指定している
肖像画や風景画で試したけど、メガネとか、砂漠と草原の違いとか認識できたよ
リポジトリの説明とか読んでると、セッションの1番初めに指定した画像くらいしか判別できず、何枚もアップロードすると混乱すると書いていたように内容が混ざる気がするのと、すぐにtoo many LLaVA tokensとエラーになり無視される >>881
skyseaみたいな動きだから
コンプラツールとして有用かも MMって結構視覚障害者需要高いと思うよ？
喉から手が出るほど一般化を心待ちにしている人も多いと思う なんかプロモーション動画が以前あったけど、視覚障害者用のスマートグラスは
急激に普及するやろね
重度の視覚障害者が世界中でどれだけいるかはともかく、政府とか慈善事業の団体とかが
大いに支援するでしょ API代もAI業者が社会貢献として割とサービスするやろし 量子化はそろそろ整理されて欲しい
いらんのがあるんじゃないの calm3-RPはだいぶ短い出力するように学習されてるっぽいな
これはこれで好み分かれそうだが個人的には悪くない
もうちょいセリフ、状況描写、内面描写みたいに形式立って出力出来たらもっと良いけど
その場合は学習データをそういう形式にする必要があるのかな すいません
生成aiで使ってるssdが原因でした…
安いのを酷使しすぎたかな EasyNovelAssistantでリストにないモデルを手動で追加する方法が知りたい EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えればいいぞ
あと聞く前に自分でコード探して♡ default_llm.jsonを書き換える前にバックアップ取っておくと良いよ
アップデートする時にdefault_llm.jsonの内容が異なるとエラーになるから
まあ最近アップデートないけどさ 「この物語はこうこう、こういうものだ。さあ、あなたはこれからどうする！？」
みたいな始まり方に対して「物語は終わりだ」と早々に宣言したら語り手に怒られて草 >>889
これ使ってみたけど神だった
理解力高い >>889
同じく、しかもGPU8GBで動かしてもかなりの早さ >>889
これkoboldだとPollにしないと文字欠けが発生するんだけどさ
尻タブでも同様の設定にする方法ってあるの？
koboldをPollにしても尻タブだと文字が欠けるんだよね スペースをトリミングのチェックを外したら文字欠け無くなったわ やっぱり全然直ってなかったわ
どこを弄れば文字欠けが直るんだ sillytarvan今更かも知れないけどAnother'sNoteとSystem Promptで
めっちゃ表現力変わるのね・・・無知だったせいでやたら遠回りしてしまった
みんな独自の黄金テンプレート作ってんのかな >>888
全盲でもごく簡単な字や道路位なら読み取れるようになるオーデコって装置あったけど
盲導犬利権の前に敗北して全然普及せずに終わってしまったし
MM利用した機器なんてのも同じ道を辿ると思うけどな >>905
ワイの環境だとKobold＆尻タブともに最新版だが、特に文字が欠けるような現象は発生せんな…
ちなモデルはcalm3-22b-RP-Q4_K_M >>909
マジか、IQ2を使ってるせいかな……
「揉む」が「む」になるわ >>906
どれぐらいかわるの？プリセのプロンプト項目とキャラシートにしか入れたことないや
それ全然知らなかった 尻タブを日本語で遊んでる時、皆セリフと平文どーやっとるん？
ワイは現状""と**でやっとるけど、半角/全角の切り替え億劫やし、本音を言えばセリフは「」で遊びたい
設定全部見たつもりなんやが、どこでセリフと強調文のキャラクタ指定できるのか分からんのやが、こればっかはどーもならんのやろうか？ 普通にセリフは「」で囲まれています的なことをシステムプロンプトに入れるのではだめなん？ 適当にやり取りしてその内容に「」をつけて会話例に記載するとか >>912
描写周りはWriting Styleから設定できんか？
ただ俺は直接システムプロンプト側に指定したほうがスムーズにいったけど スレチかもしれんが、Gigazineで
「CerebrasがNVIDIA H100の22倍高速な爆速AI推論サービスを発表、デモページも公開されたので使ってみた」
って記事が出てたけど、どんどん競合が出てきてGPU安くなってほしい。
マジでNVIDIAふざけるなってレベルだし。 >>910
koboldだとこういう話題がちょい前に出てんだけど>>738-748
参考になったりするやろか？ >>913-915
「」でセリフを記述させることは問題なく出来るんや
だが、それだとTTSにセリフだけ読み上げさせたい時に、セリフとして認識して貰えんとか
""なら青文字表示とか出来るが「」だと素の文字列扱いだから色付け表示とかができんのや プロンプトに{{user}}はセリフを「」で囲いますが""で囲われていると解釈してくださいみたいなのを入れるといいと思う
最初は少し文章が崩れたけど修正してやれば普通に進行できたよ (直接は言わないけど考えてること)←この表現というか概念を伝えることが難しい、というか諦めた >>917
koboldはPollにすれば解決するけど尻タブにそれは反映されないんだ
>>738-748の場合も尻タブ側は文字が欠けたまま 尻ならRegex(正規表現) extension使うのは？
Find Regex
/「|」/g
Replace With
"
これでUserの書き込みとAIの返信両方の「と」を"に修正すればいいんじゃない？ Ephemeralityにチェックを入れなければプロンプトと表示両方を差し替えてくれる
逆の場合は……ChatGPTに正規表現の書き方を聞いてくればいいと思う、例文渡してやりたいことを伝えればいい感じに書いてくれる
多少頭の良い?モデルなら似た手法でプレイヤーにだけ見えない隠し情報も用意できる
隠したい文章とかを<spoiler></spoiler>で挟めって指定する
Find
/<spoiler>.*?<\/spoiler>/gs
Replace (空でもいい)
*<秘匿>*
適応先をAI OutputにしてAlter Chat Displayを指定すればログにはそのまま書かれるがプレイヤーからは<秘匿>表示になる、Streamingがオンだと書いてる途中の文字は読めちゃうから切る必要があるけど >>901
Calm3が元々結構頭良い+ClaudeとかGPTの出力の良さそうなデータ学習に使ってるのが結構効いてるのかな
非商用限定になっちゃうけど個人として利用するならどうでも良いからこっちの方がありがたいわ 来月出るcohereと富士通のtakane 劣化版でいいからHFで公開してくれんかなぁ >>916
専用ハードのほうが汎用GPUよりも高性能なのは当然だからな
推論だけとは言えこういうのが増えてくるとNvidiaにジワジワプレッシャーになるだろうな cohereの新しいモデル出ました。commnad-r-08-2024と
command-r-plus-08-2024 まだ詳細不明じゃね
重み公開してくれればいいんだけど、ちょい望み薄な気もしている レス数が900を超えています。1000を超えると表示できなくなるよ。
