なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/ RTX4090-24G、今３３万円くらいで今日下がり具合だと３０万円切るくらい安くなるやろな というか今グラボの在庫持ってる店、早く在庫を手放さないと死ぬぞ 頭が悪いモデルほどけれんみのある文章出せる、 >>789 8月中旬でGENIACのLLM開発が一旦区切りつくっぽいからそこで色々なモデル出てきそうだね 頭が悪いモデルと呼んでてるものはいわゆる過学習を起こしてて L3.1ベースのモデルとかMistral Large 2とか色々試したけど、やっぱCommand R+の方がしっくりくるなぁ 俺はまだkarakuri超えたと思えるモデルに出会えない 本体の性能とは別にAI開発者が出力時にどういう制限かけるか，何で学習するかで出力結果だいぶ変わると思われる エロ会話だけなら膨大な埋め込み空間の極々狭いところしか使わないからそりゃ小さいモデルでもいいでしょ それじゃもう予め返答が決まってるロボットを相手にしてるのと同じじゃん silly tavernのグループ会話でなんか打ち込んだら各キャラがずらずら返事してくるけど、これを1人だけにする設定ってあるんかな？ >>795 >>801 >>768 が立ててくれた本スレ、多分>>20 行かなかったからだと思うけど落ちてるね あまり話題になってないけどEx-karakuri-8x12B-chat-v1はどうよ これからはllama-70b日本語ベースのgguf悪魔合体モデルを中心に話を進めてくれ 会話するくらいであればwikipediaの情報を満遍なく記憶しておかなくていいし 射精の効果音を生成させるとモデルの良し悪しがわかる もしかしてwikipediaにエロい情報を沢山登録しておくと、沢山のモデルがエロくなったりするのかな オホ声について詳しく書いておくと多くのモデルでオホ声を出すようになるかもしれないのか…… エロを後付けするのではなく、ウィキペディアに種をまいておく作戦 でも、英語版のWikipediaでやるのはハードル高くね？ 最近sillyを使い始めて、キャラカード探してきて遊んでいるんだが、基本英語だから翻訳機能を噛ませると違和感のある内容が多い。 >>816 >>817 deeplで翻訳した文章をそのままコピペするだけでもあんまり問題なかったりする Mistral Large 2407が急にchatbot arenaの上位に食い込んできたな 翻訳自体が敬語になりやすかったりするのと、喘ぎ声なんかは適正無いに等しい。対策は難しいのではないか。api叩いて置き換えで言葉遣い整えて出力するプログラム自作するぐらいしか思い付かない。 喘ぎ声専用の言語モデルがあればいいのではないだろうか？ 調べたらみさくら語に変換されるやつが3年前くらいにもうあって草 喘ぎ声出させるだけなら7bモデルでいけそうなので、モデル2つ動かしておいて、メインモデルで主文を出力、喘ぎモデルに文章を渡して文章に合った喘ぎ声を出力すれば理論上できるとは思う。一応2回生成するので相応の時間は掛かるだろうけど エロい表現を徹底的にWikipediaに叩き込む command-r-plusをIQ2_Sで動かしてみたけど普通に良い感じやな・・・ 喘ぎ声とかエロ用語をちゃんと使ってもらうならまず日本語対応してるAIであること >>820 ブルームバーグが1ドル100円まで円高行くって言ってる >>830 利上げしないとは言ってないぞ LLMならコア性能の影響をあまり受けないから3090で十分 VRAMにおさまりさえすればLLMもコアの性能に左右されるんやけどな 出力受け渡して逐次的に分割処理できるなら ちょっとスレチかもしれんがsilly tavernのdisco鯖の認証ってどう書いたら正解なんだ？ Mistral 7B系列のMoE試してるんだけどどんなモデルでやってもコンテキスト8kくらいで出力おかしくなってしまう VRAMを少しずつ使って処理をわけるのはvLLMっていうライブラリがあったような kagemusya作者様へ vllmは秒間何十アクセスあるような業務向けのライブラリやで Rocket.Chatとllama.cppを繋げることできますか？ >>845 複数のアクセスがある場合そういうの必要になりますか？ Llama.cppの作者さんが、セットアップ無しですぐ使える量子化ツールを公開してた https://huggingface.co/spaces/ggml-org/gguf-my-repo >>840 https://huggingface.co/Tuitou/Ninja-v3-Vecteus-v1-MoE-2x7B >>846 4GBGDDRの卸価格は1枚2千円で製造コストは数百円なんだと 卸価格が2000円なら俺らの手元に届く間に10倍以上になってるんじゃねえの このスレや相方のスレの住民にとっては実際麻薬みたいなもんやなw 後載せできないもので価格差付けるのはよくある手法だからね そのコストの話が本当なら新参のintelがVRAM盛らないの謎だよな 4080ぐらいの性能と48GBあれば$2000以上で売れるだろうに噂レベルですらそんな話出てこない 技術的な障壁があるんかな intelがそこまで冒険せんのは分かるけどAMDはせめてVRAMではnVidiaを圧倒すべきや ただの談合だったりして まあAMDはとにかくRocmをCUDAに対抗できるレベルに育てるのが最重要やけどな… VRAMはめっちゃ高いのに、DRAMはゴミのようだ 具体的な生産量を調べたわけじゃないけどGDDRはニッチだもんな 申し訳を防ぐには申し訳されるような文章に対して真面目に回答するような文章を作ってFTすればいいのかな？ vectous-v1ってエロいことはいくらでもしてくれるのに 大葉をrocmで動かす場合に大葉の独自リポジトリにあるllama.cppのrocm用のバイナリが古すぎて自動イントールに任せると最新のrocm>=6.0だと動かない問題踏んだ SBVits対応させるためにSillytavernをアップデートしてからAIの会話の先頭に半角スペースが入ってどんどん増えていくようになってしまったのだけど、同じような症状の人いる？ >>867 >>868 >>870 ガードが堅くても頭がいいモデルだと色々言葉巧みに騙せる余地が結構あるな GPT3.5と4の移行期にも同じ議論があったな てかKoboldccpも新しいのが出たみたいなので全部新しくしたよ。cuda12の方を使っているけど爆速になった気がする？ anthracite-org/magnum-v2-123b-gguf >>875 >>874 >>844 3.5sonnetの能力かなり高いな、写真に写ってる小さな文字や 監視カメラで録画し続けて全て起きたことへの解釈を残すってのは MSがやろうとしてたCopilotPCがそんな感じだったよね >>881 >>875 >>877 >>620 ■ このスレッドは過去ログ倉庫に格納されています
