なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 昨日初めて導入したけどまだAIのべりすとより使いこなせへんわ
Uのスレがちょうど消えとって探すの苦労したわ 64GBあればフルCPUでcommand-R+ Q4でも動くしな。
まぁ流石に遅いので、無印command-Rに下書きさせて、R+に清書させると効率がいい。 RTX4000シリーズに数か月で大幅に性能低下する欠陥が発覚
共通して使用されてるグリスが原因だから殆どのメーカが巻き込まれるとのこと hbmに頼らない設計てできないの？
普通のメモリなら512gbでもいけるのに HBMはDDRの5〜20倍くらい転送速度が稼げる
LLMはとにかくメモリーの速度を要求する
mac(max以上)はDDRであってもコントローラー2倍積んでる特別仕様
ただHBMは物理的にローハンマー攻撃に弱いので実行用のメモリーとして使いづらい
マルチCPUでLLM動作させるとCPUが割と暇になってしまう
これはメモリーの出し入れ待ちな為 普通にGDDRでいいから48GBの4090とかでてくれたらねぇ・・・
4090にモデル収まれば20token/sとか出るし
実用上10token/sも出れば目で追えないくらい早いだろうから性能的にはもう十分なんだよな
まぁそれが6000Adaですって話なんかも知らんけど
なお値段 llama.cppがMistral-Nemoに対応したからちょっと使ってみたけど表現規制とかはなさそうだね
というかちょっと口説いたら銃の作り方も教えてくれるから論理観ガバガバかも？ Calm3試してる人いる？めっちゃ性能は良いみたいだけどエロはどうなのか気になる calm3の22B chat、まともに動かないや
暫定版って事が関係してるのかもしれんけど
gemma2 27Bの方が圧倒的にサクサク動く Claude3.5 sonnetって70Bであの性能なんだよな
そのうちローカル実行可能なモデルがsonnetの性能に追い付き追い越すようになったら
小説の世界でも人間は駆逐されるね >>581
こんなヤヴァイプロンプト、ローカル以外で使えるわけないやろ >>581
API料金が高いから
現状のAIビジネスが成功しないのはAPI料金が高すぎるんだよ >>583
大手のチャットログが個人情報と紐づいて流出したらとんでもないことになるやろうなｗ
絶対ハッカーグループは狙ってると思うわ APIはむしろ安くないか
ビジネス用途ならGPT-4oとか安すぎるくらいだ
ローカル使いたいのは検閲とかされたくないしNSFWなんでもアリなチャットしたいってのが大きい >>587
クソたけえよ
個人や企業内用途ならまだしも
不特定多数がアクセスして使わせるなら現状の価格では成り立たん 少なくとも日本の法律じゃエロ文章で逮捕されることはない
たとえそれがペドロリでも(文章には児ポ判定無し)
できることはせいぜいBANくらいだけど、openaiもanthroも返金されるので、banされたところで特に痛くもない
犯罪系や自殺系は知らんが ChatGPTで〜のスレとか見てるとようあんな性癖全部盛りのプロンプトを検閲されたり学習されたり可能性あるよそさまのサーバーにしこたま送りつけるよなと思ってしまうわ
ある意味男気あふれてて感心する こっちは何も困らんしコソコソする理由が全くわからん
そんなのばかりになったら向こうは困るかもしれんが 当たり前だけど有害なプロンプトは今後の学習に使われて対策されるから使いにくくなるという影響があるよ Mistral-Nemo-InstructをQ4_K_Mに量子化してみたけどけっこう賢くて良い感じだわ
Q4だしさすがに精度は低いけど、3万字くらいの長文読ませても壊れないでちゃんと返答してくれるし
そこからキャラなりきりもできるのはほんと進歩を感じる 赤ちゃん質問で申し訳ない
SillyTavernでclaude3 APIに接続する方法ってどこかに載っとる？
調べても英語ばっかりだし翻訳してもよくわからん APIキー既に取得済みって前提になるが
https://imgur.com/a/QsCkPSG
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？ >>592
よくできた脱獄はLLMの本質突いてるから対策できないよ
というか対策したら性能落ちる
もう諦めて各社BANとか警戒度で対策するしかなくなってるのが現状 >>597
poeとかはわざと緩くしてるだけだよ
サービス元によって同じモデルでも明らかに申し訳される度合いが違う
そもそも入力そのものをAIでチェック出来るから本気で検閲されたら全部アウトになる >>598
それはanthroに怒られたくないからやってるだけ
性能落ちるからやりたくないのが本音
anthroもAPIには規制かけてないのが何よりの証拠 非ローカルは別スレがあるからね
ここはローカル寄り RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？ llama3.1がgroqで触れるので70b版を触って来たけど最低限日本語っぽいものが返ってくるレベルやな
脱獄プロンプト入れればエロプロンプトも通るけど誤字や簡体字混じりの文章でなにかのトリガーで同じフレーズを繰り返し始めるしなかなか厳しい
command r+くらいの性能はあると期待してたけど設定が悪いんかな >>603
尻タブなら>>153周辺参考にしてもらえればなんやけど、大葉ってcustom stopping strings的な機能あったかわからん
あると思うが名称違うかもしれん ついにGPT4oを超えるオープンなLLMが出た
すごい事だが405bって何GBあれば動くんだ perplexityで405B使えるけど、控えめに言ってゴミ
指示を理解してない上にそれを差し引いても表現ができてない
出力の質はGPT4oどころかGPT3.5にも劣る モデルカードの対応言語に日本語がないしまあ普通に対応外なだけなんじゃないか ドスケベメイドの自己紹介
3.5sonnet
i.imgur.com/UCpdPOL.png
GPT4o
i.imgur.com/s0VQ7ls.png
3opus
i.imgur.com/qQlveZY.png
LLAMA3.1 450B
i.imgur.com/BncztsU.png >>605
ありがとう
尻使いなので一度やってみたんだか発狂しだしてな…
Lora使わずにプロンプトいじったり
単体のセリフ集をRAGしてみるよ 日本語はもうcohereに期待するしかないな
405bじゃ個人でのファインチューンも難しいだろうし 別にしちゃダメってわけじゃないけど
何でローカル寄りなスレなのにパープレやpoeでの脱獄を推奨する人がここに居座ってるんや…？ エッチなことをするとすぐ頭が真っ白になるのをやめさせたい
もっと他に表現方法ないのかよ！ かしこさでは3.5sonnetが頭１つ抜けててCR+その他のローカル可能モデルは置いて行かれてる感じだな Llama3.1については70Bでも本来のベンチマークスコアは高いので
405Bは置いといて70Bベースの日本語モデルが出ることに期待してる >>608
しかも3より規制きついな
日本語能力は対象外になってるのでまあ、御察し
ただ、推論力は高い
英語での質問に生徒会恋愛問題を完全とは言わないが正解に近づいけていた
日本語での質問はダメだったがｗ 生徒会恋愛問題とは一体・・・・うごごっ
誰かマルチモーダル試している人居ないか？
画像を読み込ませて解析させるChatGPTとかでお馴染みの機能
大葉は拡張設定が面倒でkoboldcppで試したけど上手く行かん
画像生成のCILPに該当するllava mmprojのモデルに汎用性が無い？
ninjaやエロLLMで使おうとしたら壊れた文章しか出さなかった
llavaとセットのllmで動かしたら低性能だけど一応は動いた 405Bいらんから70Bの日本語特化モデルを出してくれよ そもそも3.0からどれくらい性能アップしとるんやろな
3.0 70bはgemma2 27bよりも英語では性能低いから
3.1 70bが多少性能上がったところで日本語特化モデル作るならgemma2 27bと思うんやな >>619
ダメとかの問題じゃなくて動かせないし… 公式に日本語対応してないからしゃーないやろ
まず英語の性能見たいけどchat arenaにまだ出てきてへん
まぁあとニ2、3日すれば出てくるやろ 英語エロも試したけど、曖昧な表現ばかりでそもそもエロにならないな
オナニー実況
3.5sonnet
https://i.imgur.com/2Hn2wi0.png
llama3.1 405B
https://i.imgur.com/ViFZaCE.png 現状ローカル寄りというのは正しいけど、それはwebサービスで満足できない奴がより深い所に辿り着く結果ローカルの話になっているだけだと思う。
webサービスにより良いもの、新しいものが出現したら話題がそっちに流れる事はありうる。(405Bの話の様に) >>626
規制がパワーアップしてるせいだな
pfnet/Llama3-Preferred-MedSwallow-70B
↑これみたいなfinetuneされれば、化けるかも mistralがなんか123Bの多言語モデル出した >>629
llama-3.1とELYZAの悪魔合体モデルか >>629
はえーな
こんなでかいモデルのファインチューニングそんなすぐできるもんなのか Llama3.1 405bをRAM128GBのMac book Pro*2で外人が動かしてた
256GBあればローカルで動くんだな https://huggingface.co/aixsatoshi/Meta-Llama-3.1-8B-Instruct-plus-Swallow
>Swallow-8Bは追加の日本語継続事前学習により日本語が大変流暢なLlama-3派生モデルです。
>このBranchとLlama3との差分ベクトルを、アップグレードされた新しいMeta Llama-3.1-8B-Instructに移植しました。
>Meta-Llama-3.1-8B-Instruct + 0.7*(tokyotech-llm/llama-3-Swallow-8b - meta-llama/Meta-Llama-3-8B) 405bに日本語がそもそもサポート言語に入ってないね 日本語も普通に出るけどね
文章力は英語でも何でもどのみち低品質だから対応云々はあまり関係ない気がする mistralai/Mistral-Large-Instruct-2407
で、これどうなん？
gguf出てるが出先で試せん chat arena見てたらいつの間にか言語別のランキング見れるようになってるな
結局日本語でもローカルで使えるモデルで一番高いのgemma2 27bだけど
日本語投票数少ないからもっと日本語でやらなあかんな 今chat arena投票するとめっちゃllama3.1出てくる
やってみてわかったのはllama3.0よりも日本語は間違いなく改善してる チャットしてるとGemma 2よりCommand R+の方が日本語流暢だと感じるんだけど、あんまり一般的な感覚じゃないんかね llama3.1に「山崎春のパン祭り」の説明させても不正解でがっかり
nemotronはシールと景品に言及できるあたり知識ベース自体はしっかりしてんのかな たまに話に出てるMedSwallow-70B使ってみたけど、それなりに賢いしなんかエロい。
ただ書かれてる通り挙動がおかしい。
色々出てきても結局MoE-TEST-2x7B-NSFWが一番まともな気がする。 mistral-large、3bitくらいまで量子化しないと動かんけどとりあえず試してみたがエロも普通に通るし日本語も自然だな
6t/sくらいしか出ないからまだあんまり試せてないけどもうちょっといろいろ触ってみる koboldがMistral-Nemo-Instructに対応したな 試したらMistral-Nemo-Instructが「こんちにちです。」って挨拶してきてズッコケたわ
temperatureが高すぎるだけやった APIは規制強化の波が来てるしやっぱローカルの進化にかけるしかないな そうはいっても300万円のカードが200万円になっても買えぬ
革ジャン潰して欲しい >>647
こういうのはRAGの領分なのでそもそもモデルの基礎知識に頼るべきじゃない >>658
ありがとうございます
enaで対応していただいたら使用させていただきます ほへー構成メインか……どのレベルなんやろ
自分は起承転結やら個々のエピソードまでは構成するけど
・険悪だった二人が◯◯というきっかけで仲良くなるシーンを1000文字で
みたいなフォーマットで書いてくれるなら
かなり創作の手助けになるんやが
エロでいうと
・フェラだけで1000文字で
といっても三行で終わらせて本番始めるモデルばかりで辛い 一人芝居ストップかけても尻の表面に出ないだけで裏ではやり取りがっつりあるのヘコむわ どもる文章がおかしくなることがよくあるな
「い、今やろうとしたところだ！」が正しい形なのに
「こ、今やろうとしたところだ！」となって漢字の読みを考慮しないことがある
Q5とか使ってるからなのか
>>862
裏でのやり取りごと消去って出来ないのかな？ >>660
ファイル名書き換えたら読み込んでくれるで。
例えば、kagemusya-7b-v1.5-q8_0の部分をkagemusya-7b-v1Q8_0に書き換える。
わいは使わんやつの名前に書き換えて、色々試してるで。 Mistral-Nemo-Instruct-2407.Q5_K_M.ggufでエッチなことさせて遊んでるけど
単なるロールプレイ会話よりもハメ撮り動画の実況解説みたいなことをさせた方が本領発揮するな >>663
opusとかでもそうなるよ
AIは文章を音として読んでるわけじゃないから、読みなんて再現できなくて当たり前
用例を全て丸暗記するしかない ■ このスレッドは過去ログ倉庫に格納されています
