なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured Mistral-Nemo-InstructをQ4_K_Mに量子化してみたけどけっこう賢くて良い感じだわ
Q4だしさすがに精度は低いけど、3万字くらいの長文読ませても壊れないでちゃんと返答してくれるし
そこからキャラなりきりもできるのはほんと進歩を感じる 赤ちゃん質問で申し訳ない
SillyTavernでclaude3 APIに接続する方法ってどこかに載っとる？
調べても英語ばっかりだし翻訳してもよくわからん APIキー既に取得済みって前提になるが
https://imgur.com/a/QsCkPSG
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？ >>592
よくできた脱獄はLLMの本質突いてるから対策できないよ
というか対策したら性能落ちる
もう諦めて各社BANとか警戒度で対策するしかなくなってるのが現状 >>597
poeとかはわざと緩くしてるだけだよ
サービス元によって同じモデルでも明らかに申し訳される度合いが違う
そもそも入力そのものをAIでチェック出来るから本気で検閲されたら全部アウトになる >>598
それはanthroに怒られたくないからやってるだけ
性能落ちるからやりたくないのが本音
anthroもAPIには規制かけてないのが何よりの証拠 非ローカルは別スレがあるからね
ここはローカル寄り RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？ llama3.1がgroqで触れるので70b版を触って来たけど最低限日本語っぽいものが返ってくるレベルやな
脱獄プロンプト入れればエロプロンプトも通るけど誤字や簡体字混じりの文章でなにかのトリガーで同じフレーズを繰り返し始めるしなかなか厳しい
command r+くらいの性能はあると期待してたけど設定が悪いんかな >>603
尻タブなら>>153周辺参考にしてもらえればなんやけど、大葉ってcustom stopping strings的な機能あったかわからん
あると思うが名称違うかもしれん ついにGPT4oを超えるオープンなLLMが出た
すごい事だが405bって何GBあれば動くんだ perplexityで405B使えるけど、控えめに言ってゴミ
指示を理解してない上にそれを差し引いても表現ができてない
出力の質はGPT4oどころかGPT3.5にも劣る モデルカードの対応言語に日本語がないしまあ普通に対応外なだけなんじゃないか ドスケベメイドの自己紹介
3.5sonnet
i.imgur.com/UCpdPOL.png
GPT4o
i.imgur.com/s0VQ7ls.png
3opus
i.imgur.com/qQlveZY.png
LLAMA3.1 450B
i.imgur.com/BncztsU.png >>605
ありがとう
尻使いなので一度やってみたんだか発狂しだしてな…
Lora使わずにプロンプトいじったり
単体のセリフ集をRAGしてみるよ 日本語はもうcohereに期待するしかないな
405bじゃ個人でのファインチューンも難しいだろうし 別にしちゃダメってわけじゃないけど
何でローカル寄りなスレなのにパープレやpoeでの脱獄を推奨する人がここに居座ってるんや…？ エッチなことをするとすぐ頭が真っ白になるのをやめさせたい
もっと他に表現方法ないのかよ！ かしこさでは3.5sonnetが頭１つ抜けててCR+その他のローカル可能モデルは置いて行かれてる感じだな Llama3.1については70Bでも本来のベンチマークスコアは高いので
405Bは置いといて70Bベースの日本語モデルが出ることに期待してる >>608
しかも3より規制きついな
日本語能力は対象外になってるのでまあ、御察し
ただ、推論力は高い
英語での質問に生徒会恋愛問題を完全とは言わないが正解に近づいけていた
日本語での質問はダメだったがｗ 生徒会恋愛問題とは一体・・・・うごごっ
誰かマルチモーダル試している人居ないか？
画像を読み込ませて解析させるChatGPTとかでお馴染みの機能
大葉は拡張設定が面倒でkoboldcppで試したけど上手く行かん
画像生成のCILPに該当するllava mmprojのモデルに汎用性が無い？
ninjaやエロLLMで使おうとしたら壊れた文章しか出さなかった
llavaとセットのllmで動かしたら低性能だけど一応は動いた 405Bいらんから70Bの日本語特化モデルを出してくれよ そもそも3.0からどれくらい性能アップしとるんやろな
3.0 70bはgemma2 27bよりも英語では性能低いから
3.1 70bが多少性能上がったところで日本語特化モデル作るならgemma2 27bと思うんやな >>619
ダメとかの問題じゃなくて動かせないし… 公式に日本語対応してないからしゃーないやろ
まず英語の性能見たいけどchat arenaにまだ出てきてへん
まぁあとニ2、3日すれば出てくるやろ 英語エロも試したけど、曖昧な表現ばかりでそもそもエロにならないな
オナニー実況
3.5sonnet
https://i.imgur.com/2Hn2wi0.png
llama3.1 405B
https://i.imgur.com/ViFZaCE.png 現状ローカル寄りというのは正しいけど、それはwebサービスで満足できない奴がより深い所に辿り着く結果ローカルの話になっているだけだと思う。
webサービスにより良いもの、新しいものが出現したら話題がそっちに流れる事はありうる。(405Bの話の様に) >>626
規制がパワーアップしてるせいだな
pfnet/Llama3-Preferred-MedSwallow-70B
↑これみたいなfinetuneされれば、化けるかも mistralがなんか123Bの多言語モデル出した >>629
llama-3.1とELYZAの悪魔合体モデルか >>629
はえーな
こんなでかいモデルのファインチューニングそんなすぐできるもんなのか Llama3.1 405bをRAM128GBのMac book Pro*2で外人が動かしてた
256GBあればローカルで動くんだな https://huggingface.co/aixsatoshi/Meta-Llama-3.1-8B-Instruct-plus-Swallow
>Swallow-8Bは追加の日本語継続事前学習により日本語が大変流暢なLlama-3派生モデルです。
>このBranchとLlama3との差分ベクトルを、アップグレードされた新しいMeta Llama-3.1-8B-Instructに移植しました。
>Meta-Llama-3.1-8B-Instruct + 0.7*(tokyotech-llm/llama-3-Swallow-8b - meta-llama/Meta-Llama-3-8B) 405bに日本語がそもそもサポート言語に入ってないね 日本語も普通に出るけどね
文章力は英語でも何でもどのみち低品質だから対応云々はあまり関係ない気がする mistralai/Mistral-Large-Instruct-2407
で、これどうなん？
gguf出てるが出先で試せん chat arena見てたらいつの間にか言語別のランキング見れるようになってるな
結局日本語でもローカルで使えるモデルで一番高いのgemma2 27bだけど
日本語投票数少ないからもっと日本語でやらなあかんな 今chat arena投票するとめっちゃllama3.1出てくる
やってみてわかったのはllama3.0よりも日本語は間違いなく改善してる チャットしてるとGemma 2よりCommand R+の方が日本語流暢だと感じるんだけど、あんまり一般的な感覚じゃないんかね llama3.1に「山崎春のパン祭り」の説明させても不正解でがっかり
nemotronはシールと景品に言及できるあたり知識ベース自体はしっかりしてんのかな たまに話に出てるMedSwallow-70B使ってみたけど、それなりに賢いしなんかエロい。
ただ書かれてる通り挙動がおかしい。
色々出てきても結局MoE-TEST-2x7B-NSFWが一番まともな気がする。 mistral-large、3bitくらいまで量子化しないと動かんけどとりあえず試してみたがエロも普通に通るし日本語も自然だな
6t/sくらいしか出ないからまだあんまり試せてないけどもうちょっといろいろ触ってみる koboldがMistral-Nemo-Instructに対応したな 試したらMistral-Nemo-Instructが「こんちにちです。」って挨拶してきてズッコケたわ
temperatureが高すぎるだけやった APIは規制強化の波が来てるしやっぱローカルの進化にかけるしかないな そうはいっても300万円のカードが200万円になっても買えぬ
革ジャン潰して欲しい >>647
こういうのはRAGの領分なのでそもそもモデルの基礎知識に頼るべきじゃない >>658
ありがとうございます
enaで対応していただいたら使用させていただきます ほへー構成メインか……どのレベルなんやろ
自分は起承転結やら個々のエピソードまでは構成するけど
・険悪だった二人が◯◯というきっかけで仲良くなるシーンを1000文字で
みたいなフォーマットで書いてくれるなら
かなり創作の手助けになるんやが
エロでいうと
・フェラだけで1000文字で
といっても三行で終わらせて本番始めるモデルばかりで辛い 一人芝居ストップかけても尻の表面に出ないだけで裏ではやり取りがっつりあるのヘコむわ どもる文章がおかしくなることがよくあるな
「い、今やろうとしたところだ！」が正しい形なのに
「こ、今やろうとしたところだ！」となって漢字の読みを考慮しないことがある
Q5とか使ってるからなのか
>>862
裏でのやり取りごと消去って出来ないのかな？ >>660
ファイル名書き換えたら読み込んでくれるで。
例えば、kagemusya-7b-v1.5-q8_0の部分をkagemusya-7b-v1Q8_0に書き換える。
わいは使わんやつの名前に書き換えて、色々試してるで。 Mistral-Nemo-Instruct-2407.Q5_K_M.ggufでエッチなことさせて遊んでるけど
単なるロールプレイ会話よりもハメ撮り動画の実況解説みたいなことをさせた方が本領発揮するな >>663
opusとかでもそうなるよ
AIは文章を音として読んでるわけじゃないから、読みなんて再現できなくて当たり前
用例を全て丸暗記するしかない >>666
アルファベットなら頭文字の連続だけでどもりを表現できるけど
読みがたくさんある漢字だと色んなパターンを丸暗記するしかないのか
間違えることなくどもらせるのはかなり難しそうだな >>663
lmstadioに尻と同じプロンプト入れたらひとまず出なくなった >>664
リネームでやってみます
助言ありがとうございます
用途に依るんだと思いますが
色々試したもので良かったモデルはありましたか 規制かければかけるほど阿呆になるみたいだし
あんまり規制かけないでほしいな >>650
Mistral Large結構いい感じだよね
トークナイザが日本語に最適化されてなくて厳しいけど 応答の長さ（トークン数）を増やし過ぎても繰り返しが多くなるのか
何を弄ったらどう変わるのかいまいち把握しきれないな cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
ちょっと期待 設定といえばkoboldcppのGPUレイヤーだっけ？皆いくつにしてんの？
俺初期値の200のままなんだけど減らしたらええのか？ 全レイヤー乗りさえすればいくつでもいいんじゃないの >>670
新参なもんでまだ全然分かってない。すまぬ。
このスレに出てきてないものだと、Antler-7B-evolve、
EZO（common/humanitiesの2つ）があるから試してみて。
Antler-7B-evolveはKagemsyaみたいな用途で使えると思う。 3.5sonnetがマジでかしこいな
ちゃんと設定すればそこそこ複雑な設定のゲームも進行させられる
この技術がPCゲームに応用されたら凄いことになるんだろうけどなぁ Mistral Large 2
脱獄なしで設定書くだけでもNSFW出力してくれて大変良い
ロリNGとかも特になさそう
若干繰り返し癖はある
https://i.imgur.com/09DNkK1.png >>681
量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる
意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが) >>680
いいねー
こういうオープンソースが増えるのは明るい未来に繋がる サイバーエージェント期待してる。量子化してください >>682
ほー、123Bが55GBで済むのか
この休日に試してみようかな >>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね 上にあるサイバーエージェントのやつも試してみた
Finetuningでバカになってる感じもあまりないし、いいかもしれない
https://i.imgur.com/DASmyky.png >>686
流石だぜモモンガニキ、そこにシビれる!あこがれるゥ! >>682
IQ3_M試してみたけど違和感ないね
ただ、Command R+より遅いなあ
いずれにしても選択肢が増えたのはいいことだわ >>690
別に難しかったことなんて一度もないんじゃないの ■ このスレッドは過去ログ倉庫に格納されています
