なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 現状ローカル寄りというのは正しいけど、それはwebサービスで満足できない奴がより深い所に辿り着く結果ローカルの話になっているだけだと思う。
webサービスにより良いもの、新しいものが出現したら話題がそっちに流れる事はありうる。(405Bの話の様に) >>626
規制がパワーアップしてるせいだな
pfnet/Llama3-Preferred-MedSwallow-70B
↑これみたいなfinetuneされれば、化けるかも mistralがなんか123Bの多言語モデル出した >>629
llama-3.1とELYZAの悪魔合体モデルか >>629
はえーな
こんなでかいモデルのファインチューニングそんなすぐできるもんなのか Llama3.1 405bをRAM128GBのMac book Pro*2で外人が動かしてた
256GBあればローカルで動くんだな https://huggingface.co/aixsatoshi/Meta-Llama-3.1-8B-Instruct-plus-Swallow
>Swallow-8Bは追加の日本語継続事前学習により日本語が大変流暢なLlama-3派生モデルです。
>このBranchとLlama3との差分ベクトルを、アップグレードされた新しいMeta Llama-3.1-8B-Instructに移植しました。
>Meta-Llama-3.1-8B-Instruct + 0.7*(tokyotech-llm/llama-3-Swallow-8b - meta-llama/Meta-Llama-3-8B) 405bに日本語がそもそもサポート言語に入ってないね 日本語も普通に出るけどね
文章力は英語でも何でもどのみち低品質だから対応云々はあまり関係ない気がする mistralai/Mistral-Large-Instruct-2407
で、これどうなん？
gguf出てるが出先で試せん chat arena見てたらいつの間にか言語別のランキング見れるようになってるな
結局日本語でもローカルで使えるモデルで一番高いのgemma2 27bだけど
日本語投票数少ないからもっと日本語でやらなあかんな 今chat arena投票するとめっちゃllama3.1出てくる
やってみてわかったのはllama3.0よりも日本語は間違いなく改善してる チャットしてるとGemma 2よりCommand R+の方が日本語流暢だと感じるんだけど、あんまり一般的な感覚じゃないんかね llama3.1に「山崎春のパン祭り」の説明させても不正解でがっかり
nemotronはシールと景品に言及できるあたり知識ベース自体はしっかりしてんのかな たまに話に出てるMedSwallow-70B使ってみたけど、それなりに賢いしなんかエロい。
ただ書かれてる通り挙動がおかしい。
色々出てきても結局MoE-TEST-2x7B-NSFWが一番まともな気がする。 mistral-large、3bitくらいまで量子化しないと動かんけどとりあえず試してみたがエロも普通に通るし日本語も自然だな
6t/sくらいしか出ないからまだあんまり試せてないけどもうちょっといろいろ触ってみる koboldがMistral-Nemo-Instructに対応したな 試したらMistral-Nemo-Instructが「こんちにちです。」って挨拶してきてズッコケたわ
temperatureが高すぎるだけやった APIは規制強化の波が来てるしやっぱローカルの進化にかけるしかないな そうはいっても300万円のカードが200万円になっても買えぬ
革ジャン潰して欲しい >>647
こういうのはRAGの領分なのでそもそもモデルの基礎知識に頼るべきじゃない >>658
ありがとうございます
enaで対応していただいたら使用させていただきます ほへー構成メインか……どのレベルなんやろ
自分は起承転結やら個々のエピソードまでは構成するけど
・険悪だった二人が◯◯というきっかけで仲良くなるシーンを1000文字で
みたいなフォーマットで書いてくれるなら
かなり創作の手助けになるんやが
エロでいうと
・フェラだけで1000文字で
といっても三行で終わらせて本番始めるモデルばかりで辛い 一人芝居ストップかけても尻の表面に出ないだけで裏ではやり取りがっつりあるのヘコむわ どもる文章がおかしくなることがよくあるな
「い、今やろうとしたところだ！」が正しい形なのに
「こ、今やろうとしたところだ！」となって漢字の読みを考慮しないことがある
Q5とか使ってるからなのか
>>862
裏でのやり取りごと消去って出来ないのかな？ >>660
ファイル名書き換えたら読み込んでくれるで。
例えば、kagemusya-7b-v1.5-q8_0の部分をkagemusya-7b-v1Q8_0に書き換える。
わいは使わんやつの名前に書き換えて、色々試してるで。 Mistral-Nemo-Instruct-2407.Q5_K_M.ggufでエッチなことさせて遊んでるけど
単なるロールプレイ会話よりもハメ撮り動画の実況解説みたいなことをさせた方が本領発揮するな >>663
opusとかでもそうなるよ
AIは文章を音として読んでるわけじゃないから、読みなんて再現できなくて当たり前
用例を全て丸暗記するしかない >>666
アルファベットなら頭文字の連続だけでどもりを表現できるけど
読みがたくさんある漢字だと色んなパターンを丸暗記するしかないのか
間違えることなくどもらせるのはかなり難しそうだな >>663
lmstadioに尻と同じプロンプト入れたらひとまず出なくなった >>664
リネームでやってみます
助言ありがとうございます
用途に依るんだと思いますが
色々試したもので良かったモデルはありましたか 規制かければかけるほど阿呆になるみたいだし
あんまり規制かけないでほしいな >>650
Mistral Large結構いい感じだよね
トークナイザが日本語に最適化されてなくて厳しいけど 応答の長さ（トークン数）を増やし過ぎても繰り返しが多くなるのか
何を弄ったらどう変わるのかいまいち把握しきれないな cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
ちょっと期待 設定といえばkoboldcppのGPUレイヤーだっけ？皆いくつにしてんの？
俺初期値の200のままなんだけど減らしたらええのか？ 全レイヤー乗りさえすればいくつでもいいんじゃないの >>670
新参なもんでまだ全然分かってない。すまぬ。
このスレに出てきてないものだと、Antler-7B-evolve、
EZO（common/humanitiesの2つ）があるから試してみて。
Antler-7B-evolveはKagemsyaみたいな用途で使えると思う。 3.5sonnetがマジでかしこいな
ちゃんと設定すればそこそこ複雑な設定のゲームも進行させられる
この技術がPCゲームに応用されたら凄いことになるんだろうけどなぁ Mistral Large 2
脱獄なしで設定書くだけでもNSFW出力してくれて大変良い
ロリNGとかも特になさそう
若干繰り返し癖はある
https://i.imgur.com/09DNkK1.png >>681
量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる
意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが) >>680
いいねー
こういうオープンソースが増えるのは明るい未来に繋がる サイバーエージェント期待してる。量子化してください >>682
ほー、123Bが55GBで済むのか
この休日に試してみようかな >>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね 上にあるサイバーエージェントのやつも試してみた
Finetuningでバカになってる感じもあまりないし、いいかもしれない
https://i.imgur.com/DASmyky.png >>686
流石だぜモモンガニキ、そこにシビれる!あこがれるゥ! >>682
IQ3_M試してみたけど違和感ないね
ただ、Command R+より遅いなあ
いずれにしても選択肢が増えたのはいいことだわ >>690
別に難しかったことなんて一度もないんじゃないの Mistral-Large-Instruct-2407-Q6_K がM3Max 128GBで動いた
ちょっと試した感じだとCommand R+より賢そうだけどめちゃくちゃ遅い
Command R+で行けたNSFWプロンプトは申し訳されてしまったので
ある程度の規制はされてるっぽい Mistral Large 2が遅いのはパラメータ数がでかいからというより、日本語が1トークン/文字になってることの方が影響大きい気がする
R+はtpsは決して早くはないけど、トークナイザが最強だからモデルサイズに比して体感かなりストレス少ない >>693
お大尽やの、うらやましい……
M2 24GBなワイは快適に使うには9B位(LLMやなくてSLMやな)が限界でGemma2とかNinja3で妥協しとる >>695
システムが占有するunified memory 10GBくらいを差し引いても、量子化したモデルならもうちょい大きめのでも動きそうじゃね？
Mistral NeMoとかいけると思うんだけど >>694
なるほど勉強になる
R+は日本語対応頑張ってくれてるんだなぁ >>689
mmnga/rinna-llama-3-youko-70b-instruct-gguf
こっちもやってくれたぞ
rinna系では一番の出来じゃないかと思う
しかもエロいｗ mini-magnum-12b 文章が短いのが嫌な人はおすすめ設定はMistralと同じだから調べれば出てくるエロもいける 大葉で
mmnga/rinna-llama-3-youko-70b-instruct-ggufはllamacppでロードできるけど
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはエラーになっちゃうなんでだろう >>700
どのファイル使ったかわからんけど、catコマンドで結合した？ >>702
いや、そうじゃなくて
モデルサイズが大きいとmmnga氏の場合、*.gguf.aと*.gguf.bっていう二つに分割されてることがある
その時は、シェルコマンドのcatを使って結合しないとllama.cppで読めないと思う 3.5sonnetだと独り芝居の問題は全く起きなくて快適にロールプレイ出来る
ローカルでこのレベルまで来てくれたら世界が変わるんだけどな Llama-3.1-70B-Japanese-Instruct-2407-IQ1_M.ggufって一つのファイルでもllamacppでエラーになってしまいます。なんでだろう >>705
調べてみたら、llama-3.1とllama.cppのバージョンに関するissueがoobaboogaに上がってた
https://github.com/oobabooga/text-generation-webui/issues/6270
ただ、うちの環境だと今のバージョンのllama-cpp-pythonでもllama-3.1読めてるからちょっと謎 3060 12gbだとninja v1が良さげかなあ
速度も速いしそこそこちゃんと対話してる
それともq4とq3で結構かわってくるかな >>678
何度も質問してすいません
Antler-7B-evolveなどのモデルにおいて
以下のように分かれている場合は
どのようにすればEasyNAで使用できるんでしょうか
（model-00001-of-00002.safetensorsと
model-00002-of-00002.safetensorsの2つ）
例えば結合したりバッチファイルの書き替え方などがあるんでしょうか 間違ってるかもしれんけど、それ量子化されてない気がするからどのみちやめた方がいいと思う
duyntnet/Antler-7B-evolve-imatrix-GGUF あたりにしたら？
huggingfaceの検索欄にAntler-7B-evolveって打ち込んだら出るはず WEBのAPIはマジで規制厳し過ぎなんだよな
エロはまだしも少しでも政治的要素が入ると駄目だから核戦争後の世界を扱うお約束のサバイバル小説ですら検閲されまくる
NATOやアメリカ、中国、ロシアの単語を直接出すのは勿論、欧州の某国みたいにぼかしてもNG
Jアラートとかの単語も少しでも与党側へネガティブとみなされると全削除なんて核戦争の詳細は全部ぼかさないと駄目だった
とにかく政治に対する検閲が異常 >>709
助言ありがとうございます
SDと勘違いして.safetensors自体で
そのまま使用できると考えておりました
.ggufとの違いを理解していませんでした
申し訳ありませんでした HODACHI/Llama-3.1-70B-EZO-1.1-it
leafspark/Mistral-Large-218B-Instruct
どんどんでてくるな llama.cppでロードできました。n-gpu-layersとn_ctxの値が重要なようです。
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufいいね、うちの環境で何がベストか実験中 mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf
かなり繰り返し癖ない？俺が悪いのかな Llama-3.1-70B-EZO-1.1-itめちゃくちゃ良い感触だ
自宅チャットボットで試してる限りでは返答内容にGPT-4並みの知性を感じる 70Bを動かせるほどのスペックじゃないからみんながうらやましいよ Mistral Large 2をNSFWチューンしたやつ今試してるけど、これ結構凄いかも
遅さに目を瞑れば最適解な気がしている いがいだったけどllama-3-elyza-jp-8bで申し訳されなかったかな。
最近、エロOKな流れになってるのかな。日本語が自然で好きなんですよね ■ このスレッドは過去ログ倉庫に格納されています
