なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/ 全レイヤー乗りさえすればいくつでもいいんじゃないの >>670 3.5sonnetがマジでかしこいな Mistral Large 2 https://i.imgur.com/09DNkK1.png >>681 >>680 サイバーエージェント期待してる。量子化してください >>682 >>683 上にあるサイバーエージェントのやつも試してみた https://i.imgur.com/DASmyky.png >>686 >>682 >>690 Mistral-Large-Instruct-2407-Q6_K がM3Max 128GBで動いた Mistral Large 2が遅いのはパラメータ数がでかいからというより、日本語が1トークン/文字になってることの方が影響大きい気がする >>693 >>695 >>694 >>689 mini-magnum-12b 文章が短いのが嫌な人はおすすめ設定はMistralと同じだから調べれば出てくるエロもいける 大葉で >>700 >>702 3.5sonnetだと独り芝居の問題は全く起きなくて快適にロールプレイ出来る Llama-3.1-70B-Japanese-Instruct-2407-IQ1_M.ggufって一つのファイルでもllamacppでエラーになってしまいます。なんでだろう >>705 https://github.com/oobabooga/text-generation-webui/issues/6270 3060 12gbだとninja v1が良さげかなあ >>678 間違ってるかもしれんけど、それ量子化されてない気がするからどのみちやめた方がいいと思う WEBのAPIはマジで規制厳し過ぎなんだよな >>709 HODACHI/Llama-3.1-70B-EZO-1.1-it llama.cppでロードできました。n-gpu-layersとn_ctxの値が重要なようです。 mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufいいね、うちの環境で何がベストか実験中 mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf Llama-3.1-70B-EZO-1.1-itめちゃくちゃ良い感触だ 70Bを動かせるほどのスペックじゃないからみんながうらやましいよ Mistral Large 2をNSFWチューンしたやつ今試してるけど、これ結構凄いかも いがいだったけどllama-3-elyza-jp-8bで申し訳されなかったかな。 検閲に起因する性能低下が割と洒落になってない感じの事がわかってきたし Elyzaは初期の頃からやりたい放題できてた記憶がある ELYZAは東大で作ってるやつでしょお堅いんじゃないの elyzaって優等生って感じだからあんまり好みではない人もいるかも >>730 12Bは駄目だったや チャットアリーナのリーダーボード更新きたんだけど、英語に絞ると Llama 3.1 EZO、ベンチスコア高すぎて怪しいなこれ >>736 Llama-3-ELYZA-JP-8B-q4_k_mは脱字が酷いな ELYZAは俺俺ベンチの本家本元だからしゃーないし期待してない >>738 >>740 >>741 >>742 AIの出力終了後、 >>744 暫定対策としては とにかくLlama-3.1で次の段階に入ったんだろうな 3.5sonnetより上とはにわかに信じがたいな ベンチマークありき学習するのは結局奇形産まれるだけや ベンチマーク特化になってるかはベンチマークの領域外のテストすれば分かりやすい エロ性能で言えばllama3.1はゴミでしかないな Llama 3.1 EZO 70BをQ5K_Mで試した 続 405Bのggufあったとして1bitでも動かせない・・・ 繰り返しを無くす方法 sillyはデフォだと繰り返しﾍﾟﾅﾙﾃｨの値死んでるから、その辺り弄るとかなりマシになった。 >>0734 この値にしておけばオッケーみたいな値はなくて変動すんのかな その人の自作UIでgithubにあげてくれててこのスレの73にリンクがあるよ >>764 英語のモデル、リーダーボードに載ってる奴とかこのスレに上がってる奴いろいろ試したけど、結局Wizard-lm-2が複雑なプロンプトに対する理解では頭一つ抜けてる気がする。 >>769 >>770 kobold最新版でsseの問題解消されたっぽいな 頭の良さと創造力が反比例してるのが画像生成AIと同じ傾向だな AI初心者なんですがトラブってるので教えてください >>770 >>775 https://qiita.com/y-matsunaga/items/2c7efdae8777f15059e0 ■ このスレッドは過去ログ倉庫に格納されています
