なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ IoTやスマホ用に小さいモデルを作ってるだけだぞ うんうん、使い道は人それぞれやね Qwen3 30Bすごいな Qwen 3 235Bもあるやん Qwen3もう公開されたんか？ x見てると一瞬公式で公開された後消されたっぽいな 公式に公開された やっぱりMoE版の性能気になるよな 流石にDenseの32Bには及ばんよ 30b3Aでgpt4o 30B3Aはマジで良いな 235BはDeepSeek R1完璧に超えてるやん 日本語表現うまいなら普通に常用できるし使いたいぐらいのスコアだな MoE使ったこと無いけど使う部分だけグラボに乗せるタイプで合ってるよな >>716 https://i.imgur.com/6X78ggf.png 100t/sはやばいな こうなるとabliteratedとかの緩いモデルが欲しいな >>712 アプリのほうから色々試してみたけど235BはDeepSeekR1より日本語上手いね >>716 Deepseek R1からまだ3か月半しかたってないって考えると恐ろしいなぁ KTransformers見てみたけどインストールめんどくせええやる気おきんわ ２３５Bの日本語会話能力デモで試したが、かなりいいな。 30BのggufはQ6Q8以外バグってるらしい gemma3に比べるとqwen3は日本語がおかしい thinkモデルは英語や中国語で考える関係上クリエイティブタスクだと駄目駄目という印象だな かと言って調べ物やコーディングとかの真面目用途で役に立ちそうなレベルなんかな？ 最近silly tavernの版権キャラカードを作るのにgensparkのスーパーエージェントにキャラ情報の収集から作成まで任せっきりなんだけどクレジットがマッハで尽きるのよね 4B,8B,14B,32B,30B-A3Bのq8試したけど、日本語性能低め 英語中国語圏で評判良くて日本語だと微妙といういつもqwenやな 日本語で追加学習して化ける可能性があるからその辺待ちかなって感じ Qwen3-30B-A3B-Q4_K_M.gguf、ワイ環境やとそもそも日本語で生成してくれないことが多い >>739 MOEをCPUとRAMで動かすのってわりと実用的なのん？ >>733 Qwen3-30B-A3B-Q6_K.ggufが4090でなんとか動作 皆なんでMOEモデルにそんなにこだわるの？ >>744 MOEはロールプレイに使うだけなら恩恵ない気はするな 本当にRP特化のMOEなら例えば方言スペシャリストとかも内包してあらゆるキャラクター性を演じることが可能になったりするのかな 性格と口調を組み合わせできたら破綻はしづらいモデルができそうだけどどうだろう >>740 >>745 Qwen3文章書かせるならthinkモードオフにしたほうが良いな >>753 Ryzen 7950XでQwen3-30B-A3B Q6_Kが15token/sの速度出せる そういやLLM部ってwikiないんやな 7950Xにメモリ32GBの環境でここまでのAIを動かせるようになってきたか 父さん製は日本製弱いというか中国語メインだと日本語への変換が弱くなるんやろな 30B-A3B，思考が英語なのさえ気にしなければ出力の日本語も安定している気がする。思考言語は変更できないんだよね？ >>760 >>760 やっぱり文章書かせるときは繰り返しペナルティをちょっと上げたほうが良さそうだな 連休明けにいよいよ5090が届くんやがLLMとTTSは50XXシリーズでも特に問題は出てないの？ Blackwell対応はCUDA12.8で動くかどうかやな >>763 >>769 日本語追加学習版欲しいなぁ思ってたけどたしかにrinnaさんbakeneko出してくれそうやな、めっちゃたのしみや >>770 EasyNovelAssistantしか触ったことないんだけど、Qwen使えるんかな？ 試してないけど中身KoboldCPPだから動くんじゃない？ あとソース見たらreasoningのthinkタグの扱いとか何もなかったから出力が思考垂れ流しになりそう >>694 base（事前学習）モデルを色々と試してみたんだけど koboldcppをずっと使ってて今更ながら最初の画面の設定項目の意味知らんのばっかりやなと思いAI先生に色々教えてもらったわ >>777 触り始めの人向けにせっかくやからkoboldcppの設定でこれはと思った部分を共有するで >>777 mistral largeの後継はまだかー mistralって一生アジア言語ハブってる印象だったけど最近のはちゃんと多言語対応してんだっけ >>781 欧州人だからなアジアなんかどうでもいいと思ってるんだろ nemoからしか知らないけど日本語ちゃんと話せるぞ Mistralの日本語ってDeepSeekより微妙じゃないか Phi-4-mini-reasoningのコンテキストウィンドウが128kらしいと聞いて、長文読解させられるのかなとワクワクしながら試してみたんだけど Phiはベンチマーク番長とスレ評価が固まってるから試したこともないな mistral small 3.1は推奨tempが0.15の罠あるんだよな >>756 >>757 https://w.atwiki.jp/localmlhub 個人がやってるwikiだけど日本語ローカルLLM関連のメモってwikiがだいたいスレの内容と同じで更新続いてるからなあ >>765 前にLLMと組み合わせたデスクトップアクセサリ秘書つくりたいと言っとった者やけど ■ このスレッドは過去ログ倉庫に格納されています
