なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured Qwenのthinkingモデルはローカルでこれ使っていいのかって性能で驚くけど長考癖が不満やなあ 日本語エロ性能の更新が無くてすっかり真面目スレになってしまっているのが悲しい😭 https://github.com/MoonshotAI/K2-Vendor-Verfier
kimi K2がホスティングサービス毎のツール呼び出し成功率測ってたけどfp8とfp4で30%以上成功率下がるらしい
もしかして世間で言われてる以上に4bit量子化による性能低下って大きいのか? 4bitは結構性能下がるよ
あとtool coolingはコーディングみたいに1文字間違ったら動かない事が多いから量子化には元々厳しいと思うし
だからはじめから4bitしか公開されてないgptossがあの性能出てるのがすごい >>450
とりあえずclaudeのmaxプランに加入するとええで
レートリミット限界まで使わんと損した気になるから開発も学習も捗る
mcpがチャット版でも使えるのも大きい
特に今見てるブラウザのタブを読めるようにするmcpを使うと「今見てるこれって〜」みたいな質問ができるからドキュメント漁りがメッチャ楽
まぁ何より頭がええんやけどな
よく言われるコンテキスト圧縮問題もserena使えばそんなに問題にならん >>493
新参者の面白AI出てきてないからしゃあない 初期はChatGPTがエロ厳しいからローカルでみたいなモチベーションあったけど
今は色んなサービス増えて規制ゆるくなってるし何なら無料枠でも結構遊べるからな 無知ですいません。おしえてください。EasyNovelAssistantを導入しライトノベルを書かせたいのですが、APIなどで料金が発生するのでしょうか？ >>501
ローカル=自分のPC内で全て完結するシステムなので料金は一切発生しないよ
ただしPCの性能が求められるので使ってるものによってはPCパーツ交換代がかかる >>502
返答ありがとうございます。2060spなので不安ですが試してみます 中華がCUDA互換のVRAM112GBグラボ出すらしいがこれいくらになるんだ？ Qwen3-Next-80B-A3B-Instruct、これ総量160Gくらいあるやんけ
ワイの24Gなどアリンコやった
試せてるニキらはもう選ばれし者すぎなんよ >>505
ツールのGGUF対応を待ってメインメモリへのオフロードを前提にすれば必要なメモリはだいぶ減るで
ワイのメモリ128GB&VRAM24GB環境でもいつかは動くと信じて口開けて待っとるで >>506
サンガツやで
ワイDDR4で上限いっぱい128G搭載済みなんやが総量が足らンゴ
ニキと同じく待つことにする…… ほとんどの人はツール側が対応してくれるの待ちやで。128GBもあればQ8_0でも動かせるやろ
ワイ64GB環境やと高望みしてQ6、実際問題Q4がええとこやろなぁ…… 動画生成用に増設したDRAMがここでも役に立つとは嬉しいンゴ 推論中にタスクマネージャ見てるとCPUもGPUも使用率そこまで上がらないんですね
読み込むのに容量が必要なだけで推論自体はそこまでリソース使わないって認識で合ってますか？ LLMは計算量そのものよりもとにかく高速なメモリアクセスがいるって感じ command-a-03-2025とqwen3-235b-a22b
近いサイズまで量子化してあるやつを読み込んで推論したら
command-aの方は0.8t/sぐらいなのに
qwen3は5.0t/s出るんですけど
なんでこんなに差があってqwen3の方は早いんですか？
LMstudioでやってます、ロード時のパラメータでcommand-aには無いもの（エキスパート数とか）がqwen3にはありますがこれが影響してるのでしょうか
ローカルLLMに最近手を出したにわかですがご教示お願いします🙏 gpuが上がりきらないのは無茶なモデルサイズとかでcpu-gpu間の転送やらメモリ速度やらのボトルネック >>513
モデル名に答え書いてある
Qwenの方は"a22b"だから、計算量は22b LLMの系譜が多すぎ問題
上を辿ればアリババになるのが多いんやろか
Linuxの系譜みたいに進化図があればわかりすいんやけどなぁ アリババってQwenだけだろ
DeepSeekもKimiもGLMも全く別の企業だよ そうなんか、知らんかったわ
中国は人数もおるだけに賢い人間の絶対数が桁違いなんやろな >>520
オープンソースAIでアメリカを殴りに行くのが中国の国家戦略だから
ぶっちゃけ現場は有無を言わさずオープンソースにさせられてると思う
俺らにはありがたい話だが 中国産の方が漢字対応マルチリンガル前提だから日本語にも強い印象 アメリカモデルを中国モデルが追い越したら一気に情勢は変わりそうではある
最も賢いモデルにユーザ需要が集中するall or nothingの狂ったLLM市場で性能が劣るモデルがなんとか爪痕を残すためにオープンウェイトにしてるだけだろうしな 途中送信すまん
簡体字が文章中に稀に混じるからそれだけで一気に日本語が下手に感じてまうというバイアスもあるんだろうけど中国モデルは合成データ使いまくったバリバリのベンチマーク最適化の影響か文章も硬くて文章表現力もClaude gpt geminiには勝てないって印象
工ロ用途でも全然だし >>524
いずれMoEモデルの先に好きなエキスパートをモジュールとして入れ替えられる時代が来ると思う
日本語強化モジュールや翻訳専用モジュール、個人データ特化モジュールetc
今は汎用モデルの強化合戦が続いているが頭打ちになればカスタマイズの話が出てくるだろう GLM-4.6 3bitでもメモリー足りぬ
Sonnet 4.5よりベンチスコアいい(部分がある)とは llama.cppでのqwen3 next対応はいつ終わるのか推定するのが難しいぐらいくらいにはまだ作業あるのかも
https://github.com/ggml-org/llama.cpp/pull/16095
まぁ最初2、3か月かかる言うてたくらいやからな
気長に待つしかないでな ggufじゃなくていいならほかに動くプラットフォームはもうあるのよ https://huggingface.co/fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M
fastllmというどマイナーなバックエンド用だけどこいつで動くやで。
デフォ設定だとエキスパートしかVRAMに置かない思い切った設計のバックエンドだけど、おかげでなんだったらVRAM8GBでもなんとか動く。
うちのVRAM12GB+RAM128GB環境で20tok/s出て、セカンドのGPU1は完全に寝てる。
CUDA13だとcuda認識出来ずにCPUモードで動こうとするから13の人は12.9に落とす必要あるからそこだけ注意かな ただ試しにコード書かせてみたり尻で相手してもらったりした感触は
Qwen3-Coder-30Bの蒸留版や信頼のAratako印のQwen3-30B-ERPあたりと大差ないかやや落ちるかもしんないという個人の感想だから
本番はちゃんと事後学習や蒸留したバリエーションが揃ってからかもねという現状のお気持ち それ知らんかったからChatGPTにllama.cppとの違い聞いてみたらfastllmは相当尖った実装してるみたいでちょっと面白そうやな GLM4.6 80GBぐらいのやつダウンロードしたんですけど
ロードに必要なリソースがTB超えてくるんですけどどういうこっちゃ……
Qwen3-235B-A22Bはモデルのサイズ+コンテキストぐらいのリソースで収まってたので行けると思ったんですが
ちなLMstudioでやってます lm studioは裏で安定版lammacpp動いてるわけだが、GLM4.6ってもう対応したっけ？lm studioは枯れたモデル試すのはGUIで楽ちんだけど最新モデルの人柱にはあんま向いてないやで？GLM 4.6がlm studio対応してます！ってきっぱり言ってるならごめんやが 先にもちょいと書き込んだが、エロに弱いと言われるQwen3だけど、mistralPrismや天照様でエロ事後学習に定評のあるAratako先生のQwen3-30B-A3B-ERPかなり良い。
デフォルトだといつものQwenでこらあかんかと思ったら、繰り返しペナをデフォルトの1.1から1.15から1.17ぐらいにしてやるとかなり良い感じ。
調子に乗って1.2とかにしちゃうとお前bergちゃんかよという感じのキチガイエロ女になるから注意や。
事後学習ってやっぱり大事なんやなって 確かそのモデルは継続事前学習してなかったっけ？
そのくらいいじればQwenでもある程度は良くなるってことなんだろうな
数十万くらい作るのにかかってそうだけど… ガチでやってるやつはファインチューンじゃなくて追加の事前学習しとるよね
本来なら追加学習というと「追加の事前学習」のことらしい
ファインチューンと何がちゃうのかようわからんが ワイはむしろberghofちゃんの隠語マシマシドスケベ女とRPしたいんや
berghof ERPが純粋に賢くなったようなモデルが欲しい LLMのエロプロンプトで培ったテクニックが動画生成でも役に立つようになるんだろうな グラボのメモリ12GBでエロいことできるモデルを教えて >>542
超簡単に言うと
事前学習：赤ちゃんのbaseモデルにチャットのやり方ぐらいまで教え込むこと。めっさ膨大なコスト(データセット)と時間がかかる
継続学習/継続事前学習：事前学習ではまだわからんちんの子に事前学習と同じやり方でさらにしばく。事前学習ほどではないが相当のコスト
事後学習/ファインチューン：とりあえずチャットなりが出来るようになった子に専門知識（エロとかコード知識とか）を教え込む
事前学習系よりは圧倒的に低コスト
大体こんな感じや、多分Aratako先生がQwenちゃん見て「んー、この子にはもっと躾が必要ですねえ」と判断して特別調教をしてお出しされた牝豚モデルがQwen3-ERPちゃんなわけやな >>545
Magnum v4血統の12Bの奴でVRAMに収まる奴、もしくは遅くていいならMistral Prism、あるいはメインメモリの方には自信ありニキならQwen3-ERPでええんちゃうか？
大体Aratakoさんのモデルにはハズレ少ないから初心者はあの人のモデルから自分ちのリソースに収まるの探すのがお勧めやで 継続事前学習あたりになると個人の金でできる範囲超えちゃうし、金ある会社がエロ継続事前学習してモデル公開してくれるかというと絶対してくれないから結構絶望的だよな Aratakoさん、エロ調教用のデータセットは公開してくださるわ、mistral large調教版の天照様は公開してるわで化け物よなぁ 今日は８年前に始めて彼女ができた日だ
お互い童貞と処女だったが
結局ヤレずに破局
いまごろどこで何をしてるのかな……
https://youtu.be//6XB6vALjDmg 