0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
初期はChatGPTがエロ厳しいからローカルでみたいなモチベーションあったけど
今は色んなサービス増えて規制ゆるくなってるし何なら無料枠でも結構遊べるからな
0501名無しさん＠ピンキー (ﾜｯﾁｮｲ 9fd0-mDdK)2025/09/28(日) 20:50:48.48ID:RcruL3Dv0
無知ですいません。おしえてください。EasyNovelAssistantを導入しライトノベルを書かせたいのですが、APIなどで料金が発生するのでしょうか？
>>501
ローカル=自分のPC内で全て完結するシステムなので料金は一切発生しないよ
ただしPCの性能が求められるので使ってるものによってはPCパーツ交換代がかかる 0503名無しさん＠ピンキー (ﾜｯﾁｮｲ 9fd0-mDdK)2025/09/29(月) 00:02:34.73ID:W6AEx9QY0
>>502
返答ありがとうございます。2060spなので不安ですが試してみます 中華がCUDA互換のVRAM112GBグラボ出すらしいがこれいくらになるんだ？
Qwen3-Next-80B-A3B-Instruct、これ総量160Gくらいあるやんけ
ワイの24Gなどアリンコやった
試せてるニキらはもう選ばれし者すぎなんよ
>>505
ツールのGGUF対応を待ってメインメモリへのオフロードを前提にすれば必要なメモリはだいぶ減るで
ワイのメモリ128GB&VRAM24GB環境でもいつかは動くと信じて口開けて待っとるで >>506
サンガツやで
ワイDDR4で上限いっぱい128G搭載済みなんやが総量が足らンゴ
ニキと同じく待つことにする…… ほとんどの人はツール側が対応してくれるの待ちやで。128GBもあればQ8_0でも動かせるやろ
ワイ64GB環境やと高望みしてQ6、実際問題Q4がええとこやろなぁ……
0509名無しさん＠ピンキー (JP 0H6f-L54C)2025/09/29(月) 21:22:12.02ID:Pe/CSr+TH
動画生成用に増設したDRAMがここでも役に立つとは嬉しいンゴ
0510名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b00-3WT3)2025/09/29(月) 23:28:05.71ID:OuKsRs/I0
推論中にタスクマネージャ見てるとCPUもGPUも使用率そこまで上がらないんですね
読み込むのに容量が必要なだけで推論自体はそこまでリソース使わないって認識で合ってますか？
LLMは計算量そのものよりもとにかく高速なメモリアクセスがいるって感じ
0512名無しさん＠ピンキー (ﾜｯﾁｮｲ 1fba-4W0+)2025/09/29(月) 23:46:12.11ID:7xZP8KOK0
やってる計算はすげー単純だからなLLM
0513名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b00-3WT3)2025/09/30(火) 01:14:40.06ID:z5KqAsk90
command-a-03-2025とqwen3-235b-a22b
近いサイズまで量子化してあるやつを読み込んで推論したら
command-aの方は0.8t/sぐらいなのに
qwen3は5.0t/s出るんですけど
なんでこんなに差があってqwen3の方は早いんですか？
LMstudioでやってます、ロード時のパラメータでcommand-aには無いもの（エキスパート数とか）がqwen3にはありますがこれが影響してるのでしょうか
ローカルLLMに最近手を出したにわかですがご教示お願いします🙏
gpuが上がりきらないのは無茶なモデルサイズとかでcpu-gpu間の転送やらメモリ速度やらのボトルネック
>>513
モデル名に答え書いてある
Qwenの方は"a22b"だから、計算量は22b LLMの系譜が多すぎ問題
上を辿ればアリババになるのが多いんやろか
Linuxの系譜みたいに進化図があればわかりすいんやけどなぁ
0519名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f54-4W0+)2025/10/01(水) 01:16:08.28ID:9fO3SCJ10
アリババってQwenだけだろ
DeepSeekもKimiもGLMも全く別の企業だよ
そうなんか、知らんかったわ
中国は人数もおるだけに賢い人間の絶対数が桁違いなんやろな
>>520
オープンソースAIでアメリカを殴りに行くのが中国の国家戦略だから
ぶっちゃけ現場は有無を言わさずオープンソースにさせられてると思う
俺らにはありがたい話だが 中国産の方が漢字対応マルチリンガル前提だから日本語にも強い印象
アメリカモデルを中国モデルが追い越したら一気に情勢は変わりそうではある
最も賢いモデルにユーザ需要が集中するall or nothingの狂ったLLM市場で性能が劣るモデルがなんとか爪痕を残すためにオープンウェイトにしてるだけだろうしな
途中送信すまん
簡体字が文章中に稀に混じるからそれだけで一気に日本語が下手に感じてまうというバイアスもあるんだろうけど中国モデルは合成データ使いまくったバリバリのベンチマーク最適化の影響か文章も硬くて文章表現力もClaude gpt geminiには勝てないって印象
工ロ用途でも全然だし
>>524
いずれMoEモデルの先に好きなエキスパートをモジュールとして入れ替えられる時代が来ると思う
日本語強化モジュールや翻訳専用モジュール、個人データ特化モジュールetc
今は汎用モデルの強化合戦が続いているが頭打ちになればカスタマイズの話が出てくるだろう GLM-4.6 3bitでもメモリー足りぬ
Sonnet 4.5よりベンチスコアいい(部分がある)とは
ggufじゃなくていいならほかに動くプラットフォームはもうあるのよ
ただ試しにコード書かせてみたり尻で相手してもらったりした感触は
Qwen3-Coder-30Bの蒸留版や信頼のAratako印のQwen3-30B-ERPあたりと大差ないかやや落ちるかもしんないという個人の感想だから
本番はちゃんと事後学習や蒸留したバリエーションが揃ってからかもねという現状のお気持ち
それ知らんかったからChatGPTにllama.cppとの違い聞いてみたらfastllmは相当尖った実装してるみたいでちょっと面白そうやな
0536名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b6e-3WT3)2025/10/02(木) 01:08:31.80ID:E0YZ95T60
GLM4.6 80GBぐらいのやつダウンロードしたんですけど
ロードに必要なリソースがTB超えてくるんですけどどういうこっちゃ……
Qwen3-235B-A22Bはモデルのサイズ+コンテキストぐらいのリソースで収まってたので行けると思ったんですが
ちなLMstudioでやってます
lm studioは裏で安定版lammacpp動いてるわけだが、GLM4.6ってもう対応したっけ？lm studioは枯れたモデル試すのはGUIで楽ちんだけど最新モデルの人柱にはあんま向いてないやで？GLM 4.6がlm studio対応してます！ってきっぱり言ってるならごめんやが
先にもちょいと書き込んだが、エロに弱いと言われるQwen3だけど、mistralPrismや天照様でエロ事後学習に定評のあるAratako先生のQwen3-30B-A3B-ERPかなり良い。
デフォルトだといつものQwenでこらあかんかと思ったら、繰り返しペナをデフォルトの1.1から1.15から1.17ぐらいにしてやるとかなり良い感じ。
調子に乗って1.2とかにしちゃうとお前bergちゃんかよという感じのキチガイエロ女になるから注意や。
事後学習ってやっぱり大事なんやなって
確かそのモデルは継続事前学習してなかったっけ？
そのくらいいじればQwenでもある程度は良くなるってことなんだろうな
数十万くらい作るのにかかってそうだけど…
ガチでやってるやつはファインチューンじゃなくて追加の事前学習しとるよね
本来なら追加学習というと「追加の事前学習」のことらしい
ファインチューンと何がちゃうのかようわからんが
ワイはむしろberghofちゃんの隠語マシマシドスケベ女とRPしたいんや
berghof ERPが純粋に賢くなったようなモデルが欲しい
LLMのエロプロンプトで培ったテクニックが動画生成でも役に立つようになるんだろうな
0545名無しさん＠ピンキー (ﾜｯﾁｮｲ ab83-WlvJ)2025/10/03(金) 12:34:52.66ID:DW4V3EwD0
グラボのメモリ12GBでエロいことできるモデルを教えて
>>542
超簡単に言うと
事前学習：赤ちゃんのbaseモデルにチャットのやり方ぐらいまで教え込むこと。めっさ膨大なコスト(データセット)と時間がかかる
継続学習/継続事前学習：事前学習ではまだわからんちんの子に事前学習と同じやり方でさらにしばく。事前学習ほどではないが相当のコスト
事後学習/ファインチューン：とりあえずチャットなりが出来るようになった子に専門知識（エロとかコード知識とか）を教え込む
事前学習系よりは圧倒的に低コスト
大体こんな感じや、多分Aratako先生がQwenちゃん見て「んー、この子にはもっと躾が必要ですねえ」と判断して特別調教をしてお出しされた牝豚モデルがQwen3-ERPちゃんなわけやな >>545
Magnum v4血統の12Bの奴でVRAMに収まる奴、もしくは遅くていいならMistral Prism、あるいはメインメモリの方には自信ありニキならQwen3-ERPでええんちゃうか？
大体Aratakoさんのモデルにはハズレ少ないから初心者はあの人のモデルから自分ちのリソースに収まるの探すのがお勧めやで 継続事前学習あたりになると個人の金でできる範囲超えちゃうし、金ある会社がエロ継続事前学習してモデル公開してくれるかというと絶対してくれないから結構絶望的だよな
Aratakoさん、エロ調教用のデータセットは公開してくださるわ、mistral large調教版の天照様は公開してるわで化け物よなぁ
0550名無しさん＠ピンキー (ﾜｯﾁｮｲ a761-GdyB)2025/10/04(土) 02:14:55.50ID:f0wSaW9L0