なんJLLM部 避難所 ★9
大手IT企業とか大学の研究機関ですらLLMの学習コストが高すぎるって言ってるからこれから量子化とかtransformersに代わる計算コストの低いアーキテクチャの研究が進むかもな
そもそも人間は絵描いたりするより文章書く方が簡単なはずなのにAIは画像生成の方が必要リソースが少なくて言語モデルは倍近くのリソースが必要なのはなんでや >>424
人間が絵より文章を書く方が得意なのは、文章が生きる上での必須技能でより多くの時間を費やすからだろ
人生で絵と文章どっちに多くの時間をかけてるのか考えてみるんだ >>426
簡単/難しいと得意/不得意は別の論な気もするのだが
ワイは、絵は全てのピクセルに明確な意図を込める必要はなく、なんなら単なるノイズですら魅力的な絵の一部と見なされうるけど、文章において文字はそれが許容されるケースが極めて限定的ってあたりがよりリソースが必要になる原因の一つやないか、と思うんやで >>421
普通に追加学習でファインチューンできると思うんだけど、上手くいかない感じ？
まぁVRAMが量子化前のモデルサイズ×4倍くらいは要るのが環境面では大変よね 視覚は莫大な情報の中から必要な物だけを抜き出す作業をしている
見たい部分が正しければ他は間違っていても気にならない
文章は伝えたい情報を全て文章化して相手に渡しており原則として相手は全てに目を通す
最初から最後まで確認するから間違いがあれば気づきやすい >>429
もちろんそういう問題もあるけど知識や技術の差も大きいで
アホな小学生は文章の良し悪しや文法の間違いに気付くことが出来ない
絵も同じで画力が無い奴は絵のおかしな部分に気付くことが出来ないし、単に下手なのかわざと崩しているのかの区別もつかない
画力があると絵を見た瞬間に多くの情報を正しく拾っておかしな部分に気付いてしまう
んで人類のほとんどはアホな小学生の文章力と同レベルの稚拙な画力しか持っていないから間違いが気になるはずもない
英語苦手な奴が英文読んだときにその良し悪しに気付かないのも同じことやで OpenRouterにGrok 4 Fastが来た。
しかもフリー。なんだこれ最高かよ。 CPU推論ってシングルスレッドが有効？
スリッパだとシングルが弱い上にメモリアクセスにワンクッション挟むからRyzen 8000シリーズより遅くなる印象
ThreadripperならGPU複数枚構成かなぁ epycで良くないか?
SP5ソケットなら最大12ch動作やから500GB/sくらい出たはず
それにデュアルcpuにすれば理論帯域幅も倍になるから1000GB/s超えも狙える(ソフト側の問題で実際の速度向上は30%程度らしい)
まあCCDの数で実際の帯域幅は律速されるから12chフルで使えるCPUにすると数百万コースやけど 調べたら9B45とか128core DDR5 12channel で50万くらいなので組み方次第で100万以下も狙えそう
MoEならGPUも載せて一部オフロードすればさらに高速化狙えるし pcie4.0でいいやと思ってsp3マザーとzen2epyc狙い magistral 1.2推論ってやつ使ってないけど普通に楽しいや epycはxeonのAMXより速いってベンチマーク出してきてるけどほんまなんかな
llmのcpu推論は第三者のベンチマークがほとんどないんよなぁ Threadripper Proやepyc買うなら24コア以上推奨
16コア以下だとCCD数の関係で、例えば8chのメモリ帯域をフルに活かせない
chが増えるほど必要なCCD数がいるはず jukofyork/command-a-03-2025-uncut
command-aの規制解除版（lora統合かな？）
規制強かった３月版が、エロエロになったわｗ qwen3 omniは純粋に面白そう
日本語での音声入出力が可能らしい まもなく10月だが、Windows11とかCPUとかどうでもいい
TPMなんか無くても何ら問題ない Qwen明日またモデル出るっぽいな
ミニサイズで性能良かったら嬉しいが、 Qwenのリリース速度はすごいな
さすがアリババ
クラウドサービス持ってるところは強い >>424
人類が意味と価値を見出せるパターンが文章より圧倒的に少ない
ローカルで動いてる画像生成なんて裸の女の子ドーン！みたいな似たような絵しか出ないやろ
それに自然言語で色々出せるモデルはそろそろローカルじゃキツくなってきてるころや エロ小説をLMstudio君に生成させてみたいんだけどどのモデルがいいのかね？
さすがにgptモデルじゃ無理でした… >>448
おほーサンクス
家に帰ってみたら早速実装してみます オナテク板で真面目なLLM性能も議論してるから教えて欲しいんやが
コード添付して色々教えてもらうのってどのモデルがええんや？
GPTやと1つのphpコードであれこれ入門的な説明してもらってるときに
「添付があるからこれ以上続行すらさせへんで」になるからLLMでやりたいんや codingとか名前付いてるやつかgpt-ossでいいんじゃない
でもクラウドモデルのが圧倒的にいいからgpt以外も試してみるべきかな コーディングだとclaudeが強いって前に評判だったけど最新の情勢は違うのかもしれん
ローカルだとそもそもコンテキストサイズ的に満足行く回答が得られるか怪しいと思うで claude安定なのはそうだけど添付で怒られるってので勝手に無料想定して外してたわ >>451-453
サンガツ
添付が無かったらワイのつたない質問でも永遠に相手してくれるんやが
100行のPHPコードだけでもすぐに「このスレッドには添付があるからこれ以上は質問すらさせへんで」になるのが無料やから仕方ないんよな コーディングはエロ小説と違って間違いが一つでもあると動かないからローカルLLMではまだ厳しい
Qwen3-Coder-480B-A35B-Instructでも微妙だった どうしてもローカルがいいならgpt-oss 20B/120Bかqwen3 coder試してみて、ダメだったらcodexとかclaude codeにいくしかないと思うで
強めのグラボ積んでるならLM StudioでGPU offloadを最大にしてflash attensionを有効にすればワイの環境ならgpt-oss 120Bで140tok/sec出てるで
長めの文章読み込めるようにcontext lengthをそのモデルの最大(gpt-ossなら13万)にするか、遅くならない程度の値にしておくんやで コードを扱うならどこのAIでも良いので大人しく課金した方が良い
仕事でバリバリ使ってない限り20$の一番安いプランで、
チャットでもCLIでもまず制限には当たらない ↑gpt-oss 20Bで140tok/sec出てるで の間違いや
120Bで140tok/sec出るモンスターPCほしいわ ai studioでいいのでは？
あそこ制限ないぞ >>456-458
それでご飯食べてるわけではなくて初学者で
まれにファイル添付して全体的な質問をする時があるくらいやからその時はローカルでと思ったんやが
codeがついているモデルで添付OKなモデルでやってみるやで 試行錯誤の時間のほうがコスト高い
ノールックでChatGPT契約して なんも考えずにChatGPT契約して使い倒してから続けるか止めるか考えればいい
ローカルLLMは日本語でやりとりすることによる 性能ロスが大きすぎるから殆どの用途で使い物にならん
英語ネイティブですというなら違う可能性はあるけど ChatGPTの契約はもう必須と捉えてるからコストとして考えてないわ ワイも必須になりつつある
毎日の食事カロリー計算から運動のリマインダー、
あとマイコンボードでのデバイス制作とめちゃ助かってる
（肝心な部分はredditの海外ニキらのコメントだが）
でもローカルLLMはロマンはあるンゴね 日本語が下手なので使いこなすのも何気にエネルギー要るのはワイだけか カロリーは脳ミソでもかなり消費するはずだから
エネルギーが要るというのは間違ってはないと思う
お堅い文面でもLLMにぶち込むモノでも頭はけっこう使うし >>468
プロンプトの書き方も使いこなし方もAIに聞いてお勉強するんや 【朗報】さくらインターネットのAI、「さくらのAI Engine」の一般提供開始！！国策AIがついに動き出す！ [673057929]
http://greta.5ch.net/test/read.cgi/poverty/1758803926/
これ一から自前で作ってる国産？ ただのインフラ屋のさくらがそんなもん自前で出来るわけないやん さくら最近gpu鯖そこそこ用意してたし良し悪し問わなきゃモデル作るのも難しくはないから
オリジナルの可能性もなくはないな QwenとかのMoEモデルを誰か日本語ファインチューニングしてくれないかな
主力モデルが日本語を捨ててるからレスポンスに謎言語が混ざりすぎる >>478
数ヶ月前までRinnaがやってたけどな最近は更新されてないか >>479
rinnaはdenseモデルしかFT実績がないな
MoEのFTは海外ではチラホラ見かけるが技術的に壁があるのかも知らん クソ真面目な話をすると仕事で売上予測とかやりたい場合にLLMのモデルって使うの？ >>482
アフィカス記事を量産するためにLLMが使われている 予測はboosting木とかの古典的機械学習とかDLのクラス分類とかじゃろ
メディア通すとまとめてAIやが ROCm 6.4.4リリースでようやっとRyzen AI Max+ 395.がサポートされたみたいね
これからローカルLLMて進展が出てくるの期待だわ llama.cppでもうすぐQwen3 Nextがサポートされそう 朗報やね。っていうか対応させるまで数ヶ月かかりそうとか言ってたはずなのに、技術者さんたち凄すぎんか nextの時点でだいぶ性能いいから3.5楽しみなんだよなぁ
そういう意味でnext対応しといてくれると3.5出たときに対応スムーズに行きそうやね Qwenのthinkingモデルはローカルでこれ使っていいのかって性能で驚くけど長考癖が不満やなあ 日本語エロ性能の更新が無くてすっかり真面目スレになってしまっているのが悲しい😭 https://github.com/MoonshotAI/K2-Vendor-Verfier
kimi K2がホスティングサービス毎のツール呼び出し成功率測ってたけどfp8とfp4で30%以上成功率下がるらしい
もしかして世間で言われてる以上に4bit量子化による性能低下って大きいのか? 4bitは結構性能下がるよ
あとtool coolingはコーディングみたいに1文字間違ったら動かない事が多いから量子化には元々厳しいと思うし
だからはじめから4bitしか公開されてないgptossがあの性能出てるのがすごい >>450
とりあえずclaudeのmaxプランに加入するとええで
レートリミット限界まで使わんと損した気になるから開発も学習も捗る
mcpがチャット版でも使えるのも大きい
特に今見てるブラウザのタブを読めるようにするmcpを使うと「今見てるこれって〜」みたいな質問ができるからドキュメント漁りがメッチャ楽
まぁ何より頭がええんやけどな
よく言われるコンテキスト圧縮問題もserena使えばそんなに問題にならん >>493
新参者の面白AI出てきてないからしゃあない 初期はChatGPTがエロ厳しいからローカルでみたいなモチベーションあったけど
今は色んなサービス増えて規制ゆるくなってるし何なら無料枠でも結構遊べるからな 無知ですいません。おしえてください。EasyNovelAssistantを導入しライトノベルを書かせたいのですが、APIなどで料金が発生するのでしょうか？ >>501
ローカル=自分のPC内で全て完結するシステムなので料金は一切発生しないよ
ただしPCの性能が求められるので使ってるものによってはPCパーツ交換代がかかる >>502
返答ありがとうございます。2060spなので不安ですが試してみます 中華がCUDA互換のVRAM112GBグラボ出すらしいがこれいくらになるんだ？ Qwen3-Next-80B-A3B-Instruct、これ総量160Gくらいあるやんけ
ワイの24Gなどアリンコやった
試せてるニキらはもう選ばれし者すぎなんよ >>505
ツールのGGUF対応を待ってメインメモリへのオフロードを前提にすれば必要なメモリはだいぶ減るで
ワイのメモリ128GB&VRAM24GB環境でもいつかは動くと信じて口開けて待っとるで >>506
サンガツやで
ワイDDR4で上限いっぱい128G搭載済みなんやが総量が足らンゴ
ニキと同じく待つことにする…… ほとんどの人はツール側が対応してくれるの待ちやで。128GBもあればQ8_0でも動かせるやろ
ワイ64GB環境やと高望みしてQ6、実際問題Q4がええとこやろなぁ…… 動画生成用に増設したDRAMがここでも役に立つとは嬉しいンゴ 推論中にタスクマネージャ見てるとCPUもGPUも使用率そこまで上がらないんですね
読み込むのに容量が必要なだけで推論自体はそこまでリソース使わないって認識で合ってますか？ LLMは計算量そのものよりもとにかく高速なメモリアクセスがいるって感じ command-a-03-2025とqwen3-235b-a22b
近いサイズまで量子化してあるやつを読み込んで推論したら
command-aの方は0.8t/sぐらいなのに
qwen3は5.0t/s出るんですけど
なんでこんなに差があってqwen3の方は早いんですか？
LMstudioでやってます、ロード時のパラメータでcommand-aには無いもの（エキスパート数とか）がqwen3にはありますがこれが影響してるのでしょうか
ローカルLLMに最近手を出したにわかですがご教示お願いします🙏 gpuが上がりきらないのは無茶なモデルサイズとかでcpu-gpu間の転送やらメモリ速度やらのボトルネック >>513
モデル名に答え書いてある
Qwenの方は"a22b"だから、計算量は22b LLMの系譜が多すぎ問題
上を辿ればアリババになるのが多いんやろか
Linuxの系譜みたいに進化図があればわかりすいんやけどなぁ アリババってQwenだけだろ
DeepSeekもKimiもGLMも全く別の企業だよ そうなんか、知らんかったわ
中国は人数もおるだけに賢い人間の絶対数が桁違いなんやろな >>520
オープンソースAIでアメリカを殴りに行くのが中国の国家戦略だから
ぶっちゃけ現場は有無を言わさずオープンソースにさせられてると思う
俺らにはありがたい話だが 中国産の方が漢字対応マルチリンガル前提だから日本語にも強い印象 アメリカモデルを中国モデルが追い越したら一気に情勢は変わりそうではある
最も賢いモデルにユーザ需要が集中するall or nothingの狂ったLLM市場で性能が劣るモデルがなんとか爪痕を残すためにオープンウェイトにしてるだけだろうしな 途中送信すまん
簡体字が文章中に稀に混じるからそれだけで一気に日本語が下手に感じてまうというバイアスもあるんだろうけど中国モデルは合成データ使いまくったバリバリのベンチマーク最適化の影響か文章も硬くて文章表現力もClaude gpt geminiには勝てないって印象
工ロ用途でも全然だし >>524
いずれMoEモデルの先に好きなエキスパートをモジュールとして入れ替えられる時代が来ると思う
日本語強化モジュールや翻訳専用モジュール、個人データ特化モジュールetc
今は汎用モデルの強化合戦が続いているが頭打ちになればカスタマイズの話が出てくるだろう GLM-4.6 3bitでもメモリー足りぬ
Sonnet 4.5よりベンチスコアいい(部分がある)とは llama.cppでのqwen3 next対応はいつ終わるのか推定するのが難しいぐらいくらいにはまだ作業あるのかも
https://github.com/ggml-org/llama.cpp/pull/16095
まぁ最初2、3か月かかる言うてたくらいやからな
気長に待つしかないでな ggufじゃなくていいならほかに動くプラットフォームはもうあるのよ https://huggingface.co/fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M
fastllmというどマイナーなバックエンド用だけどこいつで動くやで。
デフォ設定だとエキスパートしかVRAMに置かない思い切った設計のバックエンドだけど、おかげでなんだったらVRAM8GBでもなんとか動く。
うちのVRAM12GB+RAM128GB環境で20tok/s出て、セカンドのGPU1は完全に寝てる。
CUDA13だとcuda認識出来ずにCPUモードで動こうとするから13の人は12.9に落とす必要あるからそこだけ注意かな ただ試しにコード書かせてみたり尻で相手してもらったりした感触は
Qwen3-Coder-30Bの蒸留版や信頼のAratako印のQwen3-30B-ERPあたりと大差ないかやや落ちるかもしんないという個人の感想だから
本番はちゃんと事後学習や蒸留したバリエーションが揃ってからかもねという現状のお気持ち それ知らんかったからChatGPTにllama.cppとの違い聞いてみたらfastllmは相当尖った実装してるみたいでちょっと面白そうやな GLM4.6 80GBぐらいのやつダウンロードしたんですけど
ロードに必要なリソースがTB超えてくるんですけどどういうこっちゃ……
Qwen3-235B-A22Bはモデルのサイズ+コンテキストぐらいのリソースで収まってたので行けると思ったんですが
ちなLMstudioでやってます lm studioは裏で安定版lammacpp動いてるわけだが、GLM4.6ってもう対応したっけ？lm studioは枯れたモデル試すのはGUIで楽ちんだけど最新モデルの人柱にはあんま向いてないやで？GLM 4.6がlm studio対応してます！ってきっぱり言ってるならごめんやが 先にもちょいと書き込んだが、エロに弱いと言われるQwen3だけど、mistralPrismや天照様でエロ事後学習に定評のあるAratako先生のQwen3-30B-A3B-ERPかなり良い。
デフォルトだといつものQwenでこらあかんかと思ったら、繰り返しペナをデフォルトの1.1から1.15から1.17ぐらいにしてやるとかなり良い感じ。
調子に乗って1.2とかにしちゃうとお前bergちゃんかよという感じのキチガイエロ女になるから注意や。
事後学習ってやっぱり大事なんやなって 確かそのモデルは継続事前学習してなかったっけ？
そのくらいいじればQwenでもある程度は良くなるってことなんだろうな
数十万くらい作るのにかかってそうだけど… ガチでやってるやつはファインチューンじゃなくて追加の事前学習しとるよね
本来なら追加学習というと「追加の事前学習」のことらしい
ファインチューンと何がちゃうのかようわからんが ワイはむしろberghofちゃんの隠語マシマシドスケベ女とRPしたいんや
berghof ERPが純粋に賢くなったようなモデルが欲しい LLMのエロプロンプトで培ったテクニックが動画生成でも役に立つようになるんだろうな グラボのメモリ12GBでエロいことできるモデルを教えて >>542
超簡単に言うと
事前学習：赤ちゃんのbaseモデルにチャットのやり方ぐらいまで教え込むこと。めっさ膨大なコスト(データセット)と時間がかかる
継続学習/継続事前学習：事前学習ではまだわからんちんの子に事前学習と同じやり方でさらにしばく。事前学習ほどではないが相当のコスト
事後学習/ファインチューン：とりあえずチャットなりが出来るようになった子に専門知識（エロとかコード知識とか）を教え込む
事前学習系よりは圧倒的に低コスト
大体こんな感じや、多分Aratako先生がQwenちゃん見て「んー、この子にはもっと躾が必要ですねえ」と判断して特別調教をしてお出しされた牝豚モデルがQwen3-ERPちゃんなわけやな >>545
Magnum v4血統の12Bの奴でVRAMに収まる奴、もしくは遅くていいならMistral Prism、あるいはメインメモリの方には自信ありニキならQwen3-ERPでええんちゃうか？
大体Aratakoさんのモデルにはハズレ少ないから初心者はあの人のモデルから自分ちのリソースに収まるの探すのがお勧めやで 継続事前学習あたりになると個人の金でできる範囲超えちゃうし、金ある会社がエロ継続事前学習してモデル公開してくれるかというと絶対してくれないから結構絶望的だよな Aratakoさん、エロ調教用のデータセットは公開してくださるわ、mistral large調教版の天照様は公開してるわで化け物よなぁ 今日は８年前に始めて彼女ができた日だ
お互い童貞と処女だったが
結局ヤレずに破局
いまごろどこで何をしてるのかな……
https://youtu.be//6XB6vALjDmg ロールプレイがやりたくてAratako/MistralPrism-24B-Q4_K_MをOpenwebUIで使おうとしたんやが
2,3回は普通に会話が出来るんやがその後なんも返答が生成されなくなってしまうんや
再生成をポチポチしてると基本無反応何やがたまに小説みたいに最後まで流れをがーっと書いて終わらせてしまう
なんやこれどうなっとるんや よくあるくり返しが気になるんやが
LM STUDIOでくり返しペナルティなるものはどこで設定するんやろか
グローバルな設定項目なのか、モデルを読み込んだ時の設定なのかわからんのよね >>551
キャラ設定とかのプロンプトをすごく簡潔にして非エロの短文会話をした場合もそうなる？
何かが上手く噛み合ってないのかもしれへんで >>552
モデル一覧の歯車からInference >>554
サンガツ、最新版なんやが右側サイドの設定で見つけたわ、チャット単位の設定項目なんやな
右サイドはシステムプロンプトしか意識していなかったんやがこんなところにあったんか
sampling -> repeat penaltyがあって1.1やったわ
1.2,1.3にしてもあまり変わらんような・・、temperature 低いと確かにちょっと物足りん子になってしまう
temperature 0.8やが、エロ目的なら温度やペナ設定どれくらいが適切なんやろか SillyTavernのweb検索機能今更入れたけど大手のキャラ再現率の高さこれのおかげなんか？口調とか一気にそれっぽくなった外れもあるけど困ったらGrokのエキスパートに聞いたらだいぶ改善してくれるよ >>553
1回ちょっと短くしたんやがそれでもちょい長いかもなぁと思ってはいたから後で思い切って1行で済むぐらい短くして試してみるわ BasedBase/GLM-4.5-Air-GLM-4.6-DistillのQ6_K試してみた
GLM-4.5-Airよりは良いけどやっぱりちょっとワードチョイスが変な感じ
サンプラー設定詰めたらいいかもだけどQwen3-235B-A22B-Instruct-2507の方が自分的には好みかな 235Bのnextが出てllama.cppも対応して日本語エロFTモデルも出るとええな 早速GLM4.6のAir触ってみたけど、
俺の用途だと幸いワードチョイス変だとは思わんかったな
合う奴には合うんじゃね
ただ、あれ本当に「4.6 Air」相当なんかね？
本家からは4.6のAir出てないっぽいし…
てか、GLM4.6のほうは4.5と別物だろこれ…
4.5の時点で、Geminiに迫ってきたか？って思ってたのに、4.6はそれを越えてきた感あるわ
1発目から違い分かるレベル
なんか作者の意思というか魂こもってる感じするわ
なんで、これが話題にならないのかと不思議だわ
ただ、欠点もあって、考えて考えまくるのか、Thinkingのトークン消費量がえげつないw GLM4.6はベンチマークによってはclaude sonnet4.5よりスコア高いからすごいよ うん、マジでGLM4.6すごいわ
本家からあのレベルでGLM4.6 Air出してきたら神だろ
他にGLM使ってる人おらんのかな 話題に出るまで気づいてなかったけどBasedBase/GLM-4.5-Air-GLM-4.6-Distillいいね
名前からするにGLM4.5-Airをベースに4.6の蒸留モデルを作ったんだろうけど日本語も良くなってる
個人的にAirがぎりぎりVRAM乗るサイズだからこれはありがたい エロとしての性能を評価してるのかどうかどっちなんだい！ もちろん、エロとしての性能よ
日本語ではGLMがトップクラスじゃね？ 熟練エロLLM使い手に聞きたいんやが
新モデルで「ぉほぉ〜すごい性能上がってる」とか何の差分で判断してるんやろか？
くり返しをしにくいとか表現的なバリエーションが多いとか起承転結がしっかりしたエロ文章になってるとか？ 文章の破綻の有無もあるけど少ないプロンプトでも"察してくれる"かどうかも一つのポイントかな
例えばSTのキャラクターでケモミミ尻尾を持つ設定のキャラが居るとして"賢い"モデルは会話例に記載しなくてもポン出しの地の文で
*緊張のあまり、尻尾をピンッと立たせ〜*
とかケモミミや尻尾の描写をちゃんと出してくれる
あんまり賢くないモデルだと会話例に記載しないとこういった描写してくれないんよ NovelAIも最近GLM採用したけど、とりあえず当面はこいつがトップって感じでええんか ChatGPTちゃんが、また露骨に厳しくなっちゃった
文章の出力量はあがったけど エロ業界もAIで絶滅するわ、確信した。
AVもエロ漫画も官能小説も絶滅する。 >>570
自分で詳細を考えることなく、個性的で魅力的な作品を誰しもが一瞬で作れるようになったら絶滅するな
モデルの癖みたいなものも無くなって、人物、話の流れ、構図等の多種多様なパターンをお手軽かつ魅力的に生成してくれるようになったらゲームエンドや >>563
imatrix版出ないかなぁ
要望は上がってるみたいだけど
遅くてもいいから64Gに乗ればいい まだ創作を絶滅に至らしめるような未来は見えてもいないと思うけどな
神は細部に宿ると言うように、人間の手というノイズが入っていないとどこかにこれじゃない感が出る
パターンを網羅するだけじゃ足りん 今の学習のさせ方だとネット上にある情報で止まってしまうから行っても大学院生レベルまで
ただ糞広い範囲の知識を持ってる大学院生って感じ
この時点で作業のアシスタントとしてはもう十分な能力だなという感じなんだけど
人間より優れた創作となると院生レベルは超えて業界トップレベルまで行かないと厳しいよね
我々が見てる漫画なんかは学生レベルは超えてプロとなって働いている人らの中でも
さらに雑誌に掲載されてるような上澄みの作品を見て面白い、つまらないって評価してくるくらいだから
それはもう何段かブレイクスルーしないとたどりつけなさそう GLM-4.5-Air-GLM-4.6-Distill試したいんだがまだOllamaだと動かんよね？お試しニキはlammacppかkoboldcppあたりでやっとる感じやろか？ GLM 4.5 Airに4.6を蒸留したと主張しているモデルはGLM 4.5 Airから重みも含めて一切変わっていない詐欺モデルという話が出てきてるね
だから4.5 air動かせば実質4.6 Distillや
それはともかく公式の4.6 airも2週間以内に公開されるって話もある BasedBase氏の蒸留モデル全部詐欺じゃね？ってRedditで騒がれてるね
それはそれと公式の4.6Air楽しみ なーんかbasebase氏のqwen3-coder-distillもなんも変わってなくね？とかredditで騒いでる奴いるけど、少なくともうちで実測してOllamaのtok/s明らかに違うし、全く同じとは思えんのだがなあ。まあちょいとこの騒ぎについては静観。 >>579
アーキテクチャもパラメータ数が同じなら実効速度も同じになるはずだから本物の蒸留モデルだとしても何かおかしいよそれ 単純な蒸留じゃなくて量子化段階の辞書化の最適化もやってるでってモデルカードにあった覚えがあるんで、それ自体はおかしくない。
GLM4.5の蒸留は現物見てないのでなんとも言えないが、なんか騒いでる奴ももひとつ信用でけへんなこれというのが今回の騒ぎなんよ あ、今redditのスレ見直したら全然ちゃうで？嘘松乙って総ツッコミ入ってるわ。
GLM4.5はわからんけど他も、は完全に言いがかりでいいみたい >>581
主要レイヤーの重みを比較した結果も出ててGLM 4.5 airと同一のモデルなのは確定や corderもベンチマークや出力応答含めベースモデルと完全に一致してて99%黒 気になるならhuggingfaceのdissccusion漁るとええ >>583
見てきたサンガツやで。合わせてredditの関連スレも読んで来た
まだ今んとこ真っ黒主張してるデータを明確に出してるソースが一箇所/一名だけで、何しろデータ自体出てきてから24時間経ってないので作者側もすぐに客観的なデータ出せずにぷち炎上って感じなんやな。
おそらく何日かすれば白黒はっきりする話やろし、なんJでまで炎上の飛び火されるのもなんで一旦ここまでにしとくわ。ポインタはサンガツな。 >>574
カラオケうまい素人みたいなもんだな
ただそのレベルでも結構難しいし自分で好きなことやらせられるのが大きな違いじゃある 前にロールプレイ上手く生成されないって書いた者やがプロンプトを人物設定程度にとどめたら上手く行くようになったで
ストーリーとかガチガチに作ってたのがダメだったんやなよく見かけるAIが想像する余地を残しとけってのがようやく理解できたわ >>586
ロールプレイは難易度高かった気がするわ
AIが想像できる余地残すというのはなんか分かる気がするで
試行錯誤しながら期待通りの出力を目指していくのも楽しいんよな おれsilly tavernでロールプレイばっかやってるけど似たような事？はあるな
あるキャラを出来るだけ忠実に再現したくて例えば出身地は京都、伝統工芸品が好き、地元愛が強いなんて情報をキャラカードに書くと関係ない話題の時もいきなり京都や着物のことなんかをぶっ込んで来るんだよね
何やこいつ突然！？ってなる
そのキャラの重要な特徴ではあるものの滅多に会話に出てこないような情報は思い切って切り捨てた方がいいと思う
設定を詰めこむとAIちゃんは不自然になろうと全部使いたくなるみたいだから… 尻あるあるやな。ファンタジー冒険ものやりたくてworld設定に書き込んだ「倒された魔王」が毎回のセッション毎に復活して「もうやめて！魔王のHPはもう」とテンプレ発言したくなる奴 情報を抜いていくとそれはそれで思わぬ展開に持ち込まれて面白かったりするのがええな
画像生成のガチャ途中に意図せぬ大当たりがあるように文章生成でも意図せぬドストライク展開があると色々調整したり試行錯誤しがいがでてくるわ 女子数人のグループ会話を流してて一切何の設定もしてないのにBL大好き属性が勝手に付与されて私が考えたカップリング見て！見て！って迫ってきた時はワロタ 尻タブで特定ワードに引っ張られる現象を避けたい場合はキャラカードにその設定を描くより
Lorebookにトリガー設定して書くといいよ
確かキャラごとにLorebookのグループ分けみたいなので来たはずだから
例えば「京都の伝統工芸品が好き」というエントリを作ったらその話題が出るとトリガされて返答時に言及してくれる
んでエントリにはスティッキー、クールダウン、ディレイを設定できるから上手く使おう
スティッキーはn回ターンの間ずっとエントリ（京都云々）が有効になる、n回は設定可能
クールダウンはターン数を設定するとエントリが有効になった後n回ターンエントリが無効になり、スティッキーと併用できる
ディレイは経過ターン数が設定したディレイのターン数になるまでエントリトリガされても有効にならない
例えばチャットをはじめて10ターン後にトリガできるようになるとかにすれば、10ターン以降そのワードが出たら呪いが発生しゲームオーバーとかできる
他にもワードがでたあとトリガされる確率設定とかできるから、30%でトリガされるようにすれば
ディレイで5ターンの間トリガされなくして、ある程度お互い知り合ったところで適当なワードで（京都云々）をトリガさせる、スティッキーで数ターン京都の話をさせるようにして、クールダウンか他の機能でスティッキー後トリガを無効化させる（100ターンとかにする）
同じエントリを作ってディレイ10ターン、クールダウン5ターン、トリガ確率30%にすれば上の動作後に30%ごとに京都の話ガチャができる
他にいい方法あるかもしれんけど参考までに 割と曖昧なトリガーでも機能してくれるんだ？
俺てっきり単語辞書みたいなもんだと思ってた
好物Aというワードをこっちから出したら機能するけど「何が好き？」と聞くと無視されるような感じなのかなって 直前のモデルの返答と今回のユーザーの入力のどちらかに設定したキーワードが含まれてれば設定した内容が送られるって感じだから単語辞書に近い
こちらの入力を工夫して上手いこと誘導する必要がある GLM、モデルはいいけど中国のZ.AIはプライバシーポリシーもまともな内容出てないし
OpenRouterなりで別のプロバイダーのGLM使うのがいいのかねぇ deepseekもだがその辺の中華大型llmはローカルで動かしてなんぼであり公式クラウドは使うもんじゃないと思ってる
まあ個人だとまだGLM4.5/4.6をローカルで動かすのは相当敷居高いというのは認める サードパーティの方も情報管理ガバガバだからその手の情報を扱うならローカルだわな
コスパだけならサードパーティ一択やけど VCからの資金調達目当てで絶対採算取れてないだろって例も見かけるし mradermacher/gpt-oss-120b-i1-GGUF
これって、なんで量子化レベルに関係なくサイズが同じなの？
通常ならiQ3_Mでメモリ64Gにのるんだけど。 >>600
多分>>583絡み。逃亡か作り直しかはしらね Samsung、LLMでも日本を軽く追い抜く。小さくて誇らしいニダ！
gigazine.net/news/20251010-tiny-recursion-model-trm/
しかしGrok4はすんごいんだなw maywell/GLM-4.5-Air-GLM-4.6-Distill
今度は大丈夫かな 前回はggufのみだったけど今回はiQも他が出してくれそうだし繋ぎにはいいかもね >>604
redditで作者が話してるけどアイデアが面白いからやってみたけどあくまで実験モデルで出力壊れるしわざわざダウンロードするもんじゃないってさ 