なんJLLM部 避難所 ★9
GLM-4.5-Air-GLM-4.6-Distill試したいんだがまだOllamaだと動かんよね？お試しニキはlammacppかkoboldcppあたりでやっとる感じやろか？ GLM 4.5 Airに4.6を蒸留したと主張しているモデルはGLM 4.5 Airから重みも含めて一切変わっていない詐欺モデルという話が出てきてるね
だから4.5 air動かせば実質4.6 Distillや
それはともかく公式の4.6 airも2週間以内に公開されるって話もある BasedBase氏の蒸留モデル全部詐欺じゃね？ってRedditで騒がれてるね
それはそれと公式の4.6Air楽しみ なーんかbasebase氏のqwen3-coder-distillもなんも変わってなくね？とかredditで騒いでる奴いるけど、少なくともうちで実測してOllamaのtok/s明らかに違うし、全く同じとは思えんのだがなあ。まあちょいとこの騒ぎについては静観。 >>579
アーキテクチャもパラメータ数が同じなら実効速度も同じになるはずだから本物の蒸留モデルだとしても何かおかしいよそれ 単純な蒸留じゃなくて量子化段階の辞書化の最適化もやってるでってモデルカードにあった覚えがあるんで、それ自体はおかしくない。
GLM4.5の蒸留は現物見てないのでなんとも言えないが、なんか騒いでる奴ももひとつ信用でけへんなこれというのが今回の騒ぎなんよ あ、今redditのスレ見直したら全然ちゃうで？嘘松乙って総ツッコミ入ってるわ。
GLM4.5はわからんけど他も、は完全に言いがかりでいいみたい >>581
主要レイヤーの重みを比較した結果も出ててGLM 4.5 airと同一のモデルなのは確定や corderもベンチマークや出力応答含めベースモデルと完全に一致してて99%黒 気になるならhuggingfaceのdissccusion漁るとええ >>583
見てきたサンガツやで。合わせてredditの関連スレも読んで来た
まだ今んとこ真っ黒主張してるデータを明確に出してるソースが一箇所/一名だけで、何しろデータ自体出てきてから24時間経ってないので作者側もすぐに客観的なデータ出せずにぷち炎上って感じなんやな。
おそらく何日かすれば白黒はっきりする話やろし、なんJでまで炎上の飛び火されるのもなんで一旦ここまでにしとくわ。ポインタはサンガツな。 >>574
カラオケうまい素人みたいなもんだな
ただそのレベルでも結構難しいし自分で好きなことやらせられるのが大きな違いじゃある 前にロールプレイ上手く生成されないって書いた者やがプロンプトを人物設定程度にとどめたら上手く行くようになったで
ストーリーとかガチガチに作ってたのがダメだったんやなよく見かけるAIが想像する余地を残しとけってのがようやく理解できたわ >>586
ロールプレイは難易度高かった気がするわ
AIが想像できる余地残すというのはなんか分かる気がするで
試行錯誤しながら期待通りの出力を目指していくのも楽しいんよな おれsilly tavernでロールプレイばっかやってるけど似たような事？はあるな
あるキャラを出来るだけ忠実に再現したくて例えば出身地は京都、伝統工芸品が好き、地元愛が強いなんて情報をキャラカードに書くと関係ない話題の時もいきなり京都や着物のことなんかをぶっ込んで来るんだよね
何やこいつ突然！？ってなる
そのキャラの重要な特徴ではあるものの滅多に会話に出てこないような情報は思い切って切り捨てた方がいいと思う
設定を詰めこむとAIちゃんは不自然になろうと全部使いたくなるみたいだから… 尻あるあるやな。ファンタジー冒険ものやりたくてworld設定に書き込んだ「倒された魔王」が毎回のセッション毎に復活して「もうやめて！魔王のHPはもう」とテンプレ発言したくなる奴 情報を抜いていくとそれはそれで思わぬ展開に持ち込まれて面白かったりするのがええな
画像生成のガチャ途中に意図せぬ大当たりがあるように文章生成でも意図せぬドストライク展開があると色々調整したり試行錯誤しがいがでてくるわ 女子数人のグループ会話を流してて一切何の設定もしてないのにBL大好き属性が勝手に付与されて私が考えたカップリング見て！見て！って迫ってきた時はワロタ 尻タブで特定ワードに引っ張られる現象を避けたい場合はキャラカードにその設定を描くより
Lorebookにトリガー設定して書くといいよ
確かキャラごとにLorebookのグループ分けみたいなので来たはずだから
例えば「京都の伝統工芸品が好き」というエントリを作ったらその話題が出るとトリガされて返答時に言及してくれる
んでエントリにはスティッキー、クールダウン、ディレイを設定できるから上手く使おう
スティッキーはn回ターンの間ずっとエントリ（京都云々）が有効になる、n回は設定可能
クールダウンはターン数を設定するとエントリが有効になった後n回ターンエントリが無効になり、スティッキーと併用できる
ディレイは経過ターン数が設定したディレイのターン数になるまでエントリトリガされても有効にならない
例えばチャットをはじめて10ターン後にトリガできるようになるとかにすれば、10ターン以降そのワードが出たら呪いが発生しゲームオーバーとかできる
他にもワードがでたあとトリガされる確率設定とかできるから、30%でトリガされるようにすれば
ディレイで5ターンの間トリガされなくして、ある程度お互い知り合ったところで適当なワードで（京都云々）をトリガさせる、スティッキーで数ターン京都の話をさせるようにして、クールダウンか他の機能でスティッキー後トリガを無効化させる（100ターンとかにする）
同じエントリを作ってディレイ10ターン、クールダウン5ターン、トリガ確率30%にすれば上の動作後に30%ごとに京都の話ガチャができる
他にいい方法あるかもしれんけど参考までに 割と曖昧なトリガーでも機能してくれるんだ？
俺てっきり単語辞書みたいなもんだと思ってた
好物Aというワードをこっちから出したら機能するけど「何が好き？」と聞くと無視されるような感じなのかなって 直前のモデルの返答と今回のユーザーの入力のどちらかに設定したキーワードが含まれてれば設定した内容が送られるって感じだから単語辞書に近い
こちらの入力を工夫して上手いこと誘導する必要がある GLM、モデルはいいけど中国のZ.AIはプライバシーポリシーもまともな内容出てないし
OpenRouterなりで別のプロバイダーのGLM使うのがいいのかねぇ deepseekもだがその辺の中華大型llmはローカルで動かしてなんぼであり公式クラウドは使うもんじゃないと思ってる
まあ個人だとまだGLM4.5/4.6をローカルで動かすのは相当敷居高いというのは認める サードパーティの方も情報管理ガバガバだからその手の情報を扱うならローカルだわな
コスパだけならサードパーティ一択やけど VCからの資金調達目当てで絶対採算取れてないだろって例も見かけるし mradermacher/gpt-oss-120b-i1-GGUF
これって、なんで量子化レベルに関係なくサイズが同じなの？
通常ならiQ3_Mでメモリ64Gにのるんだけど。 >>600
多分>>583絡み。逃亡か作り直しかはしらね 