なんJLLM部 避難所 ★10
>>699
試してみたらGLM4.7で330tok/出てて笑うしかなかった。これはもうハードウェアの暴力としか言いようがないな。 最近始めた人は、日本一高い山は？って質問に富士山って答えられるかでＬＬＭの性能見ればいいよ
答えられないラインがある >>709
いつの話してるんだ…
LLM出始めは学習が不十分でその程度の話も答えられないケースはあったけど
2年ぐらい前にはそんなの何の役にも立たない質問するのは馬鹿のやることだって言われてたよ
今もそれ聞いてるのは知識がアップデートされてない老害だよ >>709
それ通用したの2022年末くらいでは？ ワイは
「小学生の男女がうんどうかいについて悪戯っ子ぽく話す会話を書いてくれ」って最初に聞いてる
これで日本語の小説のセリフ周りの性能や文の整合性チェックが分かるのでおすすめ 文章の良し悪しを判別すること自体も難易度が高いタスクなんだよな
判別できる人はLLMって文章上手くないな、じゃあこれで計ればいいやって自分で気付くはず
判別できないひとは、そもそもLLMって文章上手いよなとか、自信たっぷりだから信頼できるよなとか、言いだすわけで... 自分の得意な専門分野の事を聞いたら良いんじゃない？
LLMが偉くてもまだまだ人が強い分野だと思う
逆に知らないことを聞いたら全部説得力あって判定できないけどw エロ画像を認識させて画像の内容をエロく説明させたいんだけど、おすすめの環境ある？ 初心者はLM Studioが良いよ
単体で動かせてモデルダウンロードしやすいから ありがとう
LMstudioでスレに有ったqwen3〜ったので動かしてみた
期待した返答が来たけど、ちょっと速度が遅いな…
この辺はスペックをどうにかするしかないか slmが凄いとかいう風潮やめて欲しいわ
gpt5.2ですら怪しいときがあるんだからそれより少ないのが役立つわけがない SLMは色々な用途で普通に役に立ってるし
性能が上がればさらなる小型化や同サイズでやれること増えるし
通信環境整えてサービスのAPIにつなげみたいな器材ばかりやないし
凄いの出てきたら開発も利用も用途増えるしすごいというよそりゃ 釣りタイトル文化に問題があるような
LFM2.5がすごい！という動画を拡散すると中身は見てないやつがすごいんだって記憶するという
LFM2.5は日本語が喋れるのに700MB！凄い！ってタイトルに入れてくれ AI驚き屋ってのがある
知識なくても何でも新技術凄いと騒げば
同じ様に知識無いけどAIは何か凄いと思ってる層が釣れる ラズパイとかが好きなタイプの連中が騒いでるんじゃね
ミニチュアや箱庭が好きなんだろう
でんちゃと同じカテゴリー SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が
有料でAIの本質情報教えますマンみたいなのだったりする時代 PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね
グラボ1枚（VRAM16GB）だとローカルLLMはまだ難しい感じ？ >>729
7B~14Bモデルならちゃんと動くよ
もちろんチャッピーなどオンラインモデルの性能を期待してはいけない
でも7Bってエロに関しては完全フリーだった頃のモデルばっかだから意外と楽しめる ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ
普通に使えるっちゃ使える
moeも出てきたし Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組
denseモデルだとVRAMかメインメモリかの2択になって大型モデルでGPUを全く活かせないからな 軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな
もうちょい調べてお試ししてみるわ、あんがと qwenやgpt-ossなどMoEだとGPUは1枚で十分
MoEはGPUの枚数増やすと性能が低下しちゃうんだよな
モデルを全部VRAMに載せられるならGPUの複数枚挿しもありだね SLMでフィジカルAIって好きな特徴の女がいたらパシャパシャしまくるデバイスとかそんな奴やろ？ 