なんJLLM部 避難所 ★10
>>332
一応ちゃんと二郎名乗るのは管理されてたはず
近所の店は破門されて名前変わってたw
>>333
こんなにあるの！？w メモリ爆上げはローカルAI勢にとって高額グラボより問題になってきたな
さすがに5倍くらい高騰してくると、パソコン環境を揃えなおそうと思わないよな ユーザーはもちろんメーカーも大変やな
マザボは売上半分になったらしいしAAAタイトル作ってるゲーム会社もユーザーのPCスペックが上がらなくて困るやろ
こういうことが起こるとAI業界は軽量化・低コスト化技術に注力するようになるんじゃないか >>324
Pro 6000とかを持ってる人なら大喜びだな
俺みたいに5070ti程度じゃ多少軽量化されたところで検閲解除したいモデルには全然届かねえ…… Nemotron 3 NanoはMambaを使ってるらしい
Qwen 3 Nextと一緒だね macはまだ値上げしてない？
M5 Studioも興味あったけど、どうなるんだろう Nemotron 3 Nanoはもう試せるの？
NVIDIA製のやつ？
というか知らんかったw 動くまでの実装は完了しとるから上のPRのブランチでビルドすれば動かせるで Nemotron 3 NanoはOpenRouterでfreeで使えるぞ
でもものすごい長考するし出力も暴れるしでチャットするのには苦労しそうな感じだ ユーザー「AI、今週末に新しく出来たピザ屋さんに行かない？」
AI「新しいピザ屋さん！？わくわくするわね〜！ユーザーは何を頼むのかな？今度、週末に行こうよ！ 🍕」
これだけのやりとりをするのに8000トークンも思考する
まあチャットやロールプレイング用のモデルじゃないから仕方ないんだろうけど ピザ屋へのお誘いで8000トークンは草
ローカルLLMやるようになってから人間がいちいち「ありがとう」とか言うせいで莫大な計算力が浪費されてるって話の重大さが理解できるようになったわ
理解できるようになっても辞めんけどな トークン数≒コンテキスト長だっけ？
そのペースなら一応答で前の記憶どんどん消えてくな リーズニングの部分ってコンテキストには含めてないんとちゃうかな
アプリ側の実装によるとは思うねんけど LM Studioだとリーズニングも含めてたような
アプリによるんだろうね ビジョンモデルのGLM4.6V試してるんだけど4.5Vとそんなに違いは感じないような気がする
ただ、小さいモデルの9BFlashが意外とすごい
それなりにオブジェクトを認識しているし、日本語の表現も自然。英語で返してくることも多いけどね
OCRはちょっと弱いけど割と日本語も認識する
使う場面によっては実用的かも？
後は新たに追加されたツール呼び出しだな
vLLMは性能がいいので使ってるんだけどThinkingとツール呼び出しの併用が出来ないっぽい・・・
Thinking有り無しで結構、得られる情報量が違うから惜しいな
もうちょっと調べてみるけど nVidia から新しいモデル
nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 昨今はベンチ項目が軒並みコーディング小説エージェントだから小説向きモデルがあるのかすら分からんな ミスった コーディング・数学・エージェントね
小説向けのベンチはEQBenchぐらいだけどあんまりリーダーボードにモデル追加されないんよな コーディングは与えられた問題を解決できるかで客観的に評価できるけど
小説の評価ってどうやるんだ 小説みたいないわゆるアートとか対人の受け答えは数値で評価できんから今の世の中ではAIに限らず軽視されがちやな >>357 例えばこんな感じ
https://eqbench.com/about.html#creative-writing-v3
結局は外部のLLMに評価基準与えて採点させてるんだからコーディングもライティングも変わらんで 