なんJLLM部 避難所 ★10
0595名無しさん＠ピンキー (ﾜｯﾁｮｲ b16a-h4RS)2025/12/31(水) 18:19:51.36ID:/BUKgy7e0
お年玉で買うか
0596名無しさん＠ピンキー (ﾜｯﾁｮｲ 8204-mqrN)2025/12/31(水) 20:12:38.30ID:A5W68e4G0
>>592
このモデルとb7588で再度試してみたけど自分の環境（5060ti）ではggml-org版と変わらないな（17.5 tps）
3060単体でも16 tps出るのでVRAM 16GB程度では効果あっても雀の涙なのかも？
mxfp4について情報収集したことないので何か間違っとるかもしれないし、時間あるときに自分でもビルドしたり試してみる
0597名無しさん＠ピンキー (ﾜｯﾁｮｲ b6aa-JCzX)2025/12/31(水) 21:14:09.72ID:x14xJQ6r0
来年はPRO6000が人権になりそうなヨカーン
0598名無しさん＠ピンキー (ﾜｯﾁｮｲ 6026-8aJk)2026/01/01(木) 00:11:20.20ID:qmZ8t7yU0
gpt-oss-120bをVRAM16GB,メモリ64GBだと落ちる寸前だな
llama-serverでmlock有効にしたらOSがフリーズした
誰か動かしてる人いたらおすすめ設定教えてほしい。
0599名無しさん＠ピンキー (ﾜｯﾁｮｲ cde6-rRc0)2026/01/01(木) 01:16:26.90ID:Bw6OLNUN0
これ眺めてたら年が明けてた。
https://a.co/d/0ZZtzUq
0600名無しさん＠ピンキー (ﾜｯﾁｮｲ 6ac7-Ls7H)2026/01/01(木) 02:28:57.50ID:tPQVzZIN0
>>597
5090がどんどん値上がりしてPRO6000は値下がり傾向、本当のPRO6000がそれなりに当たり前になりそうな気がする
というかVRAMだけで考えたら、RTX 5080 16GBと比べてもかなり安いんだな
新着レスの表示
レスを投稿する