なんJLLM部 避難所 ★10
0542名無しさん＠ピンキー (ﾜｯﾁｮｲ 8d32-0Alr)2025/12/28(日) 23:37:14.92ID:jf4VxSVY0
mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF

ここの　i1-IQ3_XXS 258.9G ってなってるけど、メモリ256Gに余裕で乗りましたので報告
若干規制掛かってるけど、プロンプトでなんとかなるレベルかな
日本語はかなりいい

ただ、HG側の問題でダウンロードは普通にやるとエラーになるから、Communityの書き込みを参考にしてね
0543名無しさん＠ピンキー (ﾜｯﾁｮｲ 1e38-Xpyt)2025/12/28(日) 23:49:03.79ID:zaDZPMc00
ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ
とりあえず今挿して動くならそうそう壊れたりはしない…よな？
高騰は辛いけど手持ちのメモリもそこそこの値段で売れたので実質一枚平均12000円くらいだった
0545名無しさん＠ピンキー (ﾜｯﾁｮｲ dac8-cEFC)2025/12/29(月) 00:56:52.09ID:OXDLX/Y60
>>538
いつもありがとうございます

ソフトとモデルをアップデートしたのですが
以前には一度も出なかった以下のエラーが出てしまいます

コマンドプロンプトでは
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to get true_max_context_length: All connection attempts failed

ソフトの出力窓では
--- 無限生成中エラー: Request Error: An error occurred during the request to http://127.0.0.1:5001/api/extra/generate/stream. Details: ---
と出て停止してしまいます

何か設定を間違っている感じでしょうか

他のモデルを使用しても以上のように停止してしまうので
困っております
0546名無しさん＠ピンキー (ﾜｯﾁｮｲ 6ac7-Ls7H)2025/12/29(月) 01:03:03.91ID:IuqqNF7w0
>>533
その方法は良さそうだなしかもGeminiだと拒否されそうな内容、ローカルで試してみる
>>534
選択肢すらAIに作ってもらう発想は思いつきもしなかった、発想が凄い、ここで聞いてよかたぜ
0547名無しさん＠ピンキー (ﾜｯﾁｮｲ d2f7-lw50)2025/12/29(月) 01:29:25.05ID:ewL055nu0
>>545
新規に環境を作り調査しましたが再現できませんでした

エラー内容から察するにkoboldcpp側との接続が確立できていないので、以下の内容を試してみてください

・koboldcppのアップデート（最新のkoboldcpp-1.104で動作確認しています）
・koboldcpp側でモデルを読み込んだ際に出る"Please connect to custom endpoint at http://localhost:5001";のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる
・koboldcppを別フォルダで新規クローンしてみる

これでも問題が解決しない場合は再度状況を教えていただければ対応いたします
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況