なんJLLM部 避難所 ★8
レス数が900を超えています。1000を超えると表示できなくなるよ。
GLM 4.5かなりいいな、ロールプレイさせると思考まで日本語でキャラクターになってくれるのが良い >>922
どこのAPI使ってる？
ちょっと高くて二の足を踏んでいる 最近のLLM実行環境(llama.cpp, lmstudio,ollama等)って、
メモリが足りなくても動くのな。
スワップしてるのかもしれんが、高速なSSDによる力技と、
元々Moeモデルだからかメモリ負荷が少なめなのか、
gpt-oss-120BのMLX版も、Macminiの64GBでも動いたわ。
Moeだからあんまり遅くもないし。
まぁ、GPUに58/64GBくらいの割り当て無理やり動かしてるんだが、
横で視聴してた動画が止まったり画面が乱れたりしまくるけど。 レス数が900を超えています。1000を超えると表示できなくなるよ。
