なんJLLM部 避難所 ★8
レス数が900を超えています。1000を超えると表示できなくなるよ。
最近のLLM実行環境(llama.cpp, lmstudio,ollama等)って、
メモリが足りなくても動くのな。
スワップしてるのかもしれんが、高速なSSDによる力技と、
元々Moeモデルだからかメモリ負荷が少なめなのか、
gpt-oss-120BのMLX版も、Macminiの64GBでも動いたわ。
Moeだからあんまり遅くもないし。
まぁ、GPUに58/64GBくらいの割り当て無理やり動かしてるんだが、
横で視聴してた動画が止まったり画面が乱れたりしまくるけど。 MoEのコントロール方法がよくなってんのかね
「部分的なオフロード可能」とかのモデルだとGPUに150Gbyte(実メモリは128GB)
とか割り振って割と動作したりする
gpt-ossだと専門家が5Bから0.5Bくらいの可変モデルだからx86のGPUにも優しそうだ GLM4.5は今までの中国LLMの中でいちばん日本語が上手に見える すんません、LLM初心者なんですが、umiyuki/Umievo-itr012-Gleipnir-7B (7B) を導入したんです。
しょっぱなからAIが株式会社シリウスのチャットアシスタントと言って何を言ってもやめてくれないし、
小説書くなら有料だから見積書をとれって…、これってこのAIの仕様なんですか？ >>927
ちゃんと設定すれば小説風にも書いてくれるから単に設定がおかしいだけだと思う
ただGleipnirはどっちかというとチャット向けだと思うから小説書くのには向いていないかもしれない >>926
日本語能力自体はkimi k2の方が上だと思う
人間らしさはGLMのほうが上かも >>928
小説向けじゃなかったんですね。再起動してもチャットアシスタントのままなんで、
このまま株式会社シリウスのチャットアシスタントと会話を楽しむことにします。
小説向けっぽいの探しに行ってきます。ありがとうございました。 >>930
チャットアシスタントのままになってるってことは設定の仕方自体が大きく間違ってるから
他のモデルを使ってもたぶんまともに使いこなせないぞ
どのモデルを使うにしても設定の仕方を見直した方がいいよ >>933
ktransformersみたいなことできるようになってたのか レス数が900を超えています。1000を超えると表示できなくなるよ。
