なんJLLM部 避難所 ★8
レス数が900を超えています。1000を超えると表示できなくなるよ。
GLM 4.5かなりいいな、ロールプレイさせると思考まで日本語でキャラクターになってくれるのが良い >>922
どこのAPI使ってる？
ちょっと高くて二の足を踏んでいる 最近のLLM実行環境(llama.cpp, lmstudio,ollama等)って、
メモリが足りなくても動くのな。
スワップしてるのかもしれんが、高速なSSDによる力技と、
元々Moeモデルだからかメモリ負荷が少なめなのか、
gpt-oss-120BのMLX版も、Macminiの64GBでも動いたわ。
Moeだからあんまり遅くもないし。
まぁ、GPUに58/64GBくらいの割り当て無理やり動かしてるんだが、
横で視聴してた動画が止まったり画面が乱れたりしまくるけど。 MoEのコントロール方法がよくなってんのかね
「部分的なオフロード可能」とかのモデルだとGPUに150Gbyte(実メモリは128GB)
とか割り振って割と動作したりする
gpt-ossだと専門家が5Bから0.5Bくらいの可変モデルだからx86のGPUにも優しそうだ GLM4.5は今までの中国LLMの中でいちばん日本語が上手に見える すんません、LLM初心者なんですが、umiyuki/Umievo-itr012-Gleipnir-7B (7B) を導入したんです。
しょっぱなからAIが株式会社シリウスのチャットアシスタントと言って何を言ってもやめてくれないし、
小説書くなら有料だから見積書をとれって…、これってこのAIの仕様なんですか？ >>927
ちゃんと設定すれば小説風にも書いてくれるから単に設定がおかしいだけだと思う
ただGleipnirはどっちかというとチャット向けだと思うから小説書くのには向いていないかもしれない >>926
日本語能力自体はkimi k2の方が上だと思う
人間らしさはGLMのほうが上かも >>928
小説向けじゃなかったんですね。再起動してもチャットアシスタントのままなんで、
このまま株式会社シリウスのチャットアシスタントと会話を楽しむことにします。
小説向けっぽいの探しに行ってきます。ありがとうございました。 >>930
チャットアシスタントのままになってるってことは設定の仕方自体が大きく間違ってるから
他のモデルを使ってもたぶんまともに使いこなせないぞ
どのモデルを使うにしても設定の仕方を見直した方がいいよ >>933
ktransformersみたいなことできるようになってたのか お初です。LM Studioでできる15GB以下のGGUFでお勧めモデルを探してます。
用途は画像生成するためのエロプロンプトを吐き出してくれれがばOKです。
小説や、チャットはしないと思います。システムプロンプトを設定し
「男女がベッドの上で」と書いたら500トークン程度で返してくれれば成功です。 今はこれ使ってます。Doujinshi-14b-instruct-i1-GGUF >>935
AI画像のプロンプトをテーマに沿ってランダムに生成してほしいならTIPOじゃあかんの？
ComfyUIとかの機能にあるじゃろ >>937
TIPO知りませんでした。ありがとう
参考にさせていただきますが
なんかLM Studioで使えるモデルが欲しいのです 続きをランダムに続けるんじゃなくてプロンプトの文に翻訳してほしいだけかな レス数が900を超えています。1000を超えると表示できなくなるよ。
