なんJLLM部 避難所 ★8
chatGPTに比べたらGROKの方が倫理フィルター弱くていいな
エロプロンプト生成器として使える >>406
説明で800字
最初のメッセージで250字
キャラノート、人格の要約で各200字
対話例1800字
対話例を削ってみようと思ってるところ >>407
めっちゃ主観だけど:
文字数は余裕な気がするね
内容別で数えてるあたりセクション分けもちゃんとしてそう
例文に引っ張られてる感じなら例を減らすアプローチで合ってそう 例文やキャラ設定が多くても全く同じ文の繰り返しになったりはしないはずだからなんか基本設定がおかしいと思う 自分も比較的繰り返しになるケースある。例文というか指示文以外が多い時。あと特定のケースで起こり安くレアなシチュエーションの学習不足なのかもとか感じてる 何ターンも同じようなシーンが続くと繰り返しに陥りがち
ここらへんはgemma3が頭抜けてる
規制?知らない子ですね VIDraft/Gemma-3-R1984-27B
じゃいかんのか？ >>412
これなかなかいいね。
規制がかなり薄い >>408
例文より前の出力に引っ張られてれる感じ
例文を圧縮して
返信が一言二言なら
あまり引っ張られないみたいだから
返信の容量オーバー？ >>414
コンソールで上限に達しているか確認したらいいんじゃね
「CtxLimit:204/4096」みたいな表示があるじゃろ >>415
すまん分からん
3450Tokens（1133Permanent）ならあるんだが…
これのこと？ >>416
3450Tokens使ってるってことやな
コンテキストサイズの上限はいくつにしてる？
会話5回でおかしくなるならたぶん4096Tokensになってると思うけど、それ超えたら色々おかしくなるで コンテキスト枠増やしたいならVRAM増量とかしか無い？ それか溢れた分はCPUのメモリに行くからむちゃくちゃ遅くなるのを我慢するか coreUltraと高クロックDDR5だと溢れてもマシなんだろうか >>421
いや遅いよ
サーバー向けCPUならだいぶマシになるけど KoboldCppなら、バッチサイズみたいな名前のパラメーターを64ぐらいまで減らせば、コンテキスト長増やしてもVRAMあまり使わない。はず。
減らすとトークンを読む速度が遅くなるけど、小説やロールプレイならあまり気にならないかも。 でもコンテキストサイズを大きくすると賢さが落ちるんだっけか
ままならんよね >>424
そうだね
だから最大コンテキストサイズの大きさを売りにしてるモデルでもコンテキストサイズが大きくなると性能ガタ落ちして使い物にならなかったりする
コンテキストサイズが大きいほど優秀だと考えるのは間違い もう少しでDGXが出てくるだろうし、ローカル長文はそれまで我慢や 最近のモデルだと普通に32Kくらいまでは性能低下を感じずに使える気が
24B以下ならkv cacheと合わせて24GBで32Kくらいは行けるし まぁどっちにしてもエロノベルをAIで出力するのは
小説を書かせるよりも、二人以上のキャラを設定して自動的な会話をさせる
擬似的なチャットHの形が一番スムーズだと思うし
それだと長文はあんまり関係なさそう 