■temperature高くする。
temperatureが低すぎると、モデルが非常に確率の高い次の単語を選択し続けるため、繰り返しが生じやすくなります。
■top_p(トップPサンプリング)高くする。
確率の合計がP以上になるまで単語を選択
Pの値が低いと、選択肢が制限されるため、繰り返しが発生しやすくなります。逆にPの値が高すぎると、ランダム性が増し、
文脈にそぐわない単語が選ばれやすくなるため、適切なバランスを見つけることが大切です。
一般的にはP値を0.9前後から調整を始め、状況に応じて微調整します。
■top_k(トップKサンプリング)高くする。
K個の最も確率の高い単語から選択
トップKの値を上げることで、選択肢が増えるため、より多様な単語やフレーズが選ばれる可能性が高くなります。これにより、
同じフレーズの繰り返しが減少する可能性があります。
トップKの値が小さいと、モデルは最も確率の高い単語に集中しがちですが、Kを大きくすると、より多様な単語が選ばれる可能性が増えます。
これにより、生成されるテキストの多様性が向上し、繰り返しが減少することがあります。