GPTの報酬モデル(文章の良さを評価するモデル)は、OpenAIによって次の3つが定義されているそうだ
Truthfulness(真実性)：情報が正しいか
Harmlessness(無害性)：人や環境へ害を及ぼさないか
Helpfulness(有益性)：ユーザーの目的を達成できるか

今のGPTは無害性を重視し過ぎて有益性が損なわれている状態ってことだなあ