GPT-4oの中国語に異常
ポルノ、ギャンブルで
トークンが汚染されていた
オープンAIの最新の大規模言語モデル「GPT-4o」の中国語トークナイザーに、ポルノやギャンブル関連の用語が大量に含まれ、ハルシネーション（幻覚）が発生していることが分かった。訓練データのクリーニング不足が原因と見られる。
by Zeyi Yang2024.05.28