>>816
トークンの話に関してはAI側が合ってると思うぞ
1文字をさらに細かく分ける必要があるなら何のためのトークン化だよって
ちなみにGPTのトークナイザーは以下で実際に試せる
https://platform.openai.com/tokenizer