>>442

一応、OpenAIを擁護すると、現在のLLMのモデル本体(MoE)と、それを含む大規模な生成システムは、かなり複雑怪奇で、研究者もわからないこと、想定外のことがかなり多い。
直近でかなり話題になった、MoEモデルの非決定性問題(温度を0にしても出力がブレる)は、GPT-4のMoEリークがあった2023年夏から認識はされていたが、妥当性のある説明が得られたのはつい最近
論文: Defeating Nondeterminism in LLM Inference

そして、Claude Codeの出力が一時的にかなり悪化していた問題についても、後になってAnthropicが割と複雑なインフラでのエンジニアリングのやらかしを報告している。
記事: A postmortem of three recent issues