0840名無しさん＠ピンキー (ﾜｯﾁｮｲ ef3d-Hj8W)2024/08/12(月) 16:47:02.10ID:???0 Mistral 7B系列のMoE試してるんだけどどんなモデルでやってもコンテキスト8kくらいで出力おかしくなってしまう RoPEやYaRN回りの設定が関係してるのかなと推測してるけど拡張方法についてどなたかご存知でしょうか？
