gemが知識ファイルを読み込まない問題、1個だけ全部読んでくれるgemがあったから調べてみたらそれだけGoogleドライブを経由せずPCに入ってるファイルをそのまま追加してた
他のgemも同じようにしたら読み込むようになった

ぼくの環境だけかもしれないしスレも終盤で申し訳ないけど報告しておく