>>32
新聞社はそう主張してるけどrobots.txtによる法的な拘束力は無いので。技術的な仕様では今も昔もお願いですな。
どっちかというと有料コンテンツの内容を収集できてた方が問題だと思うけど。