robots.txtでのnoindexをGoogleが完全にサポート終了、2019年9月1日から
[REF]:
https://www.suzukikenichi.com/blog/google-will-stop-supporting-noindex-directive-in-robotstxt/
robots.txt の noindex 構文のサポートを終了することを Google は告知しました。 REP のインターネット標準化にともなう決定です。 Google では、クロールではなくインデックスを拒否するために Noindex 構文が使えていました。…