上一级页面：index-la

前言

robots.txt 应该始终用来判断：我的网站的哪些部分 可能不 被机器人抓取以及哪些部分 可能 被机器人爬行。

在某些国家和地区,搜索引擎的bot可能会直接无视你的 robots.txt ,通常是由于这些地区的法律难以管辖界定 robots.txt 的法律效力问题.

实际上, robots.txt 只能在你与搜索引擎之间存在法律纠纷时,为你提供一份佐证.

Google最近更新了其准则，以正式声明您不应在 robots.txt 中阻止访问CSS或JS文件。这样可以确保Google抓取该网站时，可以完全像浏览器一样呈现它。

• Google实际上已经说了很长时间了，您不应该阻止JS和CSS（2012年3月的Matt Cutts视频），因为这可能会损害Google抓取您网站的能力，只是他们最近(2021)使它变得“更加正式” 。
• 建议十年内不要阻塞CSS和JS。我知道搜索引擎的渲染似乎是新事物，但事实并非如此，包括简单JS在内的某些形式的渲染已经存在很长时间了。
• Google通常会运行JS以及查看JSON链接，然后访问它。Google还说，如果允许他们抓取图像，使用HTTPS等，您的网站将排名更高。
• 总的来说,这取决于您在多大程度上依赖Google的良好排名,如果阻止CSS或JS文件，则可能会损害您的网站在google排名中的表现。

Google会爬取你的网站,如果你使用谷歌提供的站长工具,包括搜索分析工具等,这些爬取网站的操作将之间为谷歌分析你网站的性能排名等提供数据.

这也是为什么谷歌说"您不应该阻止JS和CSS（2012年3月的Matt Cutts视频），因为这可能会损害Google抓取您网站的能力"

参考、引用、致谢