Google网站管理员工具轻松制作robots.txt

robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（也被称为"bots"、"抓取工具"、“搜索引擎蜘蛛”）。网络上有很多各种各样的 robots.txt 生成器。google网站管理员工具中的robots.txt 生成器是第一个由搜索引擎自己提供的生成器工具。

 

robots.txt文件其实很简单，只有几个简单的命令，用记事本就可以编辑了。但是对于很多菜鸟站长来说，robots.txt文件还是太过于复杂了。使用google网站管理员工具 robots.txt 生成器，你就能够轻松创建 robots.txt 文件了。

 

 

登陆google网站管理员（https://www.google.com/webmasters/），选择你要检查的站点，在点击网站配置，选择抓取工具访问，就可以看到“生成robots.txt”工具了。

 

 

1. robots.txt生成器工具默认选项是“允许所有漫游器”——允许所有的搜索蜘蛛抓取网站。如果你也是希望这样的话，那你直接用下面这个生成的代码就行了。