什么是robots.txt

Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释robots.txt是什么。

但是我们需要注意的几点：

1.robots.txt必须存放在网站的根目录下。

2.其命名必须为robots.txt

3.Robots.txt是搜索引擎访问网站的第一个页面

4.Robots.txt中必须指明user-agent