有一天主管说你去了解下Robot.txt吧，当时一愣，这是个什么？原谅我不懂技术的懵逼脸，哈哈，然后就去研究了下，以下是研究结果，给跟我一样不懂技术的人看，哈哈~~

Robot英文直译是机器人,在搜索引擎优化SEO中经常翻译为:探测器。 当然，也可以叫crawler(爬行器),spider(蜘蛛)。个人觉得Spider是最好理解的，你可以想象下你的网站就是一个蜘蛛网，而这个Spider就可以通过这个网络去爬取信息，你可以通过设置Robot.txt来限制Spider的爬行范围。

Robots 三个语法和两个通配符

1，User-agent: 搜索引擎的spider代号 （定义所有搜索引擎）,

2，Disallow: 输入数据夹或文件名的路径 （用来定义禁止蜘蛛爬取的页面或目录）

Disallow: /（禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下）

Disallow: /admin （禁止蜘蛛爬取admin目录）

Disallow: /ABC.html （禁止蜘蛛爬去abc.html页面）

Disallow: /help.html （禁止蜘蛛爬去help.html页面）

3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）

Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）

Allow: /admin/ABC.html（允许蜘蛛爬去admin目录中的abc.html页面）

4、通配符 “$”

$ 通配符：匹配URL结尾的字符

5、通配符 “*”

* 通配符：匹配0个或多个任意字符