robots文件一般在根目录下，每一条记录通过空行分开，在该文件中可以使用#进行注释，支持模糊匹配，该文件是区分大小写的但不严格，通常以一行或多行User-ag...