一些机器人协议无法解决的问题。这种协议不是很先进的技术,只是互联网上出现了一种不同机构相互尊重的协议,就像在私家花园门口挂着闲人不进的牌子,尊重者绕道而行,不尊重者依然可以推门而入。如今,在实际应用中,dots协议仍存在着一些无法解决的问题。举例来说:robots.to本身就是网站文件,也是需要抓取的,为了提高效率,robots.to一般不会在每次抓取网站页面之前先抓取一次,robots.to更新并不频繁。爬虫的惯例是先抓取robots.complete,解析后缓存,再等待robots.complete。假设Web网站管理员更新了robots.inat,并修改了一些规则