优秀的搜索引擎爬虫spider有哪些特性

　　搜索引擎爬虫，也称作搜索引擎蜘蛛、机器人。是一种遍历抓取页面的程序。搜索引擎爬虫以其不同的应用，分为批量型爬虫、增量型爬虫和垂直型爬虫。不同的搜索引擎爬虫蜘蛛实现方式不同，但一个优秀的搜索引擎爬虫应该具备以下几个特性：