编辑:历下区新城建站 关注: 时间:2019-12-09 10:48:33
温馨提示:专业网站建设、小程序制作、APP开发,尽在新城建站,详询 15544599750(手机、微信、QQ同号)
文前导读:
增量型Spider
Hl增量型Spider也可以称之为通用爬虫。一般可以称为搜索引擎的网站或程序,使用的都是增量型Spider,但是站内搜索引擎除外,自有站内搜索引擎一般是不需要Spider的。
增量型Spider和批量型Spider不同,没有固定目标、范围和时间限制,一般会无休止地抓取下去,直到把全网的数据抓完为止。
增量型Spider不仅仅抓取尽可能全的页面,还要对已经抓取到的页面进行相应的再次抓取和更新。
因为整个互联网是在不断变化的,单个网页上的内容可能会随着时间的变化不断更新,甚至在一定时间之后该页面会被删除,优秀的增量型Spider需要及时发现这种变化,并反映给搜索引擎后续的处理系统,对该网页进行重新处理。
当下百度、Google网页搜索等全文搜索引擎的Spider一般都是增量型Spidero
拓展阅读:
本文由新城建站整理发布,喜欢请收藏,转载请保留链接 历下区SEO分享增量型Spiderhttps://www.nccpu.net/jinan/lixiaqu/10450.html