编辑:望都新城建站 关注: 时间:2019-12-19 10:26:41
温馨提示:专业网站建设、小程序制作、APP开发,尽在新城建站,详询 15544599750(手机、微信、QQ同号)
文前导读:
Spider实际上是一种电脑“机器人”(Computer Robot),电脑“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去,反反复复,不知疲倦。所以,搜索引擎的“机器人”程序就被称为“蜘蛛”程序。那么蜘蛛到底是怎么进行抓取网页,怎么工作的呢?
搜索引擎主动抓取网页的流程机制:
派出Spider抓取网页→链接抽离、内容处理提取所需文本内容→对已抓取的内容进行中文分词、去除停止词→判断该页面内容是否与已索引内容重复(去重)→对剩余页进行倒排索引→等待检索
用户主动查询后,搜索引擎工作的流程机制:
用户查询→对用户所查询的关键词进行分词处理(根据用户的地理位置和历史检索分析用户需求)→查找缓存(如果缓存里有,蜘蛛对缓存结果进行微调或直接呈现给用户;如果没有,搜索引擎会将关键词和对应搜索结果假如缓存中)
拓展阅读:
本文由新城建站整理发布,喜欢请收藏,转载请保留链接 望都小程序分享SEO基础知识之Spider是如何工作的https://www.nccpu.net/wangdu/32862.html