社旗网络优化谈seo-robots.txt常见问题分析
编辑：社旗新城建站 关注： 时间：2019-12-09 11:07:17
温馨提示：专业网站建设、小程序制作、APP开发，尽在新城建站，详询 15544599750（手机、微信、QQ同号）
文前导读：
robots.txt是网站主建立与搜索引擎之间沟通的一座桥梁。其文件常见问题很多，下面列举一些我们经常犯的一些错误：
一、robots.txt的位置应该放在那里？
robots.txt文件应该放置在网站根目录下。当搜索引擎的蜘蛛程序访问一个网站（比如）时，首先会检查该网站中是否存在robots.txt这个文件，如果找到这个文件，它就会根据这个文件的内容，来确定它即将要访问的范围。
二、seo建立了robots.txt文件屏蔽了网页，为什么还会出现在搜索结果中呢？
如果在robots.txt中屏蔽了该url路径，按常理来将是不会出现的搜索结果中的，但是很多情况下并不是这样，原因如下：
1.蜘蛛程序通过其他链接直接进入网站的内页，导致被爬取并收录；
2.robots.txt文件是后期修改，搜索结果还未进行更新；
以上经过一段时间的更新就会逐渐消失，如果被抓取的网页涉及到一些隐私，可以直接想相关搜索引擎反映。
三、robots.txt中的一些细节问题
文件中头字母大小写；
注意空格和“／”
四、robots.txt的一些操作事例
1.禁止搜索搜索引擎访问网站的任何部分
User-agent：*
Disallow：/
2.允许访问所有的内容
User-agent：*
Disallow：
或者
User-agent：＊
Allow：/
seo建议您：也可以建立一个空的robots.txt文件
3.仅仅允许google访问我的网站
User-agent：Googlebot
Disallow：/
User-agent：*
Disallow：/
4.禁止访问指定目录
User-agent：*
Disallow：/abc/
Disallow：/def/
Disallow：/ghp/
5.允许访问特定目录
User-agent：*
Allow：/abc/abc
Allow：/def/ef
Allow：/ghp/look
Disallow：/abc/
Disallow：/def/
Disallow：/ghp/
6.禁止访问/abc/目录下的所有以”.html”为后缀的URL(包含子目录)
User-agent：*
Disallow：/abc/*.html
7.仅允许访问以”.html”为后缀的URL
User-agent：*
Allow：.html$
Disallow：/
8.禁止访问网站中所有的动态页面
User-agent：*
Disallow：/*？*
9.禁止抓取网站上所有图片
User-agent：*
Disallow：.jpg$
Disallow：.jpeg$
Disallow：.gif$
Disallow：.png$
Disallow：.bmp$
seo提示您：如果还有其他格式，可以再进行添加Disallow：如果允许抓取某一类型的图片，将“Disallow”修改为“Allow”即可。
注意以上格式中空格和“／”的使用
10.允许所有搜索引擎抓取，将自己的网站地图放进robots.txt文件
User-agent：*
Disallow：
Sitemap：sitemap1.xml
robots.txt存在的问题比较多，大家有什么疑问也可以直接留言，方便进一步完善robots.txt常见问题，seo希望您你一起成长。
拓展阅读：
本文由新城建站整理发布，喜欢请收藏，转载请保留链接 社旗网络优化谈seo-robots.txt常见问题分析https://www.nccpu.net/henan/nanyang/sheqi/13572.html
最新推荐
519763739
15544599750