历城区网站推广分享网站robots文件的写法
编辑：历城区新城建站 关注： 时间：2019-12-09 10:49:22
温馨提示：专业网站建设、小程序制作、APP开发，尽在新城建站，详询 15544599750（手机、微信、QQ同号）
文前导读：
网站robots文件的写法
robots.txt文件的概念、特点和写法
1.概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots.txt结合使用。
2.robots.txt写法：
用户名：*
1）User-agent:*——通配符（代表所有搜索引擎）
Disallow:/——否定前缀
User-agent:*
Allow:/
2）User-agent:baiduspider——蜘蛛名称（网站日志）
Disallow:/
User-agent:googlebot——蜘蛛名称
Disallow:/
3）User-agent:*AB
Allow:/目录1/目录2.html（容许访问目录2中的网页）
Disallow:/目录1/
4）User-agent:*A邀请B来A家去玩
Disallow:/A/得罪B
Allow:/目录1/目录2.html（容许访问目录2中的网页）
Disallow:/?*不要爬行以?开头的页面或者是文件夹
Disallow:/*?*不要爬行网站内的动态页面
百度官方指南里面，已经说明了，动态和静态页面，都一样收录。
推荐格式：
User-agent:*
Disallow:/目录1/1.html
Disallow:/目录3/
Disallow:/目录5/
Sitemap:/sitemap.xml(推荐地图)
Sitemap:/sitemap.html(推荐地图)
再次提示：允许爬行什么，请一定要放在robots.txt文件前面。
3.robots.txt特点：
1）robots.txt文件因此纯文本格式存在的txt文件。
2）robots.txt必须放置在网站的根目录中。
如：http://xxxxjy.top/robots.txt
3）大小写形式。冒号后面需要有一个空格号。
4）不喜欢被收录什么，喜欢收录什么都可以通过这个推荐。
其他基础概念：
1、网站PV值IP
PV：指的是用户到达你的网站，每次访问的页面数。
IP：独立访客数
2、搜索引擎跳出率
跳出率：用户来到你的网站，只浏览了一个页面就离开所占的比例。
思考：对网站排名的影响有哪些？快排技术的原理。
3、网站次导航在哪里？它有哪些作用？
举例：http://xxxxjy.top/新城建站网络公司新城建站建站公司注册新城建站优化公司新城建站SEO外包
提升关键词密度糅合使用
http://xxxxjy.top/权重7分类页提升权重。
思考：怎么合理地安排次导航，能最大帮助网站的排名？
拓展阅读：
本文由新城建站整理发布，喜欢请收藏，转载请保留链接 历城区网站推广分享网站robots文件的写法https://www.nccpu.net/jinan/lichengqu/10503.html
最新推荐
519763739
15544599750