股票配资盈利

扶沟期货配资 网 网站股票配资 资讯列表 资讯内容

网站的优化中要学会用好robots文件

2020-07-10| 发布者: 扶沟期货配资 网| 查看: 144| 评论: 3|来源:互联网

摘要: 网站的优化中要学会用好robots文件搜索引擎蜘蛛在访问网站之前,都会先访问网站根目录下的robots.txt文件。搜索...
网站的优化中要学会用好robots文件
搜索引擎蜘蛛在访问网站之前,都会先访问网站根目录下的robots.txt文件。搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。

robots.txt是搜索引擎爬取协议,也就是说你可以通过这个文件告诉搜索引擎,哪些目录不要爬去,一个网站的源码中包含了很多系统文件,而这些文件是不需要展示给用户看的,自然也不需要展示给搜索引擎看,如果你不进行引导,会让搜索引擎的蜘蛛把精力浪费在那些系统文件上,造成资源浪费。

当网站有些页面不希望被引擎抓取到,避免不必要的流量浪费,就可以通过robot.txt文件来完成。只要在该文件下输入相关代码,便可以指定哪些页面可以抓取哪些页面不可以抓取。这也是一种优化URL结果的方法。

只针对于用户的页面,对于搜索引擎来说没有价值的页面,比如一些咨询的页面,注册的页面等等,这些页面收不收录对于排名没有任何影响,我们可以用robots.txt文件进行屏蔽。

有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

死链过多,对查找引擎优化来说,是丧命的。不能不导致站长的高度注重。在网站的开展过程中,目录的删去和调整是不可避免的,若是你的网站当时目录不存在了,那有必要对此目录进行robots屏蔽,并回来正确的404过错页面。

写robots.txt要注意的地方:
1. 第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。
2. 斜杠:/ 代表整个网站
3. 如果“/”后面多了一个空格,则屏蔽整个网站
4. 不要禁止正常的内容
5. 生效时间是几天到两个月

有一个误解是:你必须制定一个robots标签。实际上:robots指定了索引与跟踪链接两项权限,如果你不写robots标签,那么就会默认为,允许搜索引擎索引该页面与跟踪该页面链接。只有当你需要改变两项权限其中的一项时,才十分有必要去添加。


股票配资盈利 文章来源  




分享至:
| 收藏
收藏 分享 邀请

最新评论(0)

Archiver|手机版|小黑屋|扶沟期货配资 网  

GMT+8, 2019-1-6 20:25 , Processed in 0.100947 second(s), 11 queries .

Powered by 扶沟期货配资 网 X1.0

© 2015-2020 扶沟期货配资 网 版权所有

微信扫一扫