金苗科技,值得信赖!
网络营销专家
123
联系我们
山东seo网站优化常见屏蔽操作有哪些
更新时间:2014-07-12

在我们山东seo实战过程中,很多seoer者对于网站Robots协议制作还不是很了解,今天,山东seo就为大家介绍一下山东seo网站优化常见屏蔽操作有哪些
robots语法图
首先,了解一下什么是Robots协议。
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具;搜索引擎蜘蛛抓取时,抓取的第一个文件,robots.txt文件应该放置在网站根目录下,然后上传到FTP,如果没有的,自己建一个txt再上传。
其次,在写robots之前,先要明确网站具体优化目标是哪些,想屏蔽哪些链接,接下来就是要了解robots制作的规则(见下图)

另外,了解规则以后就是具体要掌握具体的robots屏蔽操作了:
1、屏蔽整个网站让百度蜘蛛不能抓取,怎么写?
User_agent: Baiduspider
Dissllow: /*

2、不允许所有的搜索引擎
User_agent: *
Dissllow: /

3、屏蔽目录
1)不让蜘蛛抓取seorm文件里的内容
User_agent: *
Dissllow:/seorm

2)不让蜘蛛抓取目录
User_agent: /plus/
Dissllow: /templets/

4、不允许抓取images这个文件夹下的内容,但是允许抓取enums.js
User_agent: *
Dissllow: /images
Allow: /images/enums.js

5、屏蔽js/css
规律:.js结尾
写法:Dissllow: /*.js$
Dissllow: /*.css$

6、动态路径
规律:?
写法:Dissllow: /*?*

7、搜索结果页
重复或者质量较低
规律:域名/?s=
写法:Dissllow: /?s=*

8、屏蔽中文路径
规律:域名/tag/
写法:Dissllow: /tag/*
掌握上述robots屏蔽操作方法以后,就是要提交和检测robots文件是否制作正确了。
1)、写好了robots.txt文件要上传到空间(FTP)的根目录,只能传到空间(FTP)的根目录,就可以了。
2)、打开注册过的百度搜索资源平台,点击Robots进去以后输入域名,然后检测是否正确。
除了上述方法之外,也可以借助于站长工具或者爱站检测robots书写是否正确。
最后还要提醒各位的是:输写robots文件里面的字要注意的地方:
1)不要随便屏蔽整站,生效时间,短的几天,长的一个月,在robots.txt中禁止百度
2)、Disallow:后面要有一个空格
3)、robots里面的字母第一个字母必须大写。比如Disallow。

看了此文的还看了:什么是SEO?百度seo优化有哪些方法?

qq:95613342 3010133789
工作时间:8.30--18.30
周  六:8.30--17.30
0.0613s