当前位置: 博客首页 >> SEO学习园地 >> 各大博客网站纷纷屏蔽搜索引擎抓取--中小站长如何应对? rss

各大博客网站纷纷屏蔽搜索引擎抓取--中小站长如何应对?

成都网站优化 在 2010-08-19 发表,评论(0),阅读(0)

近日,继其它门户(淘宝、sohu博客、校内网、海内网、51.com、中搜)纷纷宣布屏蔽百度搜索引擎举措后,网上又曝出新浪博客已经屏蔽百度蜘蛛对其内容的抓取。由此引起网热议,百度是否再次陷入“屏蔽门”。

由此新浪博客屏蔽百度搜索,将会给广大中小站长带来一些影响!一直以来,大型博客网站已经成为站长位做网站优化外链建设的重要途径;由于博客中充诉众多以广告为目的内容,应该是这些“屏蔽门”事件的一个重要原因!

通过16号在新浪开的同声传译博客Http://blog.sina.com.cn/tytongshengchuanyi  连续两天更新,在百度/GOOGLE搜索中仍然找不到相关信息.我们通过查看新浪的http://blog.sina.com.cn/robots.txt文件,看到相关的禁止搜索引擎蜘蛛抓取.

#开放百度的搜索引擎的User-Agent代码,*表示所有###########

User-agent: Baiduspider

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#限制的搜索引擎的User-Agent代码,*表示所有###########

User-agent: *

#临时限制对所有目录的禁止抓取

Disallow: /

通过以上文件可以看到新浪不只是限制了百度蜘蛛,包括所有搜索引擎蜘蛛全部限制了,

我们整理下已经明确屏蔽搜索蜘蛛抓取的博客名单:

新浪博客  blog.sina.com.cn
搜狐博客  blog.sohu.com
QZONE    qzone.qq.com  
百度空间  hi.baidu.com   (有收录,但权重传递限制)
迅雷博客  blog.xunlei.com
Blog.com   www.blog.com
博客天下   www.blog.com.cn
中华网BLOG  blog.china.com

由此事件,提醒广大站长朋友,在网站优化实施中,在外链建设时,我们提倡开展多样性外链,有关外链的多样性以及如何做好网站外部链接,请查看相关文章:

Tags:博客搜索引擎外链建设网站优化

思为网络腾讯企业微博,请关注我们:
已有位网友对“各大博客网站纷纷屏蔽搜索引擎抓取--中小站长如何应对?”发表评论。

 

www.sw996.com/seoblog/