提供SEO培训、SEO顾问、网站优化服务!

robots.txt文件的写法和作用

发布:张亮博客 分类:SEO是什么意思_SEO基础入门 浏览:3320 次
------------------------------------------------------------------------------------------------------------------------

robots.txt文件的写法:

首先说明一下为什么要写robots.txt文件,它的作用是什么?

个人认为它最主要的作用是拒绝蜘蛛(什么叫蜘蛛请看百度蜘蛛)访问一些你不想让它访问的文件夹,比如你的模版文件,你的登陆与验证文件。对予厦门SEO公司这样的大型商业网站它有一个作用,那就是可以让自己的商业信息不让人挖掘(如百度)。

现在我们先看一下我的个人博客的robots.txt文件,在浏览器输入:http://www.xia-men-seo.com/robots.txt我们会看到这样的一段命令:


User-agent: Baiduspider

Disallow: /


User-agent: baiduspider

Disallow: /


这条的意思是禁止百度蜘蛛抓取任何页面,而且百度蜘蛛公认是第一个,它还预防着百度蜘蛛的变卦。在底下又设了个。


这个是深度网络的robots.txt,那我们厦门SEO公司的robots.txt要怎么写呢?命令如下:


User-agent: *


Disallow: /admin/

Disallow: /cache/

Disallow: /images/


第一行代表所有的搜索引擎,厦门SEO公司的那个是针对百度的,因为现在百度搞了个有呀商城,是它最大的竞争对手,所以它不能让百度知道它的商业模式,预防自己的市场被百度占领。


第二行代表的是禁止访问根目录下admin这个用户登录文件。


第三行代表的是禁止访问根目录下cache这个文件夹。


第四行代表的是禁止访问根目录下images这个文件夹。


如果你不要被访问的文件夹不一样,就直接把那个文件夹修改成你自己不想被访问的那个文件夹。有多少个文件夹你就设几个,不限数目。


另外很多人在申请免费博客做seo的时候,一直担心着一个问题就是这个博客有没有禁止蜘蛛访问,要怎么办呢?很简单,直接在你申请博客的地个地方(一般是博客的首页)的地址后面加一个/robots.txt 这样你就知道你申请博客的地方有没有屏蔽搜索引擎了。


如你想知道新浪的博客能不能做,那就在浏览器的地方输入:http://blog.sina.com.cn/robots.txt,是不是有一个很长的robots.txt呢?而且它这里也做了很长的一个解释。

除非注明,文章均为张亮博客原创,转载请注明
本文地址:http://www.xia-men-seo.com/seo/26.html
张亮博客致力为大家分享SEO优化方面的知识
Copyright © 2008-2018 www.xia-men-seo.com All Rights Reserved.
张亮诚交各地志同道合好友,欢迎大家加入福建SEO技术交流 QQ群:28218850