提供SEO培训、SEO顾问、网站优化服务!

搜索引擎的爬行和抓取

发布:张亮博客 分类:SEO是什么意思_SEO基础入门 浏览:3218 次
------------------------------------------------------------------------------------------------------------------------

搜索引擎的爬行和抓取:

搜索引擎派出一个能够在网上发现新网页并抓文件的程序,这个程序通常称之为蜘蛛(spider),也称为机器人(robot)。

  蜘蛛访问任何一个网站时,都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。

  搜索引擎从已知的数据库出发,就像正常用户的浏览器一样访问这些网页并抓取文件。搜索引擎蜘蛛跟踪网页中的链接,访问更多的网页,这个过程就叫爬行。这些新的网址会被存入数据库等待抓取。所以跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本的方法,所以反向链接成为SEO优化的最基本因素之一。 

  搜索引擎抓取的页面文件与用户浏览器得到的完全一样,抓取的文件存入数据库。

  和浏览器一样,搜索引擎蜘蛛也有标明自己身份的代理名称,网站管理员可以在日志文件中查看搜索引擎的特定代理名称,从而辨识搜索引擎蜘蛛。

除非注明,文章均为张亮博客原创,转载请注明
本文地址:http://www.xia-men-seo.com/seo/114.html
张亮博客致力为大家分享SEO优化方面的知识
Copyright © 2008-2018 www.xia-men-seo.com All Rights Reserved.
张亮诚交各地志同道合好友,欢迎大家加入福建SEO技术交流 QQ群:28218850