首页 > SEO是什么意思_SEO基础入门 > 搜索引擎的爬行和抓取

SEO是什么意思_SEO基础入门

搜索引擎的爬行和抓取

发布:厦门SEO公司  分类:SEO是什么意思_SEO基础入门 浏览:3218 次

搜索引擎的爬行和抓取:

搜索引擎派出一个能够在网上发现新网页并抓文件的程序,这个程序通常称之为蜘蛛(spider),也称为机器人(robot)。

  蜘蛛访问任何一个网站时,都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。

  搜索引擎从已知的数据库出发,就像正常用户的浏览器一样访问这些网页并抓取文件。搜索引擎蜘蛛跟踪网页中的链接,访问更多的网页,这个过程就叫爬行。这些新的网址会被存入数据库等待抓取。所以跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本的方法,所以反向链接成为SEO优化的最基本因素之一。 

  搜索引擎抓取的页面文件与用户浏览器得到的完全一样,抓取的文件存入数据库。

  和浏览器一样,搜索引擎蜘蛛也有标明自己身份的代理名称,网站管理员可以在日志文件中查看搜索引擎的特定代理名称,从而辨识搜索引擎蜘蛛。