向百度等搜索提交站点地图Sitemap和robots.txt细节

        每个做网站的站长都知道，百度、谷歌等搜索引擎的收录对于一个站点的流量来说有着非常重要的作用。所以每一个站长也都在不断优化站点的内容，已便各大搜索引擎可以更快更多地收录自己的站点。今天桑三博客就给大家分析下“向百度等搜索提交站点地图Sitemap和robots.tx”需要注意细节问题。

一、Sitemap文件

         Sitemap翻译为中文就是站点地图，主要就是用于告诉百度谷歌360等搜索引擎需要抓取的内容。该文件一般有三种格式：html、xml、txt。网上也有很多在线生成Sitemap，大家可以尝试去给自己的站点生成一个xml格式的Sitemap文件。然后将该文件上传到站点个的根目录，并在 robots.txt 文件中添加以下代码行来告诉搜索引擎 Sitemap 的存放位置。

Sitemap:<sitemap文件所在的网址>

如：Sitemap:http://www.sangsan.cn/sitemaps.xml

如果有很多个.xml 或 .txt 文件，则需要\先建立一个索引文件，把这些.xml 或 .txt 文件的完整网址列在其中。

 

二、robots.txt文件

        robots.txt这个文件可以说是网站和搜索引擎之间的传话员，用来告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不能被收录。robots.txt必须放置在一个站点的根目录下，而且文件名必须全部是小写。下面列出几个robots.txt的内容举例：

允许所有的搜索引擎蜘蛛robot访问：

User-agent: *

Allow:

禁止所有搜索引擎访问网站的任何部分：

User-agent: *

Disallow: /

禁止所有搜索引擎访问网站的几个部分（下例中的images/inc/目录）：

User-agent: *

Disallow: /images/

Disallow: /inc/

Sitemap:http://www.sangsan.cn/sitemaps.xml

        作为一名网站管理员，为了保证服务器的安全和性能，必须使搜索引擎的蜘蛛程序远离某些服务器上的目录。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。