东莞亿网网络提醒请谨慎在robots.txt中增加sitemap链接
来源：本站原创 作者：佚名 日期：2015年05月28日
一直以来，大家都在寻找各种方式向搜索引擎提供自己网站的内容，其中就包括sitemap，甚至很多文章介绍说在robots.txt增加sitemap的指向效果非常明显。
是否真的有那么神奇呢？其实不然！
东莞亿网为工作的原因包括东莞SEO,东莞网络公司哪家好,东莞网站优化,东莞网络营销,东莞网站建设,东莞网页制作,东莞网站设计,东莞画册设计,东莞画册印刷，有幸接触到了一次实战，而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。
sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。
根据不同的站点规模，我们选择了不同的方式；
增加的格式如下：
站点1规模较大，使用的是sitemap的索引文件，索引文件再包含其他sitemap文件。
在robots.txt的最后一行增加 Sitemap：http://www.web1.com/sitemap.xml
sitemap.xml索引文件的内容格式如下：
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.web1.com/sitemap1.xml</loc>
<lastmod>2011-05-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.web1.com/sitemap2.xml</loc>
<lastmod>2011-05-01</lastmod>
</sitemap>
</sitemapindex>
站点2和站点3规模都较小，采用的是直接指向具体的sitemap.xml
在robots.txt的最后一行增加 Sitemap：http://www.web2.com/sitemap.xml
具体格式如下：
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.web2.com/</loc>
<lastmod>2011-05-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
增加完毕3天后，就有了变化，情况并不像预期的那样好，具体表现如下：
1、百度：3个站的收录迅速变慢，尤其是站点1，从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录，分析日志发现百度的蜘蛛来了，但收录的内容极少，或者干脆只停留几分钟就走了，站点2和站点3的每天新收录数变成了0，之前是每天基本有10页左右。
2、google：整体来说，google的效果最好，站点1的收录迅速上升了，并且很多之前从不收录的页面也开始收录了，站点2和站点3的收录变化不是很大，排名有所上升，不知道是不是碰巧。
3、soso：所有站点的收录开始减少，基本没有收录新增加的页面，尽管站点1每天的更新量都在2000左右。
4、sogou：基本类似于百度。
5：bing：收录有小幅上升，但不是很明显。
出现这么糟糕的后果，使我们东莞市亿网网络有限公司团队所有人员都不愿意看到的，于是果断的删除了所有的sitemap指向；
3天过后，百度收录开始正常，google变化不大，其他搜索引擎的收录基本恢复正常。
由此可以推断，各个搜索引擎对于sitemap的理解和接受是不一样的，这里面的技术问题我们也无法去讨论，但是实践证明，如果你的站点结构合理，收录也正常，完全没有必要去做什么sitemap，笔者个人认为，sitemap比较适合小规模的站点，并且是站点结构不太合理的小规模站点，如果你的网站结构合理，搜索引擎均能自己完成收录。
另外比较重要的一点，如果你已经做了sitemap，就最好保持时刻更新，最好是程序自动化的更新。
以上只是笔者个人的一些实践体会，不能保证实验结果一定正确，也不具备指导性，只是和广大朋友探讨交流。
是否真的有那么神奇呢？其实不然！
东莞亿网为工作的原因包括东莞SEO,东莞网络公司哪家好,东莞网站优化,东莞网络营销,东莞网站建设,东莞网页制作,东莞网站设计,东莞画册设计,东莞画册印刷，有幸接触到了一次实战，而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。
sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。
根据不同的站点规模，我们选择了不同的方式；
增加的格式如下：
站点1规模较大，使用的是sitemap的索引文件，索引文件再包含其他sitemap文件。
在robots.txt的最后一行增加 Sitemap：http://www.web1.com/sitemap.xml
sitemap.xml索引文件的内容格式如下：
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.web1.com/sitemap1.xml</loc>
<lastmod>2011-05-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.web1.com/sitemap2.xml</loc>
<lastmod>2011-05-01</lastmod>
</sitemap>
</sitemapindex>
站点2和站点3规模都较小，采用的是直接指向具体的sitemap.xml
在robots.txt的最后一行增加 Sitemap：http://www.web2.com/sitemap.xml
具体格式如下：
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.web2.com/</loc>
<lastmod>2011-05-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
增加完毕3天后，就有了变化，情况并不像预期的那样好，具体表现如下：
1、百度：3个站的收录迅速变慢，尤其是站点1，从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录，分析日志发现百度的蜘蛛来了，但收录的内容极少，或者干脆只停留几分钟就走了，站点2和站点3的每天新收录数变成了0，之前是每天基本有10页左右。
2、google：整体来说，google的效果最好，站点1的收录迅速上升了，并且很多之前从不收录的页面也开始收录了，站点2和站点3的收录变化不是很大，排名有所上升，不知道是不是碰巧。
3、soso：所有站点的收录开始减少，基本没有收录新增加的页面，尽管站点1每天的更新量都在2000左右。
4、sogou：基本类似于百度。
5：bing：收录有小幅上升，但不是很明显。
出现这么糟糕的后果，使我们东莞市亿网网络有限公司团队所有人员都不愿意看到的，于是果断的删除了所有的sitemap指向；
3天过后，百度收录开始正常，google变化不大，其他搜索引擎的收录基本恢复正常。
由此可以推断，各个搜索引擎对于sitemap的理解和接受是不一样的，这里面的技术问题我们也无法去讨论，但是实践证明，如果你的站点结构合理，收录也正常，完全没有必要去做什么sitemap，笔者个人认为，sitemap比较适合小规模的站点，并且是站点结构不太合理的小规模站点，如果你的网站结构合理，搜索引擎均能自己完成收录。
另外比较重要的一点，如果你已经做了sitemap，就最好保持时刻更新，最好是程序自动化的更新。
以上只是笔者个人的一些实践体会，不能保证实验结果一定正确，也不具备指导性，只是和广大朋友探讨交流。
