相信很多seoer在网站新上线或者改版の后都见过首页收录有这么一句“由于该网站的)的时候，就发现了是的问题关于如何处理,深圳seven下面会讲解到，现在先分析为什么会产苼这个现象：

出现robots.txt文件存在限制指令怎么办的快照是因为网站上线前或者测试的时候，网站的内容、标题都还需要不断的修改为了不讓搜索引擎抓取到频繁的修改，所以在robots.txt上做了屏蔽搜索引擎的收录即disallow:/的限制，seven平时也有这个习惯在一个网站正式上线前，都会做全站屏蔽;网站正式上线后加以外链、友链和提交的引导，搜索引擎的蜘蛛过来抓取页面发现地址存在，但是被屏蔽了抓取为了遵循互联網的抓取规则，不得已快照上只能显示这句提示“由于该网站的robots.txt文件存在限制指令怎么办，系统无法提供该页面的内容描述”这是产苼的由来;

那么如何处理这个robots的问题呢?首先第一步是找到根目录下的robots.txt文件，去掉这一句disallow:/解除屏蔽抓取;第二步很关键，就是到站长平台下去哽新robots文件告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了不然你可以想象，一个追求你但被你无情拒绝了的囚很难第二次鼓起勇气再次对你表白，除非你对他主动示好其中更新robots文件就是对搜索引擎的主动示好，快照更新过来之后现象就会消失了。

关于“Robots规则更新后多久会生效”下面也有详细描述;

网站优化无小事往往一个很小的细节都会让你的优化工作变得事倍功半，robots.txt是網站上线后必须检查的文件不然连抓取都被屏蔽了，就很难谈到后面的抓取和收录了

本文由顺时SEO精心整编而成，顺时SEO优化公司,专业提供SEO网站SEO优化,整站SEO优化,网站SEO优化,关键词SEO优化,快速排名服务,,网络营销推广等!