网站11月5日通过工信部备案成功后正式上线，访问网址：www.cfpack.com,自上线以来，网站每天更新原创文章、每天有规律的发外链，可是时间2个多星期过去了，百度对网站依然没收录。在持续一段时间坚持还有与同行朋友交谈之后，觉得这个问题可能出在站内，所以我就一点点的来进行排查。

  首先，网站不收录的原因，总体下来大概就几种，①文章质量，如果全部抄袭，百度不收录完全是正常的；②外链，如果没规律发布，百度认为你是作弊，或者用机器发的，甚至当做没意义外链，这个不收录也是正常的；③还有一个是robots.txt（以下简称robots），这个robots是百度搜索引擎（下称蜘蛛）进入网站第一个查看的东西，当你网站不存在这个协议的时候，蜘蛛就在你网站内徘徊，因为他看不到你的协议，他也不敢贸然去收录你站内的东西，所以此时就会出现了一个收录审核期。蜘蛛进去看到了robots之后，读懂了允许抓取之后，它是会对网站内的内容进行收录。正是因为这一点，我就猜想，网站不收录的原因会不会是可能由于我设置了404页面，而没设置了robots，导致蜘蛛在读取robots时自动转去了404页面，看不到我网站上是否允许蜘蛛抓取，所以导致蜘蛛在网站上不断徘徊。

  为了验证，在11月24日经过上传了robots之后，网站在2小时后就开始收录了第一个页面，内页http://www.cfpack.com/html/jgshipin/91.html ，果断证明了在设置了404页面的情况下的robots的重要性。因为网站上的404错误页面，会起到自动引导蜘蛛返回的作用，使得蜘蛛在那里转来转去，所以导致网站长时间不收录。同时建议各位网站在做优化的过程中一定要注意合理适度的优化，必须遵循搜索引擎规则。