5 检查robots.txt文件。许多人对于这个文件不太重视，认为这里不会出问题，却经常因为它而导致网站被惩罚的情况不在少数。出现网站被全部删除时，就要去看看这个文件有不有错，有不有被改掉，造成长时间禁止引擎收剥网站内容。
最后，说一下，遇到网站被处罚时，不要着急，要静静想一想，自己最近或以前做过什么对蜘蛛不友好的事情没有。因为网站补惩罚一定是有原因的，并且有些情况很难用一两句话就说得清楚。所以要想对自己以外的网站诊断处罚的原因是有一定困难的。只有自己反省，才能找到正确的答案。当然，如果你确信自己没有作弊，那就静静的等，做自己应该做的事，也许，这是引擎对你的一个考验。或者不久的一段时间，排名就会重新回来，甚至更好。