在我们设置了404页面后，当蜘蛛在爬行时，就会获得了404错误的通知，也就不会去抓取其网页的内容了。反之，若是没有设置404页面，蜘蛛就会继续抓取，最后可能会产生许多的无效页面，结果形成网页信息的重复堆积，这样下去可能会引起网站被降权，情况严重时，甚至会被K站。从另一个方面来说，设置了404页面也让用户体验有了提升，对用户感受来说较为友好，而这也无疑会为SEO网站优化效果加分。