话题一.百度优先建设重要索引库的原则。

　　Baiduspider(百度蜘蛛)抓了多少页并不重要，重要的是建了多少页的索引库，也就是我们常说的，“建库”。众所周知，搜索引擎的索引库是分层次的，高质量的网页会被分配到重要的索引库，普通的网页会留在普通的库里，更糟糕的网页会被分配到低级的库里作为补充材料。目前60%的搜索需求只能通过调用重要索引库来满足，这就解释了为什么有些网站的高流量收录并不理想。

　　那么，哪些网页可以进入高质量的索引库呢。事实上，一般原则是：对用户的价值。包括但不仅如下：

　　一.高价值原创内容页面：百度将原创定义为一定成本.积累大量经验后形成的文章。不要再问我们伪原创是不是原创。

　　二.重要的个人页面：这里只有一个例子，科比在新浪微博上开户，需要他经常更新，但对百度来说，它仍然是一个重要的页面。

　　三.高质量的内容主题页面：主题页面的内容不一定是完全原创的，即可以很好地整合各方的内容，或者添加一些新的内容，如意见和评论，给用户更丰富和全面的内容。

　　四.及时性和有价值的页面：在这里，及时性和价值是平行的，是必不可少的。一些网站为了产生及时性内容页面做了大量的收集工作，产生了一堆毫无价值的页面，这也是百度不想看到的。

　　话题二.哪些网页不能建入索引库。

　　高质量的网页进入索引库，事实上，互联网上的大多数网站根本没有被百度包括在内。并不是百度没有找到他们，而是在建立库之前过滤掉了筛选链接。那么，什么样的网页在最初的链接中被过滤掉了：

　　1.重复内容网页：互联网上现有内容，百度不必再收录。

　　2.主体内容空短的网页。

　　百度使用了一些内容spider不能分析的技术，如JS.AJAX等等，虽然用户访问可以看到丰富的内容，但仍会被搜索引擎抛弃。

　　加载速度太慢的网页，也可以作为空短页面处理，注意广告加载时间计算在网页的整体加载时间内。

　　很多主体不突出的网页即使被抓回来也会在这个环节被抛弃。

　　部分作弊网页。