"网站上线一个月了,百度一条都没收录。"这句话我每年要听几十次。多数人的第一反应是内容不够原创,然后开始猛写文章。但如果问题出在抓取通路上,写一百篇也是零。所以排查要按顺序,从底层往上走,每排除一层再看下一层。
第一层:蜘蛛能不能进来
1. 服务器响应超时
最常见,也最容易被忽略。国内服务器、境外服务器、共享主机,响应时间差别很大。蜘蛛抓取有超时限制,连续超时几次,抓取频次会被调低甚至暂停。用第三方测速工具测全国节点,首字节超过 1.5 秒就要处理。
2. 防火墙误拦
宝塔的防火墙、云厂商的 WAF、CDN 的 Bot 防护,都可能把百度蜘蛛当成攻击流量。检查访问日志里有没有 Baiduspider 的 403。有的话把百度 IP 段加白。
3. robots.txt 写错
Disallow: / 这一行能干掉整站。还有人写了 Disallow: /*,以为只屏蔽某个目录。改完记得在资源平台重新提交 robots。
4. 全站 noindex
测试环境加的限制忘了删,上线后整站带着 noindex。用浏览器查看源代码,搜一下 noindex,一分钟能确认。
5. 需要登录才能访问
有些站开了访问密码或者 IP 白名单,蜘蛛进来是 401。这种站在搜索结果里永远看不到。
第二层:有没有路走到页面
6. 没有 sitemap
新站没有外链,sitemap 是蜘蛛发现页面的主要入口。没有就生成一个,提交到资源平台。
7. 内链断链
导航链接指向 404,或者栏目页是空列表。蜘蛛顺着导航走,走到死胡同就回去了。用抓取工具跑一遍全站,把 404 和 500 清干净。
8. 层级太深
首页到最深的文章要点击五次以上,那批页面基本不会被抓。控制在三次以内,靠栏目页和标签页做中转。
9. URL 带一堆参数
?id=123&cat=4&from=list 这种 URL,蜘蛛会认为是无限组合,抓几个就放弃。伪静态成 /slug 或 /category/slug。
第三层:内容值不值得收
10. 采集内容
整段复制同行文章,百度早就有指纹比对。收录了也排不上,还可能被判低质站点。
11. 内容太薄
三百字的"公司简介"式页面,除了首页和联系页,其他页面很难被收。产品页至少要写清参数、适用场景、常见问题。
12. 大量重复页面
同一个产品生成了十几个不同参数的 URL,内容几乎一样。用 canonical 收敛,或者直接 noindex 掉筛选页。
13. 站点主题混乱
今天发 SEO 文章,明天发情感故事,后天发彩票资讯。搜索引擎判断不出你是干什么的,给的权重就很低。
14. 域名有前科
买的老域名如果之前做过灰产,可能还在处罚期。查一下历史快照和外链 profile,情况严重的换域名比救更快。
排查顺序建议
不要十四项一起查,按下面的顺序,遇到问题就停下来解决,解决完观察三到七天再往下走。
- 服务器响应与访问日志(有没有 Baiduspider、返回码是什么)
- robots.txt 与 noindex
- sitemap 与内链
- 内容质量与重复度
- 域名历史
这套顺序的逻辑是:先确认蜘蛛来了,再确认它走得通,最后才谈它愿不愿意收。顺序反了,就会在内容上反复折腾却看不到效果。
两个能立刻验证的动作
上面十四项偏排查,这里补两个正向验证的办法,做完心里就有底了。
第一,看日志里蜘蛛的行为轨迹。在服务器访问日志里筛 Baiduspider,看它访问了哪些 URL、返回码是什么、两次抓取间隔多久。如果它只抓首页不往里走,问题在导航和链接;如果它抓了内页但返回 404,问题在伪静态;如果返回 200 但页面内容是空的,问题在前端渲染方式。
第二,用资源平台的抓取诊断看蜘蛛眼里的页面。它会把抓取到的 HTML 原样展示出来。如果你看到的正文是空的,说明内容靠 JS 渲染,百度大概率读不到。这种情况要么改成服务端渲染,要么做静态化,光靠前端框架解决不了收录。
这两步做完,你至少知道问题在"进不来"还是"不想收",后面的动作才有方向。很多人跳过验证直接改内容,改了一个月发现蜘蛛压根没来过,时间全浪费了。
常见问题
主动推送能加速收录吗
能,但只是"通知",不保证收录。新页面发布后推送一次,配合 sitemap 更新,通常比干等快几天。推送额度有限,别浪费在筛选页和标签页上。
site 查询结果是零,是不是一定没收录
不一定。site 语法本身有延迟和抽样,用资源平台的索引量看更准。两个数据都为零,才是真的没收录。
换域名能不能解决问题
如果确认是域名历史问题,换域名并做好 301,是最快的路。但换之前一定要排除前十三项,否则换了还是老样子。