前言我手上有 5 个站一个 40 多万页的词典站、一个 3 万多页的文案站、一个 4 万多页的查询站、一个日历站和一个在线工具站。前四个是老站最后一个工具站是刚上线的。自以为老站该做的都做了直到我用一个下午逐项实测不是凭感觉是 curl 一个个抓页面看响应结果被新站狠狠打脸——新站几乎每个基础项都是缺的。这篇文章把我的自查清单和修复脚本全部分享出来你可以照着把自己的站过一遍。自查清单先收藏这张表检查项检查方法为什么重要title / meta description查看源码收录展示的基本盘description 影响点击率canonical查看源码防重复收录、权重分散robots.txtcurl /robots.txt爬虫的第一份说明书sitemapcurl /sitemap.xml收录效率的倍增器faviconcurl /favicon.icoGoogle 搜索结果直接展示结构化数据 JSON-LD查看源码搜ldjson富摘要、面包屑展示HTTP/2 gzipcurl -sI爬虫抓取预算和用户体验静态资源缓存curl -sI看缓存头老访客二次访问速度404 行为访问不存在的路径返回软 404 会污染收录下面按翻车程度排序讲。坑一favicon 没配——搜索结果里的灰色地球这是我损失最直观的一项。Google 搜索结果每条前面会显示站点图标没有 favicon 的站显示一个灰色地球占位符。同样的排名位置有图标的条目点击率明显更高。自查curl-o/dev/null-w%{http_code}https://yoursite.com/favicon.ico# 404 没配再看首页源码有没有 link relicon ...修复两步放一个真实的.ico文件到站点根目录首页head里加link relicon href/favicon.ico。注意Google 的站点图标爬虫不是实时的改完等几天到两周生效。另外.ico文件别随便拿一张 PNG 改后缀要用真 ICO 格式网上生成器很多。坑二robots.txt 404curl https://yoursite.com/robots.txt返回 404。影响有两层爬虫抓不到你的抓取规则更重要的是robots.txt 是声明 sitemap 位置的官方通道Sitemap: https://.../sitemap.xml。即使你的站没有要屏蔽的路径也建议放一个最小配置User-agent: * Allow: / Sitemap: https://yoursite.com/sitemap.xml如果你的站是 Node/PHP 动态渲染直接在代码里加个路由返回这段文本比放静态文件还好维护。坑三sitemap 没有或者只有半个工具站上线时压根没有 sitemap。我的做法是在 server.js 里加一个动态路由扫描工具目录自动生成elseif(p/sitemap.xml){consturlsfs.readdirSync(path.join(__dirname,tools)).filter(ff.endsWith(.html)).map(fhttps://${HOST}/tools/${f});constxml?xml version1.0 encodingUTF-8? urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9${[https://${HOST}/,...urls].map(uurlloc${u}/loc/url).join(\n)}/urlset;res.writeHead(200,{Content-Type:application/xml; charsetutf-8});returnres.end(xml);}动态生成的最大好处新增页面自动进 sitemap永远不会忘。大站几万页以上记得用 sitemap index 分片单文件 5 万条 URL 上限。坑四详情页没有 meta description新站的 100 多个工具页只有 title 没有 description。好消息是每个工具的介绍文案本来就在数据文件里desc字段写了个脚本批量注入一分钟跑完 100 个页面// 核心逻辑读数据文件里的 desc插到 head 后constdatarequire(./tools-data.js);for(consttoolofdata.tools){lethtmlfs.readFileSync(tools/${tool.id}.html,utf8);if(html.includes(namedescription))continue;// 幂等已注入跳过htmlhtml.replace(head,head\nmeta namedescription content${tool.desc});htmlhtml.replace(/head,link relcanonical hrefhttps://host/tools/${tool.id}.html\n/head);fs.writeFileSync(tools/${tool.id}.html,html);}两个要点描述从你已有的真实文案里来别生成垃圾句式百度对模板化 description 敏感脚本要幂等重复跑不会注入两次。坑五结构化数据缺失老站都配了新站没有。最值得配的三种 JSON-LDBreadcrumbList面包屑搜索结果里把丑陋的长 URL 换成首页 › 分类 › 详情层级路径层级深的站我的详情页在最底层尤其受益WebApplication工具类页面用它有机会触发富摘要FAQPage内容页有明确问答结构的可以上一个面包屑的示例可以直接抄scripttypeapplication/ldjson{context:https://schema.org,type:BreadcrumbList,itemListElement:[{type:ListItem,position:1,name:首页,item:https://example.com/},{type:ListItem,position:2,name:分类名,item:https://example.com/cat/},{type:ListItem,position:3,name:页面标题}]}/script上线后用 Google 的富媒体测试工具Rich Results Test验证一遍JSON 写错一个逗号整段作废。坑六静态资源缓存策略混乱新站所有资源都是Cache-Control: no-cache——每次访问都回源协商。而页面引用资源时都带着版本号style.css?v1.5.4这意味着完全可以放心地强缓存HTML保持no-cache ETag内容变了浏览器总能拿到新的带?v的静态资源public, max-age259200030 天res.setHeader(Cache-Control,p.startsWith(/assets/)?public, max-age2592000:no-cache);效果是老访客二次打开基本零请求LCP 直接起飞。前提纪律改任何静态资源必须换版本号不然用户会一直用旧缓存。加分项把新页面喂给搜索引擎除了被动等抓取两个主动通道百度自动推送页面被访问时向百度提交 URL一段 JS 搞定IndexNow必应/Yandex 等主动 POST 新 URL 列表可以做成定时任务每天推一批对新站来说爬虫发现的效率直接决定收录速度这两个通道值得都接上。修复后的效果修完当天顺手抓了几个页面复验robots/sitemap/favicon 全 200106 个页面 description 和 canonical 全覆盖。第三周开始工具站在百度的收录从个位数涨到了几十页——当然这里面有内容本身的功劳但基建补齐是前提。最后一个建议把这张自查表存下来每次上新站照着过一遍半小时能省掉之后几个月的为什么没收录焦虑。
