区分正常与异常,核心不是看“有没有报错”,而是看主机与域名的配置结果是否符合你的预期,并且能被外部网络稳定复现。正常结果通常表现为:域名解析到正确IP、HTTP与HTTPS都能按预期响应、站点内容可访问、搜索引擎能抓到页面。异常结果则表现为:解析指向错误、响应超时、证书不匹配、返回错误状态码,或同一域名在不同网络下表现不一致。判断时要把“首次配置”和“长期运行”分开看,首次配置允许短暂传播延迟,长期运行不允许持续异常。
在检查之前,先写下三条预期,否则无法区分正常与异常:
如果这三条没有写清楚,看到“能打开”就认为正常,很容易漏掉解析错误、证书错误或抓取被误挡的问题。适用条件是:你至少能登录域名管理后台和主机控制面板,或者能通过命令行查询公开信息。
nslookup 你的域名或dig 你的域名查询,返回的A记录或CNAME与主机商给出的目标一致。首次修改后短时间内不一致可能是缓存,持续超过预期传播时间仍不一致就是异常。curl -I https://你的域名查看响应头,预期页面应返回200;如果设置了跳转,应返回301或302并指向正确地址。返回404、500、502、503都属于异常,除非你明确知道该路径本就不存在。robots.txt,确认目标页面没有被误挡。robots.txt的抓取限制不等于可靠的索引移除,页面仍可能因其他原因出现在结果中;站点地图也不保证收录,它只是提交线索。时间和人手有限时,按“先解析、再响应、后抓取”的顺序处理,因为后一步依赖前一步。
robots.txt是否误挡、页面是否返回noindex、是否有规范链接指向其他地址。不同搜索引擎支持情况须分别核查,不能用一个平台的结果推断另一个平台。假设你刚把域名解析到新主机,可以按下面顺序执行,并记录每步结果:
dig 你的域名 +short,与主机商给出的目标比对。curl -I https://你的域名,记录状态码和跳转地址。curl https://你的域名/robots.txt,确认没有误挡重要路径。如果前两步就失败,先不要处理抓取和收录问题,因为搜索引擎也访问不到。如果前两步正常但搜索不到,再进入抓取与索引检查。验收信号是:解析一致、状态码符合预期、证书匹配、robots不挡目标页面,并且换网络后结果一致。
下一步:把你当前的域名解析记录、HTTP响应头和robots.txt内容各截取一份,按上面的检查表逐项对照,先处理第一个不符合预期的环节,再继续往后查。