资源与节点

节点如何配置

节点并不是越多越好，配置时要先确认域名数量、页面规模、更新频率以及计划运行的周期。

接入后应保留调整空间，根据实际访问日志和节点状态再决定是否扩容。

接入条件

域名解析、服务器响应、robots 规则和页面链接需要保持正常，蜘蛛才能顺利访问目标页面。

如果页面长期返回 4xx、5xx，或重要内容依赖脚本后置加载，应先处理可访问性问题。

运行检查

运行期间可结合蜘蛛访问日志、HTTP 状态码、节点在线情况和抓取页面分布判断链路是否正常。