# 日跑问题记录 2026-09-02

## 总览
- 日跑完成: 0点启动, 10:07 结束 (🏁 调度完成, stats + FIX-MD 均完成)
- 配置 1765 条 / 站点 2006 / 数据库总量 456508
- 状态分布: 成功 1922 / 脚本异常 32 / 超时 16 / 站点不可达 5 / 失败 1 = 1976
- 今日新增(new_count 合计): 34360 —— ⚠️ 其中混入假计数(见「假计数」节), 真实新增远小于此
- 进程: 无残留, 干净退出

## 问题脚本明细 (54)

| 脚本 | 配置 | 状态 | 错误摘要 | 判定 |
|---|---|---|---|---|
| crawl_rushan_gggs.py | 乳山市-通知公告 | 失败 | rc=76 但正常抓取输出 | 无害(已知 rc≠0 但数据入库) |
| crawl_cs_gz.py | 赤水市-通知公告-最新信息 | 站点不可达 | HTTPS 证书警告 + 网络抖动; 手动跑 rc=0 | 偶发 |
| crawl_gxq_yl_tzgg.py | 榆林高新区-通知公告 | 站点不可达 | NewConnectionError Errno 101 | 偶发(网络) |
| crawl_hebi_hjyxpj.py | 鹤壁市生态环境局-环评 | 站点不可达 | Playwright goto 失败 | 偶发(网络), 8/26 已记录超时组 |
| crawl_jilin.py | 吉林省生态环境厅-受理公示 | 站点不可达 | 扫描正常后网络断 | 偶发 |
| crawl_lhyc.py | 漯河市郾城区-项目环评 | 站点不可达 | urlopen 网络错误 | 偶发 |
| crawl_bp.py | 北票市政府信息公开 | 脚本异常 | 证书警告+后续截断 | 偶发 |
| crawl_chuzhou_scp.py | 中新苏滁高新区-公示公告 | 脚本异常 | database is locked | 偶发(手动跑 新增4/跳过16 rc=0) |
| crawl_cznq.py | 南谯区人民政府-通知公告 | 脚本异常 | OperationalError (截断) | 偶发(DB 锁) |
| crawl_daying.py | 大英县人民政府-生态环境 | 脚本异常 | OperationalError (截断) | 偶发(DB 锁) |
| crawl_fjql.py | 福建清流-公告公示 | 脚本异常 | 抓完 75 条后崩溃(截断) | 偶发(手动 rc=0) |
| crawl_fjsg_hjxp.py | 福建三钢-环评公示 | 脚本异常 | 抓取中崩溃(截断) | 偶发 |
| crawl_guiping_tzgg.py | 桂平市人民政府-通知公告 | 脚本异常 | 抓取中崩溃(截断) | 偶发 |
| crawl_huidong.py | 惠东县黄埠镇-镇街信息 | 脚本异常 | OperationalError (截断) | 偶发(DB 锁) |
| crawl_huojia.py | 获嘉县-行政许可和行政处罚 | 脚本异常 | 抓 6 页后崩溃(截断) | 偶发 |
| crawl_ji_an.py | 吉安市 | 脚本异常 | 抓取中崩溃(截断) | 偶发 |
| crawl_jingyuan.py | 靖远县人民政府-公告公示 | 脚本异常 | 收集 340 条后崩溃(截断) | 偶发 |
| crawl_jinxi_gg.py | 金溪县-公示公告 | 脚本异常 | DB error: database is locked (多条) | 偶发(DB 锁) |
| crawl_jseia.py | 江苏环评信息公示平台 | 脚本异常 | SSL CERTIFICATE_VERIFY_FAILED | ✅ 已修复(见下) |
| crawl_juye.py | 巨野县人民政府-法定主动公开 | 脚本异常 | OperationalError: data (截断) | 偶发(DB) |
| crawl_laiyang_hjsp.py | 莱阳-建设项目环评审批 | 脚本异常 | DB error: database is locked | 偶发(DB 锁) |
| crawl_liyang_xxgk.py | 溧阳市-政府信息公开 | 脚本异常 | 多栏目抓取中崩溃(截断) | 偶发 |
| crawl_longtan_zcfg.py | 龙潭区人民政府-政策法规 | 脚本异常 | 404 + 后续崩溃 | 偶发 |
| crawl_luanxian_854.py | 滦州市人民政府-服务事项 | 脚本异常 | 抓取中崩溃(截断) | 偶发 |
| crawl_luzhou.py | 泸州市人民政府-公示公告 | 脚本异常 | cur. 截断(DB) | 偶发(DB) |
| crawl_mas.py | 马鞍山慈湖高新区通知公告 | 脚本异常 | database is locked | 偶发(DB 锁) |
| crawl_npq.py | 南票区通知公告 | 脚本异常 | 抓 4 页后崩溃(截断) | 偶发 |
| crawl_poyang.py | 鄱阳县-环境保护 | 脚本异常 | 崩溃(截断) | 偶发 |
| crawl_qingcheng.py | 庆城县-生态环境 | 脚本异常 | DELETE gov_search 处崩溃 | 偶发(手动 rc=0) |
| crawl_qqhrlsq.py | 齐齐哈尔龙沙区-环境保护 | 脚本异常 | save() 处崩溃(截断) | 偶发 |
| crawl_qtxgov_shbz.py | 青铜峡市人民政府-社会保障 | 脚本异常 | 抓 69 条后崩溃(截断) | 偶发 |
| crawl_rongzhou.py | 荣县人民政府-其他法定信息 | 脚本异常 | save_article 处崩溃(截断) | 偶发 |
| crawl_shangyu.py | 绍兴上虞区人民政府-环评公示 | 脚本异常 | 收集 150 链接后崩溃(截断) | 偶发 |
| crawl_sxepb_spgs.py | 绍兴市生态环境局-建设项目审批公示 | 脚本异常 | API 抓取中崩溃(截断) | 偶发 |
| crawl_tianzhu.py | 天柱县-通知公告 | 脚本异常 | 抓 100 条后崩溃(截断) | 偶发 |
| crawl_tongzhou.py | 南通通州区-公告公示 | 脚本异常 | 抓 199 条后崩溃(截断) | 偶发 |
| crawl_tzw_nantong.py | 南通市通知公告 | 脚本异常 | 分页抓取中崩溃(截断) | 偶发 |
| crawl_yujiang.py | 余江区生态环境局 | 脚本异常 | 抓取中崩溃(截断) | 偶发 |
| crawl_ahhz_public.py | 徽州区农业农村局-公开公示 | 超时 | [TIMEOUT] 600s | 持续超时组(次日重试) |
| crawl_baiyin_ssthjj.py | 白银市生态环境局-建设项目环评 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_changshu_gsgg.py | 常熟市-公示公告 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_donggang_sthj.py | 东港市-生态环境领域 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_gddrc_jnjc.py | 广东省能源局-节能审查 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_gdyunan_jsxm.py | 郁南县-建设项目环评 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_guazhou.py | 瓜州县人民政府 | 超时 | [TIMEOUT] | 已知无写库脚本 |
| crawl_jiashan_gggs.py | 嘉善县-公告公示 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_jinjiang.py | 晋江市-环评信息 | 超时 | [TIMEOUT] | 持续超时组(8/26 已记录) |
| crawl_jinjiang_sthj.py | 晋江市-绿色转型-生态环保 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_lcx.py | 黎川乡镇动态 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_quxian_gsgg.py | 渠县-公示公告 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_rev_tzgg.py | 包头稀土高新区-通知公告 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_shuicheng.py | 水城区人民政府网-通知公告 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_sthjsh.py | 上海市建设项目环评公示 | 超时 | [TIMEOUT] | 持续超时组 |
| crawl_taiqian_tzgg.py | 台前县政府公告 | 超时 | [TIMEOUT] | 持续超时组 |

## 已修复
- **crawl_jseia.py (江苏环评平台)**: SSL CERTIFICATE_VERIFY_FAILED (urllib 默认验证, js-eia.cn 证书链不完整) → 加 ssl 免验证 context, 两处 urlopen 传 context。手动实跑恢复抓取 (窗口 2026-09-01~02 数据正常)。服务器留 .bak-20260902; 本地已同步 md5=60a6a47f (坚果云走每日 tar.gz 备份)

## 假计数 (需关注)
今日 new_count 合计 34360 偏大, 抽查发现大额为假计数 (extract_new_count 匹配到正文/年份数字):
- crawl_xjqh_tzgg.py: new_count=12315 (正文含「拨打12315热线」) — 实际抓取输出 JSONL 不导库, 库内青河县 112 条停在 8-18
- crawl_baixiang_gsgg.py: new_count=2026 (年份) — 手动跑实际增量 25 条, 正常入库
- crawl_qinyuan_gsgg.py: new_count=2024 (年份) — 手动跑正常 (JSONL 输出型)
- crawl_shucheng.py: new_count=2020 (年份)
→ 次日对比时忽略这几个数字; xjqh 疑似 JSONL-only 假健康 (汇报成功但数据不进库), 待排查入库路径

## 环境
- 内存: 1.7G 总, free 90Mi, available 954Mi, swap 7.8G 用 1.3G — 紧张但今天无新 OOM (dmesg 最新 OOM 是 8/24 旧记录)
- 磁盘: / 69% (12G 可用), /mnt/data 37% (60G 可用) — 正常