/wj B d Z ddlZddlZddlZddlZddlZddlZddlmZ ej j dej j ej j e
ddlmZ ddlmZmZ ej$ ed z
j' d Zd Zd
Zd Zd Zd
edz dZd Zd Zd Z ddZ e dk( rW ej> Z e jC de"d e jG Z$ e e$jJ Z& e'de de& d yy) u crawl_sheyang_hjbh.py - 射阳县-生态环境
站点: https://www.sheyang.gov.cn/col/col24425/index.html?uid=32978
CMS: 江苏政府网站群 col/col + jpage 组件 (WCM)
列表: UL.xxgk_list > LI.cf > A[title] 标题 + SPAN 日期(YYYY-MM-DD); 数据在
分页: ⚠️ 无真实分页 — 首页 CDATA 一次性输出全部 75 条 (jpage dataproxy.jsp 返回空, totalRecord 为模板默认)
详情: p.con-title 标题(模板标记begin/end间) + div.main-txt#zoom 正文(ContentStart~ContentEnd) + meta Maketime 日期
附件: 正文内链接保留; div.xz 附件区为空(此栏目以公报/新闻为主)
N)urljoin)push_to_searchdb)datetime timedeltaiG )daysz%Y-%m-%du 射阳县-生态环境u 江苏zhttps://www.sheyang.gov.cnz"/col/col24425/index.html?uid=32978zoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36z/col/col24425/index.html)z
User-AgentRefererc t j | dt d }d|_ |j S # t
$ r+}t
d| d| t j Y d }~yd }~ww xY w) N) F)timeoutheadersverifyzutf-8z[WARN] fetch failed: z - )file ) requestsgetHEADERSencodingtext Exceptionprintsysstderr)urlres '/root/gov_crawler/crawl_sheyang_hjbh.pyfetchr sZ LLgwu M
vv
%cU#aS1
Cs /2 A&!A!!A&c ^ | dkD rg S t t t z }|sg S g }t j d|t j
D ]` }|j
d }t j d|t j
}|s=|j
d |j
d |j
d |j
d j f\ }}}} |xs t j dd | j }
t j d
d |
j }
t j d d |
}
t |
dk rd
|vsd|vrt t | } t j d| } | r| j
d nd }
|j | |
|
d c |S )u2 列表页: 无分页, 首页 CDATA 即全部记录r z& zM]*title="([^"]*)"[^>]*>(.*?)\s*([^<]*) <[^>]+>r \s+ ^\s*(?:·| |·|\s)+z/art/
art_24425_(\d{4}-\d{2}-\d{2}))r pub_datetitle)
r BASELIST_URLrefinditerDOTALLgroupsearchstripsublenr append)page_idxhtmlitemsmrecamhref
title_attr
title_html date_textr+ r mdpds r
fetch_listrC ( sv !| !D E
[[BD"))
T Cggaj
YYgilnpnwnw
x 24((1+rxx{BHHUVKY[YaYabcYdYjYjYl2l/j*iArvvj"j AHHJvsE*0028"eD u:> $ ,d": dD!
YY-y
9 RXXa[B
Sb5AB%C& L c t }|syd}t j d|t j }|rt j dd|j d t j }t j dd| j
}t j dd | j
}|s7t j d
| }|r |j d j
}t j d d| }t j d d| }d}t j d
| }|r8t j d|j d }|r|j d }|sPt j d| }|r8t j d|j d }|r|j d }d}|j d }|j d } |dk7 r)| dk7 r$| |kD r ||t d z | j
}|j
sFt j d|t j }|r |j d j
}t j dd|t j t j z }t j dd|t j t j z }t j d fd| }t j d fd| }t j dd| }t j dd| }|||j
fS ) u] 详情页: con-title 标题 + main-txt#zoom 正文(ContentStart~ContentEnd) + Maketime 日期)r r r r z1]*class="[^"]*con-title[^"]*"[^>]*>(.*?)z
r )flagsr$ r% r& z/]*class="[^"]*main-txt[^"]*"[^>]*>(.*?)(?:]*class="xz"|\s*