ujY J d Z ddlZddlZddlZddlZddlZej j dd ddlm Z m
Z
ddl Z ddlZdZ dZ
dZ ej dd Zd
Zd Zd Zd
Zedk( r8 ej Z e ed ej ez
dd yy)u
南雄市人民政府 - 建设项目环境影响评价信息
https://www.gdnx.gov.cn/zdly/hjbhh/zxcx/
WAF防护较强（创宇云盾），详情页可能被屏蔽。
先从列表页提取标题+日期，正文待WAF解封后自动补充。
Nz/root/gov_crawler)
fetch_page
clean_htmlu 南雄市-建设项目环评zhttps://www.gdnx.gov.cnz2https://www.gdnx.gov.cn/zdly/hjbhh/zxcx/index.html SEARCH_DBz/root/search.dbz
2023-06-01c g }t j d| t j D ] }|j d }d|vrt j d| }t j d| }|r|sJ|j d j }|j d j }d}t j d| } | r| j d }|j
|||f |S )u) 从列表页提取 (title, url, date_str)z(.*?) z content/postzAhref="(https://www\.gdnx\.gov\.cn/zdly/hjbhh/zxcx/content/[^"]+)"ztitle="([^"]+)" z(20\d{2}-\d{2}-\d{2}))refinditerDOTALLgroupsearchstripappend)
htmlitemsmliurl_mtitle_murltitledate_strdate_ms
/root/gov_crawler/crawl_gdnx.py
parse_listr s E
[[*D"))
< -
WWQZ # ^`bc)) .3G kk!n""$
a &&(3R8 ||AH
eS(+, - L c | sy t j t }|j d |j d d\ }}| D ]` } |j d|d d d |d |d |d d d |d
d d |d d d |d
dd|d d d f
|j dkD r|dz
}n|dz
}b |j |j dt f |j |j t d| d| d y # |dz
}Y xY w)NzPRAGMA journal_mode=WALzPRAGMA synchronous=NORMAL)r r zINSERT OR IGNORE INTO gov_raw (site_name, source_url, page_url, title, publish_date, summary, content, status, category, tags) VALUES (?,?,?,?,?,?,?,?,?,?) site_name r r i pub_date
summarycontentactiver tagsd r r zINSERT INTO gov_search(rowid, title, site_name, summary) SELECT r.id, r.title, r.site_name, r.summary FROM gov_raw r WHERE r.id NOT IN (SELECT rowid FROM gov_search) AND r.site_name=?u 💾 入库: 新增u , 跳过u , FTS已同步) sqlite3connectr execute
total_changescommit SITE_NAMEcloseprint)r dbokskipitems r insert_to_dbr3 ( sD #BJJ()JJ*+HB JJ / [!$3'ed5kW
ds#T*%5cr%:Y%tI"d6l4C 0 1
!#a IIKJJ MOXl\ IIKHHJ !"XdV>
BC AIDs
A DD c 0 t dd t dt t d g } t }t t j
dkD r%t j
d dk( rdg}t d nt
dd }t d |D ] }|dk( rt }n t d | d
}t d | d d
d t |d }|s
t d nt | }|s
t d n|t dt | d |D ]H \ }}} ||v r |j | | r
| t k r)| j t ||d| |d d dd J t j d | r t! | t dt | d y ) N
z2==================================================u 🏠 r incu 📋 增量模式：仅第1页 uK 📋 全量模式：7页从列表页导入（跳过WAF封锁的详情页）z/zdly/hjbhh/zxcx/index_z.htmlu 📄 第 u 页... T)endflushzutf-8)encodingu
❌ 无响应u 0 条u ✅ u 条r i, u 环评审批)r r r r# r r" r% g ?u
✅ 完成! 共 )r. r, setlensysargvrangeLIST_URLBASEr r addTHREE_YEARS_AGOr timesleepr3 )
all_items seen_urlspagespage_nor r r r hrefr s
r mainrL G s Bvh- E)
VHII
388}qSXXa[E 1
./a
[\ a<CF1'%@C
G9G,#TB#0 / " 4 'N
SZL%&%* !E4y MM$ H 6 & $ #;&
3? B Y s9~ .d
34r __main__u ⏱ 耗时: z.1fs)__doc__r> osr rE jsonpathinsert crawler_libr r r' r, rB rA getenvr rD r r3 rL __name__t0r. r r rY s & ' . * ? BIIk#4 5 ( D>25h z BF LR ,A
./ r