ujDdZddlZddlZddlZddlZddlZddlZddlmZmZddl m Z m Z ddl Z ejjddZdZdZd Zd d iZd Zd Zej.edz Zej3dZdZdZdZdZdZe dk(reyy)u; crawl_hetang.py — 株洲市荷塘区人民政府-通知公告 CMS: ZZCMS（株洲CMS） 列表: 静态HTML分页 /c11731/pages/{N}.html 详情: div.page_name 标题, div.page_time span 日期, div.page_text#page 正文 总: ~100+页, 15条/页 (近3年 ~91页 ~1365条) 运行: python3 crawl_hetang.py [--full] N)datetime timedelta)ThreadPoolExecutor as_completed SEARCH_DBz/root/search.dbu+株洲市荷塘区人民政府-通知公告u株洲市荷塘区人民政府zhttp://www.hetang.gov.cnz User-Agentz]*title="([^"]*)"[^>]*>.*?\s*]*>\s*(\d{4}-\d{2}-\d{2})\s*http/)BASE_URLurllibrequestRequestHEADERSurlopenreaddecode ExceptionrrecompileDOTALLfinditergroupstrip startswithappend) page_nourlreqresphtmlearticlespatternmhreftitledatefull_urls rfetch_list_pagerA$sp!| ,- . 7 .. g 6C~~%%c2%6yy{!!!3 Hjjm G  d # 1wwqz!   "wwqz! ??6 "H __S !$H#~,H5$/0 1 O1  c'+A3 /0 sAE-- F6FFFctjj|t}t j t jdd tjj|d}|jjd}|}tjd |tj}|r |j!d j#}nktjd|tj} | rD| j!d j#} tj$dd| j#}d } tjd|tj} | r6| j!d j#} tj$dd| } |||| fS#t$r$}td|d d d ||||d fcYd }~Sd }~wwxYw)u0爬详情页 -> (url, full_title, date, content)rg333333?g333333?rrrru详情页失败 N: z)]*>(.*?)rz(.*?)z-.*$zM]*>(.*?)\s*(?: