uj d Z ddlZddlZddlZddlZddlmZ ej j dej j ej j e ddl m
Z
mZmZmZmZmZmZmZmZ dZdZdZdZd Z ej6 d
ej8 Z d Z d Z d
Z d dZ!e"dk( rddl#Z# e#jH de Z%e%jM de'd e%jM ddd e%jQ Z)e)jT r e+d ejX d e+de d ej Z- e!e)j\ e+d ej e-z
d d yy)!u
crawl_zuoyun.py — 左云县人民政府·公示公告 爬虫
=============================================
列表：所有条目一次性加载在 HTML 中（客户端分页，无需翻页）
详情：...
日期：
用法:
python3 crawl_zuoyun.py # 全量爬（近3年，含"项目"）
python3 crawl_zuoyun.py --limit=5 # 测试只跑5条
python3 crawl_zuoyun.py --stats # 看统计
N)urljoin)
fetch_page
parse_date
clean_htmlTHREE_YEARS_AGOextract_date_from_htmlextract_content_by_selectorextract_content_by_regex
save_jsonlpush_to_searchdbu 左云县人民政府zhttps://www.zuoyun.gov.cnz2https://www.zuoyun.gov.cn/zyxrmzfz/gsgg/list.shtmlzQ]*data-time="([^"]*)"[^>]*data-url="([^"]*)"[^>]*data-title="([^"]*)"[^>]*>z .TRS_Editorz.]*name="PubDate"[^>]*content="([^"]+)"c ` fd}t j d|| t j } | S )u9 将 HTML 中的相对路径（src/href）转为绝对 URLc | j d }| j d }|j d r| j d S t | }| d| dS )N )zhttp://zhttps://z//zdata:z javascript:#ztel:zmailto:r z="")group
startswithr )mattrvalabs_valbase_urls !/root/gov_crawler/crawl_zuoyun.py_absz_abs_urls.._abs0 sW wwqzggaj >>g h771: (C(r'!$$ z(src|href)="([^"]+)")flags)resubI)htmlr r s ` r _abs_urlsr" . s( % 66)4RTT BD Kr c V g }t j t | D ] }|j d j }|j d j }|j d j }|r|set t | }|j |||d |S )u6 从列表页提取所有条目（全部在 HTML 中）r r )titleurlpub_date)r finditerLIST_ITEM_PATTERNr stripr LIST_URLappend)r! itemsr date_strhrefr% full_urls r get_list_itemsr1 ? s E
[[*D
1 771:##%wwqz !
"D 8T*
Lr c t | }|sdddS t |t }|rQd|v rMt j d|t j
}|rt
|j d }n t
| }|rt | dk rAt j d|t j
}|rt
|j d }|r t || }d}t j | }|rt |j d }||dS )u3 访问详情页，返回正文 HTML 和发布时间 )contentr' z
z (.*?)r 2 ) r r DETAIL_SELECTORr searchDOTALLr r lenr" META_PUBDATEr )r& r! r4 r r' s r
get_detailr; U s c?D 2.. *$@G ?g- II97BII N ,G )G c'lR' II94 K ,G GS) HD!A aggaj) H 55r c t dt t t }|s t d yt | }t dt | d g }|D ]9 }d|d vr |j d r
|d t k r)|j | ; t }g }|D ]/ }|d |vs |j |d |j | 1 t d
t | d | r|d | }g }d\ }} t |d
D ] \ }
} t | d } t | d | d | d | d xs | d t d}
|j |
t |
|d
z
}|
dz dk( s|
t | k( spt d|
dt | d| d| |r!t |t j dd t d| d || fS )u' 全量爬取（近3年，含"项目"）u 📡 请求列表页: u ❌ 列表页请求失败)r r u 列表页: 共 u 条u 项目r% r' r& u
过滤后: u 条（含"项目"+近3年）Nr r4 ) site_namer% r& r4 r' tags r z [/u ] ✅u ❌ _) batch_labelu ✅ 完成: 共u 条)printr+ r r1 r9 getr r, setadd enumerater; SITE_NAMEr r replace) max_itemsr! all_itemsfiltereditseenunique collectedokfailiitemdetailentrys r crawlrX } s $XJ
/0 h D
+, t$I c)n -T
23 H 2g; &
66* "Z.?"B 5D
F
e9D HHRY MM"
M#f+ &E
FG
# IHB VQ' >4DK("']; i( z*>d:.>
5
a q5A:c&k) Cs!CK=bTdV< = >" 0A0A#s0KL bT
%&
t8Or __main__u 爬虫: ) descriptionz--limitu 测试：只跑 N 条)typehelpz--stats
store_trueu 查看 eia.db 统计)actionr\ u5 📊 统计数据: 请登录服务器查看 search.dbu
📡 [u$ ] 开始爬取 (含"项目"+近3年))rK u ⏱ 耗时: z.1fzs
)N)/__doc__r sysostime urllib.parser pathinsertdirnameabspath__file__ crawler_libr r r r r r r
r r rI BASE_URLr+ r) r6 compiler r: r" r1 r; rX __name__argparseArgumentParserparser add_argumentint
parse_argsargsstatsrD exitt0limit r r ry so 277??277??8#<= >
$ ' @ i rzz5rtt
",!6P8v z
$X
$
$8I;1G
HF
2IJ
,=ST D zz
EF HYK E
FG B DJJ LR ,C
01 r