zj! n d Z ddlZddlZddlZddlZddlZej j dd ddlm Z m
Z
ddl Z ddl m
Z
dZdZe dZ ej" d d
Zd Zd Zd
Zd Zd Zd Zd Zd Zd Ze dk( r8 ej Z e e d ej e z
dd yy)u
河北省发展和改革委员会 - 行政执法公示/事后公开/其他执法行为
https://hbdrc.hebei.gov.cn/ztzl/xzzfgs/shgk/qtzfxw/
TRS CMS：静态分页 createPageHTML(98, 0, "index", "html")
列表：tab_zfgs 表格（序号/项目名称/审批事项/批复文号/办结日期）
详情：同款表格，含审批事项/批准文号/项目名称/项目代码/行政相对人/批准内容/批准日期/批准机关 等
Nz/root/gov_crawler)
fetch_page
clean_html)urljoinu% 河北省发改委-其他执法行为zhttps://hbdrc.hebei.gov.cnz/ztzl/xzzfgs/shgk/qtzfxw SEARCH_DBz/root/search.dbz
2023-06-01b
c V | dk( r
t d}n t d| d}t |d }|S )u- 第1页: index.html；第N页: index_{N}.html /index.htmlz/index_z.htmlutf-8encoding) LIST_BASEr )page_nourlhtmls '/root/gov_crawler/crawl_hbdrc_qtzfxw.pyfetch_list_pager s8 !| ;' 77)51 cG ,D K c x g }| j d }|dk r|S | j d| }|dk r t | }| || }t j d|t j }|D ] }t j d|t j }t | dk r8t j
d|d }t j
d |d } |sm|j
d j }
| r | j
d j n't j d
d |d j } | rd | v s d
| v sd| v sd| v rt | dkD r(t j d
d |d j nd } t | dkD r(t j d
d |d j nd }
t | dkD r(t j d
d |d j nd }t j d|
sd|
vr| dk( r|
dk( r|j | |
|| |
f |S )u tab_zfgs 表格：| 1 |
截断标题 | 审批事项 | 批复文号 | 办结日期 |
tab_zfgsr ]*>(.*?)]*>(.*?) z]*href="([^"]+)"r
ztitle="([^"]+)"<[^>]+> u 首页u 关于本站u 联系我们u 法律声明 z ^\d{4}\d{2}/z/202 审批事项u 批复文号) findlenrefindallDOTALLsearchgroupstripsubmatchappend)r itemsidxendsegrowsrcellshref_mtitle_mhreftitle approve_itemdoc_nodate_strs r
parse_listr; $ s
E
))J
C
Qw
))J
$C
Qw$i
s3-C
::,c299 =D
D
7BIIF u:> 3U1X>)) .a9 ||A$$&,3
a &&(
BPUVWPX9Y9_9_9aE)^u-DZ_H_cquzcz CFu:PQ>rvvj"eAh7==?WY =@Z!^
Ba1779QS?B5zA~266*b%(399;SUxx.63E > )f.F
eT8\6BC-D. Lr c
t | d }|syi }|j d }|dk\ r|j d| }|dk r t | }||| }t j d|t j
}|D ] }t j d|t j
}|D cg c]< } t j d d
t j d d | j > }
} |
D cg c] } | s| }
} t |
d
k\ s|
d j d } |
d } | || < |j dd }
|j dd dd }t | }|
xs d|xs d|xs dfS c c} w c c} w )u8 详情页 tab_zfgs 表格 → 字段字典 + HTML 内容r r
)NNNr r r r r \s+ r r r u ：:r
项目名称 批准日期Nr ) r r" r# r$ r% r& r* r) rstripgetbuild_content_html)r r fieldsr. r/ r0 r1 r2 r3 ccleankeyvalr7 pub_datecontents r fetch_detailrK J sg cG ,D
F
))J
C
axii
C( 7d)C3smzz0#ryyA "AJJ ;Q JEUZ[PQRVVFC
B)BCIIK[E[ %+1Q+E+5zQAhoof-Ah !s "
JJ~r *Ezz."-cr2H (G =D'/T8+;t ;; \+s #AE**E/2E/c g d}dg}|D ]( }|| v s| | s|j d| d| | d * | j D ]% \ }}||vs |s|j d| d| d ' |j d dj | S )u 字段 → 结构化 HTML 表格)r! u 批准文号r? u 项目代码u 行政相对人名称u 行政相对人代码类型u 统一社会信用代码u 行政相对人代码u 批准内容r@ u 批准机关u 当前状态u 地方编码u 招标方案核准意见z^z@| z | z
|
r r )r, r- join)rD orderpartskvs r rC rC g s
iE n nE
;6!9 LL[\][^^ghnophqgrr|} ~ w1 E>a LL[\][^^ghigjjtu vw
LL
775>r c X | s t d y t j t }|j d |j d d\ }}| D ] } |j d|j dd d d |j d d |j d d |j d
xs dd d |j d xs dd d
|j d xs dd d |j dd dd|j d xs dd d f
}|j dkD r|dz
}n|dz
} |j |j dt f |j |j t d| d| d y # t $ r }t d| |dz
}Y d }~Sd }~ww xY w)Nu ⏭ 无数据zPRAGMA journal_mode=WALzPRAGMA synchronous=NORMAL)r r zINSERT OR IGNORE INTO gov_raw (site_name, source_url, page_url, title, publish_date, summary, content, status, category, tags) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?) site_namer r r7 i rI r summaryrJ activetagsd r r
u ⚠ 入库异常: zINSERT OR IGNORE INTO gov_search(rowid, title, site_name, summary) SELECT r.id, r.title, r.site_name, r.summary FROM gov_raw r WHERE r.id NOT IN (SELECT rowid FROM gov_search) AND r.site_name=?u 💾 入库: 新增u , 跳过u , FTS已同步) printsqlite3connectr executerB rowcount Exceptioncommit SITE_NAMEclose)r- dbokskipitemcures r insert_to_dbrh x s
#BJJ()JJ*+HB ** 8 b)$3/##'"(b$3/*%+Sb1)$*DS1B'"txx / 52t < : C ||a a #* IIKJJ MOXl\ IIKHHJ !"XdV>
BC *1#. / AID s CF F) F$$F)c t t dd t dt t d g } t }d}t t j
dkD r0t j
d dk( rt }t dt d ngt t j
dkD rKt j
d j r*t t t j
d t }t d|dz D ] }t d| d | d
d d
t | }|st d nct | }|st d nHt dt | d |D ] \ }}}} }
t t d| } | |v r!|j | |r
|t k r>t d|d d dd d
t# | \ } }
}| r| }|r|}t% j& dd |
xs d j) d d }t% j& dd | }| j+ t || |
xs d|xs d|dd t d| t- j. d t | t0 k r
t d nt- j. d | r t3 | t d t | d y ) N
z2==================================================u 🏠 r
fullu 📋 全量模式：u 页u 📄 第 /u 页...r> T)r/ flushu
❌ 无响应u 0 条（可能已到底）u ✅ u 条r z - z...r r i, r= u 行政执法公示)rS r7 r rJ rI rU rW g333333?u (末页)g ?u
✅ 完成! 共 )rY r` setr# sysargv TOTAL_PAGESisdigitminintranger r; r r addTHREE_YEARS_AGOrK r$ r* r) r, timesleep PAGE_SIZErh ) all_items seen_urls MAX_PAGESr r r- r7 r6 r: r8 r9 full_urldtrJ rI rU s r mainr s Bvh- E)
VHIII
388}qSXXa[F 2
$[M56 SXX sxx{ 2 2 4CHHQK(+6 IM* .
G9Ai[8cN w' / " 4 . /
SZL%&;@ 7E4< )K 8$?H9$ MM( #H 6 Ds C(c >$0$: !B#ffZgm<BBDTcJGffVS'2G & "=b $N",
D
# $ JJsO; > u: ! . !
3].` Y s9~ .d
34r __main__u ⏱ 耗时: z.1fs) __doc__rp osr$ ry jsonpathinsert crawler_libr r rZ urllib.parser r` BASEr getenvr rx rr r{ r r; rK rC rh r __name__t0rY r r r s & ' . 3 #f, - BIIk#4 5 #L<:"#DLA5H z BF LR ,A
./ r