uj d Z ddlZddlZddlmZmZ ddlmZ ddlmZm Z ddl
Z
ddl Z ddl Z dZ
eddd Ze j j! d
d Zd Zd
dddddddddgZddiZd dZd Zd Zd Zd Zd Zed k( r e yy) uo 藤县人民政府 - 两个栏目爬虫（并发版）
1. 建设项目环境影响评价审批
2. 通知公告
N)datetimedate)urljoin)ThreadPoolExecutor as_completedzhttp://www.tengxian.gov.cni DB_PATHz/root/search.db u 藤县-环评审批zEhttp://www.tengxian.gov.cn/zfxxgk/xxgk/shgysy/hjbh/jsxmhp/index.shtmlz:http://www.tengxian.gov.cn/zfxxgk/xxgk/shgysy/hjbh/jsxmhp/ )namelist_url list_base max_pagesu 藤县-通知公告z0http://www.tengxian.gov.cn/txdt/tzgg/index.shtmlz%http://www.tengxian.gov.cn/txdt/tzgg/( z
User-Agentz Mozilla/5.0c t | D ]C } t j | dt }d|_ |j
dk( r|j c S E y # t $ r'}||dz
k rt j d Y d }~rd }~ww xY w)N )timeoutheaderszutf-8 )
rangerequestsgetHEADERSencoding status_codetext Exceptiontimesleep)urlretriesirespes #/root/gov_crawler/crawl_tengxian.pyfetchr) ' s~
7^ <<RAD #DM 3&yy ' 7Q;
1
s =A B A>>Bc . g }| s|S d}t j || t j D ]d }|j d }|j d j }|j d }t || }|j
|||d f |S )Nz[]*title="([^"]*)"[^>]*>.*?(\d{4}-\d{2}-\d{2})r r )titler# pub_date)refinditerDOTALLgroupstripr append) htmlbase_urlitemspatternmhrefr, r-
detail_urls r( extract_list_itemsr; 4 s E lG
[[$
2 Pwwqz
"771: Xt,
uZXNO P L c j t j d| }|rt |j d S dS )NzcreatePageHTML\s*\(\s*(\d+)r )r. searchintr1 )r4 r8 s r( get_page_countr@ B s,
0$7A 3qwwqz?&Q&r< c F t | }|s| dddfS d}d}d}t j d| }|r |j d j }t j d| }|r"|j d j dd }t j d|t j
}|r |j d j }|sFt j d|t j
}|r |j d j }|s|}| |||fS ) u; 获取单条详情，返回 (url, title, content, pub_date)N z/]*>(.*?)\s*z4]*>(.*?)\s*)r) r. r> r1 r2 r0 )r: r4 r, contentr- r8 m2s r( fetch_detailrF G s D D$-- EGH
DdKA
"
?FA771:##%cr*
LdTVT]T]^A''!*""$
YYNPTVXV_V_
`
hhqk'')G w 11r< c D | d }| d }| d }t dj | d t | d }|st dd y t | }||kD r|}t d
j | d g }t | D ] }|d k( r| d nd j || }t d
j |dz | d |d k( r|n
t | } | sTt | | }
|
D cg c]3 } t
j | d d j t k\ s2| 5 } } |j | t dj t |
t | d |
s| r|d kD st dd n t dj t | d |sy t j t }
|
j }d }|D cg c] } | d }} d }t! t" 5 }|D ci c] }|j% t& | | }}t) | D ] }|j+ \ }}}}|dz
}|dz d k( r&t dj |t | d |N|D cg c]
} | d |k( s | }} |r|s|d d }|s|d d }|s|} |j- d||||||t/ t
j |d j1 f |j2 d kD r|dz
}|dz d k( s|
j7 d d d |
j7 |
j9 t dj | d t | |fS c c} w c c} w c c}w c c} w # t4 $ r
}Y d }~d }~ww xY w# 1 sw Y |xY w) Nr
r r z
====== {} ======Tflushr u 无法获取首页)r r u 总页数: {}r z{}index_{}.shtmlu 列表页 {}/{}r r- z%Y-%m-%du 本页{}条，近3年{}条u) 本页无近3年数据，停止翻页u# 列表总计: {} 条（近3年）r# ) max_workers2 u 详情 {}/{}...r, z
INSERT OR IGNORE INTO gov_raw (site_name, title, page_url, content, publish_date, summary, date_rank)
VALUES (?, ?, ?, ?, ?, ?, ?)
d u 结果: 新增{}) printformatr) r@ r r; r strptimer CUTOFF_DATEextendlensqlite3connectr
cursorr MAX_WORKERSsubmitrF r resultexecuter? timestamprowcountr commitclose)
col_config site_namer r r4 total_pages all_itemspagepage_url page_htmlr6 itfilteredconnrU total_new
urls_to_fetchdoneexecutorr# fut_mapfutr, rD r- list_itemr' s r( crawl_columnro d s 6"I;'I;'I
%
%i
0= J' (D
$D1 &KY
"
";
/t< Ik" -1QY:j)9 $$} o$ 4 U E$
=# # sn )3M, M, M16N; M6A N8
M;M;
N'AN ?NN6
N N NNNN c 6 t dd t dj t d d} d}t D ] }t | \ }}| |z
} ||z
} t dd t dj | d t dj | d y ) Nu! === 藤县人民政府 爬虫 ===TrH u
数据库: {}r u
=== 全部完成 ===u 总抓取(近3年): {}u
总新增: {})rM rN r
COLUMNSro ) total_all
total_new_allcolfetchednews r( mainrw s
-T: /
)6IM #C( W
"$/
"
)
))
4DA /
/tr s
# ? '4B
**..$5
6 &[Q &F<
'
'
2:X%v=" zF r<