(含附件链接)
日期: 日期：YYYY-MM-DD text
旧 URL (/18.aspx) 已失效，新 URL 正常工作
N)datetimetimezone timedelta)push_to_searchdb
fetch_page
clean_html
parse_dateextract_date_from_htmlu. 茂名市环境保护产业协会-信息公开zhttp://www.mmhbxh.comz+http://www.mmhbxh.com/xxgk/zh-cn/index.html iG )daysz%Y-%m-%dc h t j | dd }d|_ |j S # Y y xY w)N F)timeoutverifyzutf-8)requestsgetencodingtext)urlrs !/root/gov_crawler/crawl_mmhbxh.pyfetchr s3 LLb 7
vv
s *- 1c g }t j d| t j D ] }|j d j }t j
dd|j d j }|j d j }|j
d s t |z }|s|s|j |||f |S )zT
Title[YYYY-MM-DD]z
]*>\s*]*class="title"[^>]*href="([^"]+)"[^>]*>(.*?)\s*]*class="date"[^>]*>\[?(\d{4}-\d{2}-\d{2})\]? <[^>]+> http) refinditerDOTALLgroupstripsub
startswithBASE_URLappend)htmlitemsmhreftitledates r
parse_listr/ ! s E
[[ M bii
. wwqz !z2qwwqz288:wwqz !v&d?D T LL%t, -
. L c t | }|syd}t j d|t j }|r4t j dd|j d j
}d}t j d| }|r|j d }|s t | }d}t j d|t j }|r |j d j
}|rt | dk rFt j d |t j }|r |j d j
}|r9t | }t j d
d | }t j d d
| }|||fS )u/ 提取详情页：h1标题, 日期, .body正文)r r r r z]*>(.*?)r r u& 日期[：:]\s*(\d{4}-\d{1,2}-\d{1,2})z/]*class="body"[^>]*>(.*?)