ˆuj3"dZddlZddlZddlZddlZddlZddlmZmZejjdejjejje ddl mZejedz j!dZdZd d iZd Zed zZd ZdZdZddZedk(rUej6Zej;dedej?Z ee jBZ"e#de"dyy)uRcrawl_xjyc_sthj.py - 叶城县人民政府-生态环境 (xjyc.gov.cn) 站点: https://www.xjyc.gov.cn/ycx/c109165/zfxxgk.shtml (叶城县-生态环境栏目) CMS: 新疆政府网站集群 (UTF-8) 列表: ul.innerList > li > span.fr(日期 YYYY-MM-DD) + a(标题) href=/ycx/c109165/{YYYYMM}/{hash}.shtml 分页: createPageHTML('page-div',14,1,'zfxxgk','shtml',200) → zfxxgk_{N}.shtml (共14页, 第14页5条, 第15页404) 详情: meta ArticleTitle + meta PubDate + div.xxgk-tt-content-body(id=zoomcon) 正文: 文字型(土壤调查公示等) / 图片型(检测报告, ewebeditor_doc内img) N)datetime timedelta)push_to_searchdbiG)daysz%Y-%m-%du叶城县-生态环境z User-Agentz6Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0zhttps://www.xjyc.gov.cnz/ycx/c109165/zfxxgk.shtmlc|dk(rtntjdd|d} tj|dtd}d|_t jd |jt j}g}|D]k\}}}t jd d |j}t|d kr;|jd r|nt|z}|j|||dm|S#gcYSxYw)u2page_idx: 1-based. 返回 [{url, pub_date, title}]z zfxxgk.shtmlzfxxgk_z.shtmlFtimeoutheadersverifyutf-8zd
  • \s*(\d{4}-\d{2}-\d{2})\s*]*>\s*([^<]{4,150}?)\s*\s+http)urlpub_datetitle)LIST_URLreplacerequestsgetHEADERSencodingrefindalltextDOTALLsubstriplen startswithBASEappend)page_idxrritemsresultspdhrefrs $/root/gov_crawler/crawl_xjyc_sthj.py fetch_listr1s!m()9)9.GT\S]]cJd)eC LLgwu M  JJo   EG ED%vr5)//1 u:> oof-d4$;sUCD E N s $C..C4ctdD](} tj|dtd}d|_nyd}t j d|j}|r|jd j}|st j d |jt j}|r[t jd d|jd j}t jd |d j}d}t j d|jt j}|s/t j d|jt j}|s/t j d|jt j}|r|jd j}|jsPt j d|jt j}|r|jd j}t jdd|}||fS#d}Y6xYw)Nr Frr)rrrz+\s*([^<]+?)\s*ru [-–—]ruH
    ]*>(.*?)
    \s*