Ë
    *b†jF(  ã                   óH  — d Z ddlZddlZddlZddlZddlZddlZddlZddlZddl	m
Z
mZ ddlmZmZ ddlmZ ddlmZ  ej&                  «       Zde_        ej,                  e_        dZed	z   Zd
ZdZdZedddœZd\  ZZdZ eddfd„Z!dd„Z"d„ Z#d„ Z$d„ Z%e&dk(  r e%«        yy)uÁ  æ¸…åŸŽåŒºäººæ°‘æ”¿åºœ (www.qingcheng.gov.cn) çŽ¯å¢ƒä¿�æŠ¤æ �ç›® â€” Cyan.Arachne
æ³¨æ„�: å¹¿ä¸œæ¸…è¿œæ¸…åŸŽåŒº (qingcheng.gov.cn); ç”˜è‚ƒåº†åŸŽåŽ¿æ˜¯ chinaqingcheng.gov.cn (å�¦ä¸€ç«™)
æ �ç›®: /qcqzdlyxxgk/hjbh/
åˆ—è¡¨: é¦–é¡µ + index_{N}.html (åˆ†é¡µ1..20, æ¯�é¡µçº¦22æ�¡)
è¯¦æƒ…: /qcqzdlyxxgk/hjbh/{å­�æ �ç›®}/content/post_{ID}.html, æ­£æ–‡ div æœ€å¤§å�—, PDF é™„ä»¶
ç”¨æ³•: python3 crawl_qingcheng_hjbh.py [--pages 5] [--out /tmp/qingcheng.jsonl]
é    N)ÚRequestÚurlopen)Ú	HTTPErrorÚURLError)Úurljoin©ÚBeautifulSoupFzhttps://www.qingcheng.gov.cnz/qcqzdlyxxgk/hjbh/u   æ¸…åŸŽåŒº-çŽ¯å¢ƒä¿�æŠ¤u   å¹¿ä¸œzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Language)g      ð?gš™™™™™ù?é
   é   é   c           
      ó\  — t        t        «      }||d<   t        |«      D ]D  }	 t        | |¬«      }t	        ||t
        ¬«      }|j                  «       j                  dd¬«      c S  y# t        $ rY}|j                  dv rY d }~ yt        d	|j                  › d
| dd  › �d¬«       t        j                  d|dz  z   «       Y d }~Œ¥d }~wt        t        t        f$ rO}t        dt!        |«      j"                  › d
| dd  › �d¬«       t        j                  d|dz  z   «       Y d }~�Œd }~ww xY w)NÚReferer)Úheaders)ÚtimeoutÚcontextúutf-8Úignore)Úerrors)i”  iš  Ú z  [HTTP z] iÄÿÿÿT©Úflushr   z  [ERR )ÚdictÚHEADERSÚranger   r   ÚSSL_CTXÚreadÚdecoder   ÚcodeÚprintÚtimeÚsleepr   ÚTimeoutErrorÚOSErrorÚtypeÚ__name__)	ÚurlÚrefererr   Úretriesr   ÚattemptÚreqÚrespÚes	            ú)/root/gov_crawler/crawl_qingcheng_hjbh.pyÚfetchr/   "   s  € Ü”7‹m€GØ €GˆIÑÜ˜“>ò (ˆð	(Ü˜# wÔ/ˆCÜ˜3¨¼ÔAˆDØ—9‘9“;×%Ñ% g°hÐ%Ó?Ò?ð	(ð øô ò 	(Ø�v‰v˜Ñ#ÝÜ�H˜QŸV™V˜H B s¨3¨4 y kÐ2¸$Õ?Ü�J‰J�q˜7 Q™;‘×'Ñ'ûÜœ,¬Ð0ò 	(Ü�GœD ›G×,Ñ,Ð-¨R°°C°D°	¨{Ð;À4ÕHÜ�J‰J�q˜7 Q™;‘×'Ò'ûð	(ús*   ¤?A(Á(	D+Á1CÂ;CÃD+ÃAD&Ä&D+c                 ó‚  — |xs t         }t        | d«      } |g d¢«      D ]  }|j                  «        Œ |j                  d«      D ]‡  }|j	                  d«      xs |j	                  d«      xs d}|rK|j                  d«      r|nt        ||«      }|j                  d|¬	«      }d
|_        |j                  |«       Œx|j                  «        Œ‰ |j                  d«      D ][  }dD ]  }	|	|j                  v sŒ||	= Œ t        |j                  «      D ](  }	|	j                  d«      s|	j                  d«      sŒ&||	= Œ* Œ] |j                  g d¢«      D ]  }|j                  «        Œ |j                  d«      D ]]  }|j	                  dd«      }
|
r4|
j                  d«      s#|
j                  d«      r|
nt        ||
«      |d<   ŒK|
sŒN|j                  «        Œ_ |j                  d«      D ]I  }|j                  d¬«      rŒ|j                  d«      rŒ(|j                  d«      rŒ:|j                  «        ŒK t        |«      S )Núhtml.parser)ÚscriptÚstyleÚiframeÚobjectÚembedÚformÚinputÚbuttonÚimgÚsrczdata-srcr   ÚhttpÚa©Úhrefu   æŸ¥çœ‹å›¾ç‰‡T)r3   ÚclassÚalignÚvalignÚborderÚcellpaddingÚcellspacingÚwidthÚheightÚbgcolorÚfaceÚcolorÚsizeÚlangÚdirÚ	setedariaÚtabindexÚrolezaria-zdata-)ÚdivÚspanÚfontÚcenterÚbÚstrongÚemÚiÚuÚsÚlabelr?   Ú
javascriptÚp©ÚstripÚtable)ÚBASEr	   Ú	decomposeÚfind_allÚgetÚ
startswithr   Únew_tagÚstringÚreplace_withÚattrsÚlistÚunwrapÚget_textÚfindÚstr)ÚhtmlÚbase_urlÚbaseÚsoupÚtr:   r;   Úabs_srcr=   Úattrr?   r]   s               r.   Ú
clean_htmlrv   5   s  € ØÒ”t€DÜ˜˜}Ó-€DÙÒ]Ó^ò ˆØ	�‰�ðà�}‰}˜UÓ#ò ˆØ�g‰g�e‹nÒ9 §¡¨
Ó 3Ò9°rˆÙØ Ÿ^™^¨FÔ3‘c¼ÀÀsÓ9KˆGØ—‘˜S w�Ó/ˆAØ%ˆAŒHØ×Ñ˜QÕà�M‰M�Oðð �]‰]˜4Ó ò ˆð6ò 	ˆDð �q—w‘wŠØ�d‘Gð		ô
 ˜Ÿ™“Mò 	ˆDØ�‰˜wÔ'¨4¯?©?¸7Õ+CØ�d‘Gñ	ðð �]‰]ÒiÓjò ˆØ	�‰�
ðà�]‰]˜3Óò ˆØ�u‰u�V˜RÓ ˆÙ˜Ÿ™¨Ô5Ø $§¡°Ô 7™¼WÀTÈ4Ó=PˆAˆfŠIÚØ�K‰K�Mðð �]‰]˜3Óò ˆØ�z‰z ˆzÕ%¨a¯f©f°W­oÀaÇfÁfÈSÅkØ�K‰K�Mðô ˆt‹9Ðó    c                 óÌ  — t        | d«      }g }|j                  dd¬«      D ]ÿ  }|d   }d|vs|j                  d«      sŒ|j                  d«      xs |j	                  d¬	«      xs d
j                  «       }d
}|j                  d«      xs |j                  d«      }|rt        |«      nd
}t        j                  d|«      }	|	r7|	j                  d«      › d|	j                  d«      › d|	j                  d«      › �}|sŒÜ|j                  |t        t        |«      |dœ«       �Œ t        «       g }}
|D ]/  }|d   |
vsŒ|
j                  |d   «       |j                  |«       Œ1 |S )u8   åˆ—è¡¨: li > a[href*=/content/post_].html + æ—¥æœŸæ–‡æœ¬r1   r=   Tr>   r?   z/content/post_ú.htmlÚtitler^   r   ÚlirQ   z(\d{4})-(\d{2})-(\d{2})é   ú-é   r   )rz   r'   Údater'   )r	   rc   Úendswithrd   rl   r_   Úfind_parentrn   ÚreÚsearchÚgroupÚappendr   ra   ÚsetÚadd)ro   rr   Úitemsr=   r?   rz   r   ÚparentÚctxÚdmÚseenÚoutÚits                r.   Úparse_list_htmlr�   Z   sR  € ä˜˜}Ó-€DØ€EØ�]‰]˜3 Tˆ]Ó*ò UˆØ�‰yˆØ 4Ñ'¨t¯}©}¸WÔ/EØØ—‘�w“Ò? 1§:¡:°D :Ó#9Ò?¸R×FÑFÓHˆàˆØ—‘˜tÓ$Ò<¨¯©°eÓ(<ˆÙ#Œc�&Œk¨ˆÜ�Y‰YÐ1°3Ó7ˆÙØ—h‘h˜q“k�] ! B§H¡H¨Q£K =°°"·(±(¸1³+°Ð?ˆDÚØ�L‰L 5´¼¸tÓ1DÈdÑSÖTðUô “�rˆ#€DØò ˆØˆe‰9˜DÒ Ø�H‰H�R˜‘YÔØ�J‰J�r�Nðð €Jrw   c                 ó  ‡— ddl m}  || d«      Šˆfd„} |d«      xs d} |d«      xs d} |d«      xs d}‰j                  d	d
¬«      xs� ‰j                  d	d
¬«      xsz ‰j                  d	d¬«      xse ‰j                  d	d¬«      xsP ‰j                  d	d¬«      xs; ‰j                  d	d¬«      xs& ‰j                  d«      xs ‰j                  d	d¬«      }d}g }	|rú|j                  dd¬«      D ]ˆ  }
|
d   j	                  «       }t        j                  d|«      sd|v sŒ1|
j                  d¬«      xs d}|j                  d«      r|nt        ||«      }|	j                  ||f«       |
j                  «        ŒŠ t        t        |«      |«      }t        j                  dd|«      }|	r.dj                  d„ |	D «       «      }|dz   |z   j!                  «       }|s‰j                  d«      }g }|D ]?  }|j                  d¬«      }t#        |«      dkD  sŒ$|j                  t#        |«      |f«       ŒA |r&t%        |d „ ¬!«      d"   }t        t        |«      |«      }||r|d d# nd|||	D ��cg c]
  \  }}||d$œ‘Œ c}}d%œS c c}}w )&Nr   r   r1   c                 óÆ   •— ‰j                  dd| i¬«      xs# ‰j                  dd| j                  «       i¬«      }|r#|j                  d«      xs dj                  «       S dS )NÚmetaÚname)ri   Úcontentr   )rm   Úlowerrd   r_   )r“   Úmrr   s     €r.   r’   zparse_detail_html.<locals>.metaw   s_   ø€ Ø�I‰I�f V¨T NˆIÓ3Òf°t·y±yÀÐPVÐX\×XbÑXbÓXdÐOe°yÓ7fˆÙ34�—‘�iÓ Ò& B×-Ñ-Ó/Ð<¸"Ð<rw   ÚArticleTitler   ÚPubDateÚContentSourcerQ   Úzoom)Úid)Úclass_r”   zarticle-contentÚ
TRS_Editorzdetail-contentÚarticler=   Tr>   r?   zB\.(pdf|doc|docx|xls|xlsx|zip|rar|caj|wps|et|jpg|jpeg|png|gif|mp4)$Ú
attachmentr^   u   é™„ä»¶r<   u!   æ‚¨çŽ°åœ¨çš„ä½�ç½®.*?æ–‡ç« è¯¦æƒ…c              3   ó4   K  — | ]  \  }}d |› d|› d�–— Œ y­w)z<p><a href="z">z</a></p>N© )Ú.0rs   Úfus      r.   ú	<genexpr>z$parse_detail_html.<locals>.<genexpr>�   s#   è ø€ ÒTÁÀÀB˜l¨2¨$¨b°°°8Ô<ÑTùs   ‚ú
r]   é   c                 ó   — | d   S )Nr   r¡   )Úxs    r.   ú<lambda>z#parse_detail_html.<locals>.<lambda>›   s
   € ¨A¨a©D€ rw   )Úkeyr|   r   )ÚfileNameÚfileUrl)rz   Úpublish_dater”   ÚsourceÚattachments)Úbs4r	   rm   rc   r•   r‚   rƒ   rl   re   r   r…   rb   rv   rn   ÚsubÚjoinr_   ÚlenÚmax)ro   r'   r	   r’   rz   Úpubr®   rš   ÚbodyÚ	att_linksr=   Úhrs   r£   Úatt_pÚpsÚcandsr]   ÚtxtÚbestrr   s                       @r.   Úparse_detail_htmlr¾   t   s›  ø€ Ý!Ù˜˜}Ó-€Dô=ñ �Ó Ò& B€EÙ
ˆy‹/Ò
˜R€CÙ�/Ó"Ò( b€Fà�I‰I�e ˆIÓ'ò G¨4¯9©9°UÀ6¨9Ó+Jò GØ�I‰I�e IˆIÓ.òGØ26·)±)¸EÐJ[°)Ó2\òGà�I‰I�e LˆIÓ1òGà59·Y±Y¸uÐM]°YÓ5^òGð �I‰I�iÓ òGð %)§I¡I¨e¸I IÓ$Fð 	ð €DØ€IÙØ—‘˜s¨�Ó.ò 	ˆAØ�&‘	—‘Ó!ˆAÜ�y‰yÐ^Ð`aÔbÐfrÐvwÒfwØ—J‘J T�JÓ*Ò6¨h�ØŸ,™, vÔ.‘Q´G¸CÀ³O�Ø× Ñ  ! R Ô)Ø—‘•ð	ô œ#˜d›) SÓ)ˆä�v‰vÐ:¸BÀÓEˆÙØ—G‘GÑTÈ)ÔTÓTˆEØ˜4‘K %Ñ'×.Ñ.Ó0ˆDÙà�]‰]˜3ÓˆØˆØò 	,ˆAØ—*‘* 4�*Ó(ˆCÜ�3‹x˜"‹}Ø—‘œc #›h¨˜]Õ+ð	,ñ Ü�u¡.Ô1°!Ñ4ˆDÜœc $›i¨Ó-ˆDàÙ$'˜˜C˜R™¨RØØØDM×N¹5¸1¸b Q°2Ó6ÓNñð ùó
 Os   É/Jc                  ó0
  — t        j                  «       } | j                  dt        dd¬«       | j                  dt        d¬«       | j                  dd	¬
«       | j                  dt        d¬«       | j	                  «       }ddddddœ}t        |j                  dd¬«      }t        «       }t        j                  j                  |j                  «      rDt        |j                  d¬«      D ]*  }	 |j                  t        j                  |«      d   «       Œ, t        t         «      }|st#        dd¬«       y d}t%        j&                  d|«      }|rt        |j)                  d«      «      }t%        j&                  d|«      }	|	rt        |	j)                  d«      «      }|j*                  dkD  rt-        ||j*                  «      }t#        d|› �d¬«       g }
t/        |j0                  |dz   «      D ]®  }|dk(  rt         nt         › d|› d�}t        |«      }|st#        d|› d�d¬«        nwt3        |«      }|
j5                  |«       t#        d|› dt7        |«      › dt7        |
«      › �d¬«       t9        j:                  t=        j>                  t@        tB        «      «       Œ° t7        |
«      |d<   t#        d t7        |
«      › d!t7        |«      › d"�d¬«       |
D �cg c]  }|d#   |vsŒ|‘Œ }}t#        d$t7        |«      › �d¬«       tE        |d«      D �]»  \  }}t        |d#   «      }|sR|d%xx   dz  cc<   t#        d&|› d't7        |«      › d(|d#   › �d¬«       |d%   |jF                  k\  rt#        d)d¬«        �nWŒitI        ||d#   «      }|d*   s|d*   |d*<   |d+   s|d,   |d+<   |d-   }t7        |«      d.k  r|d/xx   dz  cc<   |d*   |d+   ||d#   |d#   tJ        tL        t%        jN                  d0d1|«      jQ                  «       d d2 d|d3   |d3   |d4   d5d6d7d8œ}|jS                  t        jT                  |d9¬:«      d;z   «       |jW                  «        |d<xx   dz  cc<   |dz  dk(  s|t7        |«      k(  r(t#        d&|› d't7        |«      › d=|d<   › d>|d%   › �d¬«       t9        j:                  t=        j>                  t@        tB        «      «       �Œ¾ |jY                  «        t#        d?t        jT                  |d9¬:«      › �d¬«       y # t        $ r Y �Œ$w xY wc c}w )@Nz--pagesr   u   0=å…¨é‡�)r%   ÚdefaultÚhelpz--start-pager|   )r%   rÀ   z--outz/tmp/qingcheng.jsonl)rÀ   z--max-detail-failé   )rˆ   Ú	detail_okÚdetail_failÚemptyÚskippedr=   r   )ÚencodingÚpage_urlu   é¦–åˆ—è¡¨é¡µæŠ“å�–å¤±è´¥Tr   é   u#   index_(\d+)\.html[^>]*>æœ€å�Žä¸€é¡µu   å…±\s*(\d+)\s*é¡µu
   æ€»é¡µæ•°=Úindex_ry   u   é¡µu    æŠ“å�–å¤±è´¥, å�œæ­¢ç¿»é¡µz: u    æ�¡, ç´¯è®¡ rˆ   u   åˆ—è¡¨å®Œæˆ�: u    æ�¡ (å·²æŠ“è¿‡ ú)r'   u   å¾…æŠ“è¯¦æƒ…: rÄ   u   è¯¦æƒ… ú/u   : æŠ“å�–å¤±è´¥ u   å¤±è´¥è¿‡å¤š, ä¸­æ­¢rz   r­   r   r”   r   rÅ   z<[^>]+>ú éÈ   r®   r¯   u   çŽ¯ä¿�Úotherzcrawl_qingcheng_hjbh.py)rz   r­   r”   rÈ   Ú
source_urlÚ	site_nameÚ
group_nameÚsummaryÚ	date_rankÚauthorÚcontent_sourcer¯   ÚcategoryÚindustryÚscript_nameF)Úensure_asciir¥   rÃ   z: ok=z fail=u   å®Œæˆ�: )-ÚargparseÚArgumentParserÚadd_argumentÚintÚ
parse_argsÚopenr�   r†   ÚosÚpathÚexistsr‡   ÚjsonÚloadsÚ	Exceptionr/   ÚLIST_URLr    r‚   rƒ   r„   ÚpagesÚminr   Ú
start_pager�   Úextendr³   r!   r"   ÚrandomÚuniformÚ	SLEEP_MINÚ	SLEEP_MAXÚ	enumerateÚmax_detail_failr¾   Ú	SITE_NAMEÚGROUPr±   r_   ÚwriteÚdumpsr   Úclose)ÚapÚargsÚstatsÚout_fpÚ	done_urlsÚlinero   Úpages_totalr–   Úm2Ú	all_itemsÚpgr'   r¸   rˆ   rŽ   Ú	new_itemsÚidxÚdr”   Úrecs                        r.   Úmainr  ¦   sÃ  € Ü	×	 Ñ	 Ó	"€BØ‡O�O�I¤C°¸€OÔDØ‡O�O�N¬°a€OÔ8Ø‡O�O�GÐ%;€OÔ<Ø‡O�OÐ'¬c¸2€OÔ>Ø�=‰=‹?€Dà a¸ÀAÐRSÑT€EÜ�$—(‘(˜C¨'Ô2€FÜ“€IÜ	‡w�w‡~�~�d—h‘hÔÜ˜Ÿ™¨GÔ4ò 	ˆDðØ—‘œdŸj™j¨Ó.¨zÑ:Õ;ð	ô ”‹?€DÙÜÐ(°Õ5ØØ€KÜ
�	‰	Ð8¸$Ó?€AÙÜ˜!Ÿ'™' !›*“oˆÜ	�‰Ð'¨Ó	.€BÙ	Ü˜"Ÿ(™( 1›+Ó&ˆØ‡z�z�A‚~Ü˜+ t§z¡zÓ2ˆÜ	ˆJ�{�mÐ
$¨DÕ1à€IÜ�D—O‘O [°1¡_Ó5ò 	9ˆØ š'�h¬(¨°6¸"¸¸UÐ'CˆÜ�#‹JˆÙÜ�C˜�tÐ6Ð7¸tÕDÙÜ Ó"ˆØ×Ñ˜ÔÜ��B�4�rœ#˜e›*˜ ]´3°y³>Ð2BÐCÈ4ÕPÜ�
‰
”6—>‘>¤)¬YÓ7Õ8ð	9ô ˜“^€Eˆ'�NÜ	ˆNœ3˜y›>Ð*Ð*:¼3¸y»>Ð:JÈ!Ð
LÐTXÕYà'ÖF˜¨2¨e©9¸IÒ+E’ÐF€IÐFÜ	ˆNœ3˜y›>Ð*Ð
+°4Õ8Ü˜Y¨Ó*ó '9‰ˆˆRÜ�R˜‘YÓˆÙØ�-Ó  AÑ%Ó Ü�G˜C˜5 ¤# i£.Ð!1°ÀÀEÁÀÐLÐTXÕYØ�]Ñ# t×';Ñ';Ò;ÜÐ,°DÕ9ÚØÜ˜d B u¡IÓ.ˆØ�ŠzØ˜G™ˆAˆg‰JØ�Ò Ø " 6¡
ˆAˆnÑØ�I‘,ˆÜˆw‹<˜"ÒØ�'‹N˜aÑ‹Nà�w‘ZØ˜nÑ-ØØ˜5™	Ø˜U™)Ü"ÜÜ—v‘v˜j¨#¨wÓ7×=Ñ=Ó?ÀÀÐEØØ˜‘kØ ™kØ˜]Ñ+Ø ØØ4ñ
ˆð" 	�‰”T—Z‘Z °%Ô8¸4Ñ?Ô@Ø�‰ŒØˆkÓ˜aÑÓØ�‰8�qŠ=˜C¤3 y£>Ò1Ü�G˜C˜5 ¤# i£.Ð!1°°u¸[Ñ7IÐ6JÈ&ÐQVÐWdÑQeÐPfÐgÐosÕtÜ�
‰
”6—>‘>¤)¬YÓ7Ö8ðO'9ðP ‡L�L„NÜ	ˆH”T—Z‘Z °EÔ:Ð;Ð
<ÀDÖIøôW ò Úðüò@ Gs   Ã/'TËTË#TÔ	TÔTÚ__main__)N)'Ú__doc__rÛ   rä   rá   r‚   Úsysr!   rì   ÚsslÚurllib.requestr   r   Úurllib.errorr   r   Úurllib.parser   r°   r	   Úcreate_default_contextr   Úcheck_hostnameÚ	CERT_NONEÚverify_modera   rç   rò   ró   ÚUAr   rî   rï   ÚMAX_FAILr/   rv   r�   r¾   r  r&   r¡   rw   r.   ú<module>r     sÃ   ðñ÷ 6× 5× 5× 5ß +ß ,Ý  Ý à
$ˆ#×
$Ñ
$Ó
&€Ø€Ô Ø—m‘m€Ô à%€ØÐ&Ñ&€Ø$€	Ø€Øv€àØOØ'ñ€ð
  Ñ €	ˆ9Ø€ð  ¨°Qó ó&"òJò4/òdZJðz ˆzÒÙ…Fð rw   