Ë
    V_ŠjM"  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlmZmZ ddlm	Z	 ddl
mZ dZdZeez   dz   Zd	Zd
ZdZddddœZdZ ej(                  «       Zej,                  j/                  e«       d„ Zd„ Zd„ Zd„ Zd„ Zedk(  r e«        yy)uµ   
Crawler for å·´éŸ³éƒ­æ¥žè’™å�¤è‡ªæ²»å·žäººæ°‘æ”¿åºœ - é‡�å¤§å»ºè®¾é¡¹ç›® (å�‘å±•å’Œæ”¹é�©å§”å‘˜ä¼š)
CMS: TRS, data-article content + dl>dd list
Site: www.xjbz.gov.cn/xjbz/c101431/
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoup)Úurljoinzhttp://www.xjbz.gov.cnz/xjbz/c101431z/bm_gknrz.shtmlu.   å·´éŸ³éƒ­æ¥žè’™å�¤è‡ªæ²»å·ž-é‡�å¤§å»ºè®¾é¡¹ç›®é   é   zoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9,en;q=0.8)z
User-AgentÚAcceptzAccept-Languageé   c                 ó^   — t         j                  | t        ¬«      }d|_        |j                  S )N)Útimeoutzutf-8)ÚsessionÚgetÚTIMEOUTÚencodingÚtext)ÚurlÚresps     ú$/root/gov_crawler/crawl_xjbz_zdjs.pyÚfetchr      s%   € Ü�;‰;�s¤Gˆ;Ó,€DØ€D„MØ�9‰9Ðó    c                 óV  — t        | d«      }g }|j                  d«      }|s|S |j                  dd¬«      D ]ï  }|j                  dd¬«      }|sŒ|j                  d	«      xs |j	                  d¬
«      }|d   j                  «       }|r|sŒV|j                  d«      }|r|j	                  d¬
«      nd}	|j                  d«      r
t        |z   }n3|j                  d«      s"t        t        z   dz   |j                  d«      z   }|j                  |j                  «       ||	dd f«       Œñ |S )u-   Parse list page â€” dl > dd > a[title] + spanúhtml.parserÚdlÚddF)Ú	recursiveÚaT©ÚhrefÚtitle©Ústripr   ÚspanÚ ú/Úhttpz./Né
   )r   ÚfindÚfind_allr   Úget_textr!   Ú
startswithÚBASE_URLÚ	LIST_PATHÚlstripÚappend)
ÚhtmlÚsoupÚitemsr   r   r   r   r   Ú	date_spanÚdates
             r   Ú
parse_listr4   #   s  € ä˜˜}Ó-€DØ€EØ	�‰�4‹€BÙØˆØ�k‰k˜$¨%ˆkÓ0ò 7ˆØ�G‰G�C˜dˆGÓ#ˆÙØØ—‘�g“Ò8 !§*¡*°4 *Ó"8ˆØ�‰y�‰Ó ˆÙ™DØØ—G‘G˜F“Oˆ	Ù1:ˆy×!Ñ!¨Ð!Ô-ÀˆØ�?‰?˜3ÔÜ˜d‘?‰DØ—‘ Ô(ÜœiÑ'¨#Ñ-°·±¸DÓ0AÑAˆDØ�‰�e—k‘k“m T¨4°°¨9Ð5Õ6ð7ð €Lr   c           	      ó   ‡!— t        | d«      }d}|j                  dddi¬«      }|r|j                  d¬«      }|s;|j                  d	d
di¬«      }|r$|j                  d«      r|d   j	                  «       }d}|j                  d	d
di¬«      }|r=|j                  d«      r,t        j                  d|d   «      }|r|j                  d«      }d}	|j                  dddi¬«      }
|
�r×g }|
j                  D �]´  }t        |d
d«      sŒ|j                  j                  «       }|dk(  �r‹g }|j                  D �]Q  }t        |t        «      r%|j	                  «       }|sŒ'|j                  |«       Œ9|j                  dk(  rp|j                  dd«      j	                  «       }|j                  d¬«      }|r'|r%t!        ||«      }|j                  d|› d|› d�«       Œ£|sŒ¦|j                  |«       Œ¸|j                  dk(  rU|j                  dd«      }|sŒÜ|j                  dd«      }t!        ||«      }|j                  |r	d|› d|› d�nd|› d�«       �Œt#        |d«      s�Œ*|j                  dd¬«      }|s�ŒA|j                  |«       �ŒT dj%                  |«      }|s�Œª|j                  |«       �Œ½|dk(  r˜g }|j'                  d«      D ]\  }|j'                  d d!g«      D �cg c]  }|j                  dd¬«      ‘Œ }}|sŒ7|j                  d"d#j%                  |«      z   d$z   «       Œ^ |s�Œ8|j                  d%j%                  |«      «       �ŒZ|dk(  s�Œa|j                  dd«      }|s�Œw|j                  dd«      }t!        ||«      }|j                  |r	d|› d|› d�nd|› d�«       �Œ· d&j%                  |«      }	|
xs |}g }|j'                  dd¬'«      D ]‘  }|d   j	                  «       j                  «       }t        j                  d(|«      sŒ;t!        ||d   j	                  «       «      Š!|j                  |j                  d¬«      xs ‰!j)                  d)«      d*   ‰!d+œ«       Œ“ |j                  ddd,i¬«      }|rÂ|j'                  dd¬'«      D ]¬  }|d   j	                  «       j                  «       }t        j                  d-|«      sd.|v sŒ?t!        ||d   j	                  «       «      Š!|j                  d¬«      xs ‰!j)                  d)«      d*   }t+        ˆ!fd/„|D «       «      rŒ™|j                  |‰!d+œ«       Œ® t-        |	j	                  «       «      d0k  r$|r"d1|› d2|› d3�}	|D ]  } |	d4| d   › d| d5   › d6�z  }	Œ |||	|fS c c}w )7uN   Parse detail page â€” div[data-article=content] with <p> preserving <a> links.r   r#   Údivzdata-articler   )ÚattrsTr    ÚmetaÚnameÚArticleTitleÚcontentÚPubDatez(\d{4}-\d{2}-\d{2})é   NÚpr   r   ú[z](ú)ÚimgÚsrcÚaltz![z![](r)   ú ÚtableÚtrÚtdÚthz| z | z |ú
z

r   z&\.(pdf|doc|docx|xls|xlsx|zip|rar|txt)$r$   éÿÿÿÿ)r   r   Úfjxzz+\.(pdf|doc|docx|xls|xlsx|zip|rar|txt|html)$Údownloadc              3   ó.   •K  — | ]  }|d    ‰k(  –— Œ y­w)r   N© )Ú.0ÚattÚfull_urls     €r   ú	<genexpr>zparse_detail.<locals>.<genexpr>š   s   øè ø€ ÒI°c˜3˜u™:¨Õ1ÑIùs   ƒr
   z<p><a href="z">u   </a></p>

é™„ä»¶åˆ—è¡¨ï¼š
z  - [r   z)
)r   r'   r)   r   r!   ÚreÚsearchÚgroupÚchildrenÚgetattrr9   ÚlowerÚcontentsÚ
isinstanceÚstrr.   r   ÚhasattrÚjoinr(   ÚsplitÚanyÚlen)"r/   r   r0   r   Ú	title_divÚ
meta_titleÚpub_dateÚ	meta_dateÚmÚcontent_htmlÚcontent_divÚpartsÚchildÚtagÚp_partsÚelemÚtxtÚahrefÚatxtÚ	full_hrefrB   rC   Úfull_srcÚ
table_rowsrF   rG   ÚcellsÚscopeÚattachmentsr   rK   Ú	att_titlerP   rQ   s"                                    @r   Úparse_detailrw   <   sx  ø€ ä˜˜}Ó-€Dð €EØ—	‘	˜%¨¸Ð'@�	ÓA€IÙØ×"Ñ"¨Ð"Ó.ˆáØ—Y‘Y˜v¨f°nÐ-E�YÓFˆ
Ù˜*Ÿ.™.¨Ô3Ø˜yÑ)×/Ñ/Ó1ˆEð €HØ—	‘	˜&¨°Ð(;�	Ó<€IÙ�Y—]‘] 9Ô-Ü�I‰IÐ,¨i¸	Ñ.BÓCˆÙØ—w‘w˜q“zˆHð €LØ—)‘)˜E¨.¸)Ð)D�)ÓE€KÚØˆØ ×)Ñ)ó -	YˆEÜ˜5 &¨$Ô/ØØ—*‘*×"Ñ"Ó$ˆCØ�c‹zØ�Ø!ŸN™Nó 0�DÜ! $¬Ô,Ø"Ÿj™j›l˜ÚØ#ŸN™N¨3Õ/ØŸ™ cÒ)Ø $§¡¨°Ó 4× :Ñ :Ó <˜Ø#Ÿ}™}°4˜}Ó8˜Ù ¡TÜ(/°°UÓ(;˜IØ#ŸN™N¨Q¨t¨f°B°y°kÀÐ+CÕDÚ!Ø#ŸN™N¨4Õ0ØŸ™ eÒ+Ø"Ÿh™h u¨bÓ1˜ÚØ"&§(¡(¨5°"Ó"5˜CÜ'.¨s°CÓ'8˜HØ#ŸN™NÁc¨R°¨u°B°x°jÀÑ+BÐQUÐV^ÐU_Ð_`ÐOaÖbÜ   zÖ2Ø"Ÿm™m¨C°t˜mÓ<˜ÛØ#ŸN™N¨3Ö/ð-0ð. —h‘h˜wÓ'�ÛØ—L‘L Ö%Ø˜’Ø�
ØŸ.™.¨Ó.ò K�BØDFÇKÁKÐQUÐW[ÐP\ÓD]Ö^¸b˜RŸ[™[¨°D˜[Õ9Ð^�EÐ^ÚØ"×)Ñ)¨$°·±¸EÓ1BÑ*BÀTÑ*IÕJðKó Ø—L‘L §¡¨:Ó!6Ö7Ø˜”Ø—i‘i  rÓ*�ÛØŸ)™) E¨2Ó.�CÜ& s¨CÓ0�HØ—L‘L¹C 2 c U¨"¨X¨J°aÑ!8ÀtÈHÈ:ÐUVÐEWÖXð[-	Yð\ —{‘{ 5Ó)ˆð Ò˜4€EØ€KØ�^‰^˜C dˆ^Ó+ò nˆØ�&‘	—‘Ó!×'Ñ'Ó)ˆÜ�9‰9Ð>ÀÕFÜ˜s A f¡I§O¡OÓ$5Ó6ˆHØ×Ñ¨¯©¸$¨Ó)?Ò)ZÀ8Ç>Á>ÐRUÓCVÐWYÑCZÐckÑlÕmð	nð �9‰9�U >°6Ð":ˆ9Ó;€DÙØ—‘˜s¨�Ó.ò 	NˆAØ�f‘I—O‘OÓ%×+Ñ+Ó-ˆEä�y‰yÐGÈÔOÐS]ÐafÒSfÜ" 3¨¨&©	¯©Ó(9Ó:�ØŸJ™J¨T˜JÓ2ÒM°h·n±nÀSÓ6IÈ"Ñ6M�	ÜÓI¸[ÔIÕIØ×&Ñ&°À8Ñ'LÕMð	Nô ˆ<×ÑÓÓ  2Ò%©+Ø% c U¨"¨U¨GÐ3PÐQˆØò 	DˆCØ˜e C¨¡L >°°C¸±J°<¸sÐCÑC‰Lð	Dð �(˜L¨+Ð5Ð5ùòO _s   Ë!Vc                 ó  — t        j                  «       t        t        ¬«      z
  }g }| D ]6  \  }}}	 t        j                  |d«      }||k\  r|j                  |||f«       Œ8 |S # t        t        f$ r |j                  |||f«       Y Œ`w xY w)N)Údaysz%Y-%m-%d)r   Únowr   ÚINCREMENTAL_DAYSÚstrptimer.   Ú
ValueErrorÚ
IndexError)r1   ÚcutoffÚfilteredr   r   Údate_strÚ	item_dates          r   Úincremental_filterrƒ   ¥   s–   € Ü�\‰\‹^œiÔ-=Ô>Ñ>€FØ€HØ %ò 4Ñˆˆs�Hð	4Ü ×)Ñ)¨(°JÓ?ˆIØ˜FÒ"Ø—‘ ¨¨XÐ 6Ô7øð	4ð €Oøô œJÐ'ò 	4Ø�O‰O˜U C¨Ð2Ö3ð	4ús   ²/A%Á%#BÂ
Bc                  óX  — t        d„ dD «       «      } t        g}t        dt        dz   «      D ]%  }|j	                  t
        t        z   d|› d�z   «       Œ' g }t        |«      D ][  \  }}	 t        |«      }t        |«      }t        d|dz   › dt        |«      › d	�t        j                  ¬
«       |j                  |«       Œ] t        dt        |«      › �t        j                  ¬
«       | r2t!        |«      }t        dt        |«      › �t        j                  ¬
«       t#        «       }	g }
|D ]/  }|d   |	vsŒ|	j%                  |d   «       |
j	                  |«       Œ1 t        dt        |
«      › �t        j                  ¬
«       g }|
D ]…  \  }}}	 t        |«      }t'        ||«      \  }}}}|xs |}|xs |}|j	                  |||||rt)        j*                  |d¬«      ndt,        dœ«       t        d|d d › �t        j                  ¬
«       Œ‡ |D ]"  }t        t)        j*                  |d¬«      «       Œ$ y # t        $ r2}t        d|dz   › d|› d|› �t        j                  ¬
«       Y d }~�Œ
d }~ww xY w# t        $ r,}t        d|› d|› �t        j                  ¬
«       Y d }~�Œd }~ww xY w)Nc              3   ó@   K  — | ]  }|t         j                  v –— Œ y ­w)N)ÚsysÚargv)rO   Úargs     r   rR   zmain.<locals>.<genexpr>³   s   è ø€ Ò\¨S˜¤§¡œÑ\ùs   ‚)z--incrementalÚincrementalÚincé   r=   z
/bm_gknrz_z.shtmlzPage z: z items)Úfilez error (z): zTotal: zIncremental: zUnique: F)Úensure_asciir#   )r   Úpage_urlÚpublish_dater;   ru   Ú	site_namez  OK: é2   z  ERR )r_   ÚLIST_URLÚrangeÚ	MAX_PAGESr.   r+   r,   Ú	enumerater   r4   Úprintr`   r†   ÚstderrÚextendÚ	Exceptionrƒ   ÚsetÚaddrw   ÚjsonÚdumpsÚ	SITE_NAME)Úis_incrementalÚ	page_urlsÚiÚ	all_itemsÚidxr   r/   r1   ÚeÚseenÚunique_itemsÚitemÚresultsr   Ú	list_dateÚ	det_titleÚdet_dater;   ru   Úfinal_titleÚ
final_dateÚrs                         r   Úmainr¯   ²   sž  € ÜÑ\Ð4[Ô\Ó\€NÜ�
€IÜ�1”i !‘mÓ$ò HˆØ×Ñœ¤IÑ-°*¸Q¸C¸vÐ0FÑFÕGðHð €IÜ˜iÓ(ò G‰ˆˆSð	GÜ˜“:ˆDÜ˜tÓ$ˆEÜ�E˜#˜a™%˜ ¤3 u£: ,¨fÐ5¼C¿J¹JÕGØ×Ñ˜UÕ#ðGô 
ˆG”C˜	“NÐ#Ð
$¬3¯:©:Õ6ÙÜ& yÓ1ˆ	Ü�œc )›nÐ-Ð.´S·Z±ZÕ@ä‹5€DØ€LØò &ˆØ�‰7˜$ÒØ�H‰H�T˜!‘WÔØ×Ñ Õ%ð&ô
 
ˆH”S˜Ó&Ð'Ð
(¬s¯z©zÕ:à€GØ!-ò 8Ñˆˆs�Ið	8Ü˜“:ˆDÜ8DÀTÈ3Ó8OÑ5ˆI�x ¨+Ø#Ò, uˆKØ!Ò. YˆJØ�N‰NØ$ØØ *Ø"ÙNYœtŸz™z¨+ÀEÕJÐ_aÜ&ñô ô �F˜; s¨Ð+Ð,Ð-´C·J±JÖ?ð8ð$ ò 1ˆÜŒd�j‰j˜¨Ô/Õ0ñ1øôI ò 	GÜ�E˜#˜a™%˜ ¨¨¨S°°Ð4¼3¿:¹:×FÓFûð	GûôB ò 	8Ü�F˜3˜%˜r ! Ð%¬C¯J©J×7Ó7ûð	8ús2   Á)AH6ÆA>I4È6	I1È?'I,É,I1É4	J)É=!J$Ê$J)Ú__main__)Ú__doc__ÚrequestsrS   rœ   r†   Úosr   r   Úbs4r   Úurllib.parser   r+   r,   r’   rž   r{   r”   ÚHEADERSr   ÚSessionr   ÚheadersÚupdater   r4   rw   rƒ   r¯   Ú__name__rN   r   r   ú<module>r»      s´   ðñ÷
 #× "Ó "ß (Ý Ý  à#€Ø€	Ø�iÑÐ"3Ñ3€Ø<€	ØÐ Ø€	ð DØOØ0ñ€ð
 €Ø
ˆ(×
Ñ
Ó
€Ø ‡�× Ñ �wÔ òòò2f6òR
ò21ðj ˆzÒÙ…Fð r   