Ë
    V_Šj¤  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlmZmZ ddlm	Z	 ddl
mZ dZdZeez   dz   Zd	Zd
ZdZddddœZdZ ej(                  «       Zej,                  j/                  e«       d„ Zd„ Zd„ Zd„ Zd„ Zedk(  r e«        yy)u„   
Crawler for æ–°ç–†ç”Ÿäº§å»ºè®¾å…µå›¢ - æ°‘æ„�å¾�é›†
CMS: ZCMS, div.list + div.article + div.content
Site: www.xjbt.gov.cn/hd/myzj/
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoup)Úurljoinzhttp://www.xjbt.gov.cnz/hd/myzjz/index.shtmlu%   æ–°ç–†ç”Ÿäº§å»ºè®¾å…µå›¢-æ°‘æ„�å¾�é›†é   é   zoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9,en;q=0.8)z
User-AgentÚAcceptzAccept-Languageé   c                 ó^   — t         j                  | t        ¬«      }d|_        |j                  S )N)Útimeoutzutf-8)ÚsessionÚgetÚTIMEOUTÚencodingÚtext)ÚurlÚresps     ú$/root/gov_crawler/crawl_xjbt_myzj.pyÚfetchr      s%   € Ü�;‰;�s¤Gˆ;Ó,€DØ€D„MØ�9‰9Ðó    c                 ó:  — t        | d«      }g }|j                  dd¬«      }|s|S |j                  ddd¬«      D ]Þ  }|j                  dd	¬
«      }|sŒ|j                  d	¬«      }|d   j	                  «       }|r|sŒC|j                  dd¬«      }|r|j                  d	¬«      nd}	|j                  d«      r
t        |z   }n3|j                  d«      s"t        t        z   dz   |j                  d«      z   }|j                  |j	                  «       ||	dd f«       Œà |S )uD   Parse list page â€” div.list > div.article > div.name > a + div.timeúhtml.parserÚdivÚlist©Úclass_ÚarticleF)r   Ú	recursiveÚaT©Úhref©Ústripr!   ÚtimeÚ ú/Úhttpz./Né
   )
r   ÚfindÚfind_allÚget_textr#   Ú
startswithÚBASE_URLÚ	LIST_PATHÚlstripÚappend)
ÚhtmlÚsoupÚitemsÚlist_divr   r   Útitler!   Útime_divÚdates
             r   Ú
parse_listr8   #   s  € ä˜˜}Ó-€DØ€EØ�y‰y˜ vˆyÓ.€HÙØˆØ×$Ñ$ U°9ÈÐ$ÓNò 7ˆØ�L‰L˜ 4ˆLÓ(ˆÙØØ—
‘
 �
Ó&ˆØ�‰y�‰Ó ˆÙ™DØØ—<‘< ¨f�<Ó5ˆÙ08ˆx× Ñ  tÐ Ô,¸bˆØ�?‰?˜3ÔÜ˜d‘?‰DØ—‘ Ô(ÜœiÑ'¨#Ñ-°·±¸DÓ0AÑAˆDØ�‰�e—k‘k“m T¨4°°¨9Ð5Õ6ð7ð €Lr   c           	      óò	  — t        | d«      }d}|j                  dd¬«      }|r|j                  d¬«      }|s;|j                  ddd	i¬
«      }|r$|j                  d«      r|d   j	                  «       }d}|j                  dddi¬
«      }|r=|j                  d«      r,t        j                  d|d   «      }|r|j                  d«      }d}	|j                  dd¬«      }
|
�rg }t        «       }|
j                  g d¢d¬«      D �]è  }t        |«      |v rŒ|j                  t        |«      «       |j                  j                  «       }|dk(  �r¥g }|j                  D �]k  }t        |t         «      r%|j	                  «       }|sŒ'|j#                  |«       Œ9|j                  dk(  rp|j                  dd«      j	                  «       }|j                  d¬«      }|r'|r%t%        ||«      }|j#                  d|› d|› d�«       Œ£|sŒ¦|j#                  |«       Œ¸|j                  dk(  ro|j                  t        |«      «       |j                  dd«      }|sŒö|j                  dd«      }t%        ||«      }|j#                  |r	d|› d|› d�nd|› d�«       �Œ6t'        |d«      s�ŒD|j                  dd¬«      }|s�Œ[|j#                  |«       �Œn dj)                  |«      }|s�ŒÞ|j#                  |«       �Œñ|dk(  r˜g }|j                  d «      D ]\  }|j                  d!d"g«      D �cg c]  }|j                  dd¬«      ‘Œ }}|sŒ7|j#                  d#d$j)                  |«      z   d%z   «       Œ^ |s�Œl|j#                  d&j)                  |«      «       �ŒŽ|dk(  s�Œ•|j                  dd«      }|s�Œ«|j                  dd«      }t%        ||«      }|j#                  |r	d|› d|› d�nd|› d�«       �Œë d'j)                  |«      }	|
xs |}g }|j                  dd¬(«      D ]‘  }|d   j	                  «       j                  «       }t        j                  d)|«      sŒ;t%        ||d   j	                  «       «      }|j#                  |j                  d¬«      xs |j+                  d*«      d+   |d,œ«       Œ“ t-        |	j	                  «       «      d-k  r$|r"d.|› d/|› d0�}	|D ]  } |	d1| d2   › d| d3   › d4�z  }	Œ |||	|fS c c}w )5u@   Parse detail page â€” div.content with <p> preserving <a>/<img>.r   r%   Úh2r   Tr"   ÚmetaÚnameÚArticleTitle)ÚattrsÚcontentÚPubDatez(\d{4}-\d{2}-\d{2})é   r   )ÚpÚtableÚimg)r   rB   r   r!   ú[z](ú)rD   ÚsrcÚaltz![z![](r+   ú rC   ÚtrÚtdÚthz| z | z |ú
z

r    z&\.(pdf|doc|docx|xls|xlsx|zip|rar|txt)$r&   éÿÿÿÿ)r5   r   r
   z<p><a href="z">u   </a></p>

é™„ä»¶åˆ—è¡¨ï¼š
z  - [r5   r   z)
)r   r)   r+   r   r#   ÚreÚsearchÚgroupÚsetr*   ÚidÚaddr<   ÚlowerÚcontentsÚ
isinstanceÚstrr0   r   ÚhasattrÚjoinÚsplitÚlen)!r1   r   r2   r5   r:   Ú
meta_titleÚpub_dateÚ	meta_dateÚmÚcontent_htmlÚcontent_divÚpartsÚ	processedÚchildÚtagÚp_partsÚelemÚtxtÚahrefÚatxtÚ	full_hrefrG   rH   Úfull_srcÚ
table_rowsrJ   rK   ÚcellsÚscopeÚattachmentsr   Úfull_urlÚatts!                                    r   Úparse_detailrt   <   sÕ  € ä˜˜}Ó-€Dð €EØ	�‰�4 ˆÓ	%€BÙ	Ø—‘ $�Ó'ˆÙØ—Y‘Y˜v¨f°nÐ-E�YÓFˆ
Ù˜*Ÿ.™.¨Ô3Ø˜yÑ)×/Ñ/Ó1ˆEð €HØ—	‘	˜&¨°Ð(;�	Ó<€IÙ�Y—]‘] 9Ô-Ü�I‰IÐ,¨i¸	Ñ.BÓCˆÙØ—w‘w˜q“zˆHð €LØ—)‘)˜E¨)�)Ó4€KÚØˆÜ“Eˆ	Ø ×)Ñ)Ò*?È4Ð)ÓPó /	YˆEÜ�%‹y˜IÑ%ØØ�M‰Mœ"˜U›)Ô$Ø—*‘*×"Ñ"Ó$ˆCØ�c‹zØ�Ø!ŸN™Nó 0�DÜ! $¬Ô,Ø"Ÿj™j›l˜ÚØ#ŸN™N¨3Õ/ØŸ™ cÒ)Ø $§¡¨°Ó 4× :Ñ :Ó <˜Ø#Ÿ}™}°4˜}Ó8˜Ù ¡TÜ(/°°UÓ(;˜IØ#ŸN™N¨Q¨t¨f°B°y°kÀÐ+CÕDÚ!Ø#ŸN™N¨4Õ0ØŸ™ eÒ+Ø!Ÿ™¤b¨£hÔ/Ø"Ÿh™h u¨bÓ1˜ÚØ"&§(¡(¨5°"Ó"5˜CÜ'.¨s°CÓ'8˜HØ#ŸN™NÁc¨R°¨u°B°x°jÀÑ+BÐQUÐV^ÐU_Ð_`ÐOaÖbÜ   zÖ2Ø"Ÿm™m¨C°t˜mÓ<˜ÛØ#ŸN™N¨3Ö/ð/0ð0 —h‘h˜wÓ'�ÛØ—L‘L Ö%Ø˜’Ø�
ØŸ.™.¨Ó.ò K�BØDFÇKÁKÐQUÐW[ÐP\ÓD]Ö^¸b˜RŸ[™[¨°D˜[Õ9Ð^�EÐ^ÚØ"×)Ñ)¨$°·±¸EÓ1BÑ*BÀTÑ*IÕJðKó Ø—L‘L §¡¨:Ó!6Ö7Ø˜”Ø—i‘i  rÓ*�ÛØŸ)™) E¨2Ó.�CÜ& s¨CÓ0�HØ—L‘L¹C 2 c U¨"¨X¨J°aÑ!8ÀtÈHÈ:ÐUVÐEWÖXð_/	Yð` —{‘{ 5Ó)ˆð Ò˜4€EØ€KØ�^‰^˜C dˆ^Ó+ò nˆØ�&‘	—‘Ó!×'Ñ'Ó)ˆÜ�9‰9Ð>ÀÕFÜ˜s A f¡I§O¡OÓ$5Ó6ˆHØ×Ñ¨¯©¸$¨Ó)?Ò)ZÀ8Ç>Á>ÐRUÓCVÐWYÑCZÐckÑlÕmð	nô ˆ<×ÑÓÓ  2Ò%©+Ø% c U¨"¨U¨GÐ3PÐQˆØò 	DˆCØ˜e C¨¡L >°°C¸±J°<¸sÐCÑC‰Lð	Dð �(˜L¨+Ð5Ð5ùò7 _s   Ì#S4c                 ó  — t        j                  «       t        t        ¬«      z
  }g }| D ]6  \  }}}	 t        j                  |d«      }||k\  r|j                  |||f«       Œ8 |S # t        t        f$ r |j                  |||f«       Y Œ`w xY w)N)Údaysz%Y-%m-%d)r   Únowr   ÚINCREMENTAL_DAYSÚstrptimer0   Ú
ValueErrorÚ
IndexError)r3   ÚcutoffÚfilteredr5   r   Údate_strÚ	item_dates          r   Úincremental_filterr€   ›   s–   € Ü�\‰\‹^œiÔ-=Ô>Ñ>€FØ€HØ %ò 4Ñˆˆs�Hð	4Ü ×)Ñ)¨(°JÓ?ˆIØ˜FÒ"Ø—‘ ¨¨XÐ 6Ô7øð	4ð €Oøô œJÐ'ò 	4Ø�O‰O˜U C¨Ð2Ö3ð	4ús   ²/A%Á%#BÂ
Bc                  óX  — t        d„ dD «       «      } t        g}t        dt        dz   «      D ]%  }|j	                  t
        t        z   d|› d�z   «       Œ' g }t        |«      D ][  \  }}	 t        |«      }t        |«      }t        d|dz   › dt        |«      › d	�t        j                  ¬
«       |j                  |«       Œ] t        dt        |«      › �t        j                  ¬
«       | r2t!        |«      }t        dt        |«      › �t        j                  ¬
«       t#        «       }	g }
|D ]/  }|d   |	vsŒ|	j%                  |d   «       |
j	                  |«       Œ1 t        dt        |
«      › �t        j                  ¬
«       g }|
D ]…  \  }}}	 t        |«      }t'        ||«      \  }}}}|xs |}|xs |}|j	                  |||||rt)        j*                  |d¬«      ndt,        dœ«       t        d|d d › �t        j                  ¬
«       Œ‡ |D ]"  }t        t)        j*                  |d¬«      «       Œ$ y # t        $ r2}t        d|dz   › d|› d|› �t        j                  ¬
«       Y d }~�Œ
d }~ww xY w# t        $ r,}t        d|› d|› �t        j                  ¬
«       Y d }~�Œd }~ww xY w)Nc              3   ó@   K  — | ]  }|t         j                  v –— Œ y ­w)N)ÚsysÚargv)Ú.0Úargs     r   ú	<genexpr>zmain.<locals>.<genexpr>©   s   è ø€ Ò\¨S˜¤§¡œÑ\ùs   ‚)z--incrementalÚincrementalÚincé   rA   z/index_z.shtmlzPage z: z items)Úfilez error (z): zTotal: zIncremental: zUnique: F)Úensure_asciir%   )r5   Úpage_urlÚpublish_dater?   rq   Ú	site_namez  OK: é2   z  ERR )ÚanyÚLIST_URLÚrangeÚ	MAX_PAGESr0   r-   r.   Ú	enumerater   r8   Úprintr\   rƒ   ÚstderrÚextendÚ	Exceptionr€   rR   rT   rt   ÚjsonÚdumpsÚ	SITE_NAME)Úis_incrementalÚ	page_urlsÚiÚ	all_itemsÚidxr   r1   r3   ÚeÚseenÚunique_itemsÚitemÚresultsr5   Ú	list_dateÚ	det_titleÚdet_dater?   rq   Úfinal_titleÚ
final_dateÚrs                         r   Úmainr­   ¨   sž  € ÜÑ\Ð4[Ô\Ó\€NÜ�
€IÜ�1”i !‘mÓ$ò EˆØ×Ñœ¤IÑ-°'¸!¸¸FÐ0CÑCÕDðEð €IÜ˜iÓ(ò G‰ˆˆSð	GÜ˜“:ˆDÜ˜tÓ$ˆEÜ�E˜#˜a™%˜ ¤3 u£: ,¨fÐ5¼C¿J¹JÕGØ×Ñ˜UÕ#ðGô 
ˆG”C˜	“NÐ#Ð
$¬3¯:©:Õ6ÙÜ& yÓ1ˆ	Ü�œc )›nÐ-Ð.´S·Z±ZÕ@ä‹5€DØ€LØò &ˆØ�‰7˜$ÒØ�H‰H�T˜!‘WÔØ×Ñ Õ%ð&ô
 
ˆH”S˜Ó&Ð'Ð
(¬s¯z©zÕ:à€GØ!-ò 8Ñˆˆs�Ið	8Ü˜“:ˆDÜ8DÀTÈ3Ó8OÑ5ˆI�x ¨+Ø#Ò, uˆKØ!Ò. YˆJØ�N‰NØ$ØØ *Ø"ÙNYœtŸz™z¨+ÀEÕJÐ_aÜ&ñô ô �F˜; s¨Ð+Ð,Ð-´C·J±JÖ?ð8ð$ ò 1ˆÜŒd�j‰j˜¨Ô/Õ0ñ1øôI ò 	GÜ�E˜#˜a™%˜ ¨¨¨S°°Ð4¼3¿:¹:×FÓFûð	GûôB ò 	8Ü�F˜3˜%˜r ! Ð%¬C¯J©J×7Ó7ûð	8ús2   Á)AH6ÆA>I4È6	I1È?'I,É,I1É4	J)É=!J$Ê$J)Ú__main__)Ú__doc__ÚrequestsrO   rš   rƒ   Úosr   r   Úbs4r   Úurllib.parser   r-   r.   r’   rœ   rx   r”   ÚHEADERSr   ÚSessionr   ÚheadersÚupdater   r8   rt   r€   r­   Ú__name__© r   r   ú<module>rº      s³   ðñ÷
 #× "Ó "ß (Ý Ý  à#€Ø€	Ø�iÑ .Ñ0€Ø3€	ØÐ Ø€	ð DØOØ0ñ€ð
 €Ø
ˆ(×
Ñ
Ó
€Ø ‡�× Ñ �wÔ òòò2\6ò~
ò21ðj ˆzÒÙ…Fð r   