Ë
    ¸¬uj8#  ã            	       óò  — d Z ddlZddlZddlZddlZddlZddlZddlmZmZ ddl	m
Z
 ddlmZ  ej                  dd«      ZdZd	Zd
ZddiZdZd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd!d„Zd„ Zedk(  rŒ eej<                  «      dkD  rej<                  d   ndZedk(  r e«        yedk(  r e«        yedk(  rF ed«      Z e r ee «      ng Z! ed ee!«      › d�«       e!dd D ]  \  Z"Z#Z$ e%de$› de"dd  › �«       Œ yyy)"uÊ   
Crawler: çŽ‰æºªå¸‚äººæ°‘æ”¿åºœ - çŽ¯å¢ƒç›‘ç®¡ä¿¡æ�¯å…¬å¼€
List: newDepartmentContentds.jspx?channelId=22142&pageNo=N
Detail: /yxszfxxgk/qyhjxxpl/YYYYMMDD/ID.html
Content div: content-txt content-txt-1
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoup)ÚurljoinÚ	SEARCH_DBz/root/search.dbu   çŽ‰æºªå¸‚ç”Ÿæ€�çŽ¯å¢ƒå±€u   çŽ¯å¢ƒç›‘ç®¡ä¿¡æ�¯å…¬å¼€zhttps://www.yuxi.gov.cnz
User-AgentzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36é2   c                 ó2   — t        dt        › d| › �d¬«       y )Nú[z] T)Úflush)ÚprintÚSITE)Úmsgs    ú$/root/gov_crawler/crawl_yuxi_hjxx.pyÚlogr      s   € Ü	ˆAŒdˆV�2�c�UÐ
 4Ö(ó    c                 óÈ   — t         › d| › �}	 t        j                  |t        dd¬«      }d|_        |j
                  S # t        $ r}t        d| › d|› �«       Y d }~y d }~ww xY w)NzN/yxgovfront/newDepartmentContentds.jspx?path=yxszfxxgk&channelId=22142&pageNo=é   F©ÚheadersÚtimeoutÚverifyúutf-8z
List page z error: )ÚBASE_URLÚrequestsÚgetÚHEADERSÚencodingÚtextÚ	Exceptionr   )Úpage_noÚurlÚrÚes       r   Úfetch_list_pager$      sf   € ÜˆJÐdÐelÐdmÐ
n€CðÜ�L‰L˜¤g°rÀ%ÔHˆØˆŒ
Ø�v‰vˆøÜò Üˆj˜˜	 ¨!¨Ð-Ô.Üûðús   �/= ½	A!ÁAÁA!c                 óš  — g }t        | d«      }|j                  d«      D ]¨  }|j                  d«      }t        |«      dk\  sŒ#|d   j                  d«      }|sŒ:|j	                  d«      sŒL|j                  d¬	«      xs |j	                  d
d«      }|d   }|d   j                  d¬	«      }|sŒ�|sŒ’|sŒ•|j                  |||f«       Œª |S )z"Extract (title, url, date) tuples.úhtml.parserÚliÚspané   r   ÚaÚhrefT©ÚstripÚtitleÚ é   )r   Úfind_allÚlenÚfindr   Úget_textÚappend)	ÚhtmlÚitemsÚsoupr'   ÚspansÚa_tagr.   r!   Údates	            r   Úparse_list_pager<   &   sÅ   € à€EÜ˜˜}Ó-€Dà�m‰m˜DÓ!ò 	5ˆØ—‘˜FÓ#ˆÜˆu‹:˜‹?Ø˜!‘H—M‘M #Ó&ˆEÚ˜Ÿ™ 6Õ*ØŸ™¨T˜Ó2ÒL°e·i±iÀÈÓ6L�Ø˜F‘m�Ø˜Q‘x×(Ñ(¨tÐ(Ó4�ÚšS¢TØ—L‘L %¨¨dÐ!3Õ4ð	5ð €Lr   c                 ó²   — 	 t        j                  | t        dd¬«      }d|_        |j                  S # t
        $ r}t        d| › d|› �«       Y d }~y d }~ww xY w)Nr   Fr   r   zDetail error ú: )r   r   r   r   r   r   r   )Ú
detail_urlr"   r#   s      r   Úfetch_detailr@   8   sS   € ðÜ�L‰L˜¬W¸bÈÔOˆØˆŒ
Ø�v‰vˆøÜò Üˆm˜J˜< r¨!¨Ð-Ô.Üûðús   ‚/2 ²	A»AÁAc                 óL  — ddddœ}t        | d«      }|j                  dd¬«      }|r|j                  d¬«      |d	<   |d	   s(|j                  d	«      }|r|j                  d¬«      |d	<   |j                  d
ddi¬«      xs |j                  d
ddi¬«      }|r|j                  d«      r|d   dd |d<   |j                  ddd¬«      }|s|j                  dd¬«      }|rt	        t        |«      «      |d<   |S |j                  dd¬«      }|rt	        t        |«      «      |d<   |S )zExtract title, date, content.r/   ©r.   Úpublish_dateÚcontentr&   Úh3zzcjd-header)ÚidTr,   r.   ÚmetaÚnameÚPubDate)ÚattrsÚpublishdaterD   Né
   rC   Údivzcontent-txtzcontent-txt-1)Úclass_rF   zprint-container)rN   )r   r3   r4   r   Úextract_clean_textÚstr)r6   Úresultr8   rE   Ú	title_tagÚ	meta_dateÚcontent_divÚpcs           r   Úparse_detailrV   B   sC  € à¨2¸"Ñ=€FÜ˜˜}Ó-€Dð 
�‰�4˜MˆÓ	*€BÙ	ØŸ+™+¨D˜+Ó1ˆˆw‰Ø�'Š?Ø—I‘I˜gÓ&ˆ	ÙØ'×0Ñ0°tÐ0Ó<ˆF�7‰Oð —	‘	˜&¨°Ð(;�	Ó<ÒpÀÇ	Á	È&ÐY_ÐanÐXoÀ	Ó@p€IÙ�Y—]‘] 9Ô-Ø!*¨9Ñ!5°c°rÐ!:ˆˆ~Ñð —)‘)˜E¨-¸O�)ÓL€KÙØ—i‘i ¨/�iÓ:ˆÙÜ.¬s°;Ó/?Ó@ˆˆyÑð €Mð	 �Y‰Y�uÐ%6ˆYÓ7ˆÙÜ 2´3°r³7Ó ;ˆF�9Ñà€Mr   c                 ó   — | syt        | d«      }|j                  dd¬«      D ]R  }|j                  dd«      }|j                  d¬«      xs d}t	        t
        |«      }|j                  d	|› d
|› d�«       ŒT |j                  g d¢«      D ]  }|j                  «        Œ g }|j                  ddg«      D ]u  }|j                  dk(  r|j                  t        |«      «       Œ-|j                  dk(  sŒ=|j                  d«      rŒO|j                  dd¬«      }	|	sŒe|j                  |	«       Œw |rdj                  |«      S | j                  «       S )Nr/   r&   r*   T)r+   r+   r,   u   é™„ä»¶r
   z](ú))r(   ÚbÚstrongÚfontÚemÚiÚuÚsÚtableÚp)Ú	separatorr-   z

)r   r1   r   r4   r   r   Úreplace_withÚunwraprH   r5   rP   Úfind_parentÚjoinr-   )
Úcontent_htmlr8   r:   r+   r   Úfull_urlÚtagÚpartsÚelÚts
             r   rO   rO   d   s8  € ÙØÜ˜ }Ó5€Dà—‘˜s¨�Ó.ò 4ˆØ�y‰y˜ Ó$ˆØ�~‰~ Dˆ~Ó)Ò5¨XˆÜœ8 TÓ*ˆØ×Ñ˜Q˜t˜f B x j°Ð2Õ3ð	4ð �}‰}ÒQÓRò ˆØ�
‰
�ðð €EØ�m‰m˜W c˜NÓ+ò  ˆØ�7‰7�gÒØ�L‰Lœ˜R›Õ!Ø�W‰W˜‹^ B§N¡N°7Õ$;Ø—‘ b°�Ó5ˆAÚØ—‘˜Q•ð ñ "'ˆ6�;‰;�uÓÐ@¨L×,>Ñ,>Ó,@Ð@r   c                 óV  ‡— t        j                  «       t        | dz  ¬«      z
  j                  d«      Št	        d‰› d�«       g }t        dt        dz   «      D ]Ù  }t        |«      }|s nÊt        |«      }|st	        d|› d�«        n¬|D ��cg c]  \  }}}|‘Œ
 }}}t        ˆfd	„|D «       «      }|rt	        d|› d
t        |«      › d�«        nd|D ]!  \  }	}
}|‰k  rŒ|j                  |	|
|dœ«       Œ# t	        d|› dt        |«      › dt        |«      › d�«       t        j                  d«       ŒÛ t	        dt        |«      › d�«       g }t        |d«      D ]Á  \  }}t        |d   «      }|r.t!        |«      }|d   r|d   |d<   |d   r|d   |d<   |d   |d<   nd|d<   |j                  |d   |d   |d   |j#                  dd«      t$        › dt&        › �t&        dœ«       |dz  dk(  rt	        d|› dt        |«      › �«       t        j                  d«       ŒÃ d}d}dd l}|j+                  t,        «      }|j/                  d«       |j/                  d«       |j1                  «       }|D ]V  }	 |j/                  d |d!   |d"   |d"   |d   |d   |d   |d   xs dd d# |d$   f«       |j2                  dkD  r|dz  }n|dz  }ŒX |j7                  «        |j9                  «        t	        d&|› d'|› d(�«       y c c}}w # t4        $ r}t	        d%|› �«       |dz  }Y d }~Œ³d }~ww xY w))Nr   ©Údaysú%Y-%m-%dzFull crawl (cutoff: rX   r0   z  Page z: empty, stoppingc              3   ó(   •K  — | ]	  }|‰k  –— Œ y ­w)N© )Ú.0ÚdÚcutoffs     €r   ú	<genexpr>zcrawl_all.<locals>.<genexpr>�   s   øè ø€ Ò3¨˜˜V�Ñ3ùs   ƒz: all z items before cutoff, stopping)r.   r!   r;   r>   z items (accumulated: ç      à?zAfter filter: ú itemsr!   r.   rC   r;   rD   r/   ú-©r.   Úpage_urlrC   rD   Ú	site_nameÚcolumné   r   z
  Detail: ú/úPRAGMA journal_mode=WALúPRAGMA busy_timeout=10000ú‰INSERT OR IGNORE INTO gov_raw (site_name, source_url, page_url, title, publish_date, content, summary, category) VALUES (?,?,?,?,?,?,?,?)r|   r{   éô  r}   ú
DB error: úResult: ú new, ú skipped)r   Únowr   Ústrftimer   ÚrangeÚ	MAX_PAGESr$   r<   Úallr2   r5   ÚtimeÚsleepÚ	enumerater@   rV   r   r   ÚCOLUMNÚsqlite3ÚconnectÚDB_PATHÚexecuteÚcursorÚrowcountr   ÚcommitÚclose)Úmonths_backÚ	all_itemsÚpgr6   r7   Ú_rt   ÚdatesÚ
all_beforer.   r!   r;   ÚenrichedÚidxÚitemÚdetailÚstoredÚskippedr‘   ÚconnÚcr#   ru   s                         @r   Ú	crawl_allr§   }   s|  ø€ Ü�l‰l‹nœy¨k¸BÑ.>Ô?Ñ?×IÑIÈ*ÓU€FÜÐ
˜v˜h aÐ(Ô)à€IÜ�A”y 1‘}Ó%ò ˆÜ˜rÓ"ˆÙÙÜ Ó%ˆÙÜ�'˜"˜Ð.Ð/Ô0Ùð #(×(‘w�q˜!˜Q’Ð(ˆÑ(ÜÓ3¨UÔ3Ó3ˆ
ÙÜ�'˜"˜˜V¤C¨£J <Ð/MÐNÔOÙà %ò 	IÑˆE�3˜Ø�fŠ}ØØ×Ñ u°SÀ$ÑGÕHð	Iô 	ˆg�b�T˜œC ›J˜<Ð'<¼SÀ»^Ð<LÈAÐNÔOÜ�
‰
�3�ð+ô. ˆ.œ˜Y›Ð(¨Ð/Ô0à€HÜ˜y¨!Ó,ò ‰	ˆˆTÜ˜D ™KÓ(ˆÙÜ! $Ó'ˆFØ�gŠØ & w¡��W‘Ø�nÒ%Ø% nÑ5��V‘Ø$ YÑ/ˆD�ŠOà ˆD�‰Oà�‰Ø˜'‘]Ø˜U™Ø  ™LØ—x‘x 	¨2Ó.Ü ˜6 ¤6 (Ð+Üñ
ô 	ð �‰8�qŠ=Ü�*˜S˜E ¤3 y£>Ð"2Ð3Ô4Ü�
‰
�3�ð-ð0 €FØ€GÛØ�?‰?œ7Ó#€DØ‡L�LÐ*Ô+Ø‡L�LÐ,Ô-Ø�‰‹€AØò ˆð	Ø�I‰Ið,ð �kÑ" D¨Ñ$4°d¸:Ñ6FØ�g‘  ^Ñ 4°d¸9±oØ�y‘/Ò' R¨¨#Ð.°°X±ð@ô	Að �z‰z˜AŠ~Ø˜!‘‘à˜1‘�øðð  	‡K�K„MØ‡J�J„LÜˆ(�6�(˜&  	¨Ð2Õ3ùóC )øôx ò 	Ü�*˜Q˜CÐ Ô!Ø�q‰L�Gûð	ús   ÂK<É4ALÌ	L(ÌL#Ì#L(c                  óò  — t        j                  «       t        d¬«      z
  j                  d«      } t	        d| › d�«       t        d«      }|sy t        |«      }|D ���cg c]  \  }}}|| k\  sŒ|||f‘Œ }}}}g }|D ]l  \  }}	}
t        |	«      }|rt        |«      nddddœ}|j                  |d	   xs ||	|
|d
   t        › dt        › �t        dœ«       t        j                  d«       Œn d}d}dd l}|j                  t         «      }|j#                  d«       |j#                  d«       |j%                  «       }|D ]V  }	 |j#                  d|d   |d   |d   |d	   |d   |d
   |d
   xs dd d |d   f«       |j&                  dkD  r|dz  }n|dz  }ŒX |j+                  «        |j-                  «        t	        d|› d|› d�«       y c c}}}w # t(        $ r}t	        d|› �«       |dz  }Y d }~Œ´d }~ww xY w)Né   rn   rp   zIncremental (since rX   r0   r/   rB   r.   rD   ry   rz   rw   r   r€   r�   r‚   r|   r{   rC   rƒ   r}   r„   r…   r†   r‡   )r   rˆ   r   r‰   r   r$   r<   r@   rV   r5   r   r�   r�   rŽ   r‘   r’   r“   r”   r•   r–   r   r—   r˜   )ru   r6   r7   rl   r^   rt   ÚfilteredrŸ   r.   r!   r;   r¢   r£   r¤   r‘   r¥   r¦   r¡   r#   s                      r   Úcrawl_incrementalr«   Ð   s)  € Ü�l‰l‹nœy¨aÔ0Ñ0×:Ñ:¸:ÓF€FÜÐ
˜f˜X QÐ'Ô(Ü˜1Ó€DÙØÜ˜DÓ!€EØ).×>Ð>™g˜a  A°!°v³+��A�q’	Ð>€HÒ>à€HØ$ò Ñˆˆs�DÜ˜CÓ ˆÙ'+”˜dÔ#¸2ÈrÐ^`Ñ1aˆØ�‰Ø˜G‘_Ò-¨ØØ Ø˜iÑ(Ü ˜6 ¤6 (Ð+Üñ
ô 	ô 	�
‰
�3�ðð €FØ€GÛØ�?‰?œ7Ó#€DØ‡L�LÐ*Ô+Ø‡L�LÐ,Ô-Ø�‰‹€AØò ˆð	Ø�I‰Ið,ð �kÑ" D¨Ñ$4°d¸:Ñ6FØ�g‘  ^Ñ 4°d¸9±oØ�y‘/Ò' R¨¨#Ð.°°X±ð@ô	Að �z‰z˜AŠ~Ø˜!‘‘à˜1‘�øðð  	‡K�K„MØ‡J�J„LÜˆ(�6�(˜&  	¨Ð2Õ3ùôS ?øôH ò 	Ü�*˜Q˜CÐ Ô!Ø�q‰L�Gûð	ús%   ÁG	Á.G	ÅAGÇ	G6ÇG1Ç1G6Ú__main__r0   ÚincrementalÚfullÚlistzPage 1: rx   é   z  z | é<   )é$   )&Ú__doc__ÚsysÚosÚjsonÚrer�   r   r   r   Úbs4r   Úurllib.parser   Úgetenvr“   r   r�   r   r   r‹   r   r$   r<   r@   rV   rO   r§   r«   Ú__name__r2   ÚargvÚmoder6   r7   rl   r^   rt   r   rr   r   r   ú<module>r¾      s:  ðñ÷ )× (× (ß (Ý Ý  à
ˆ"�)‰)�KÐ!2Ó
3€Ø!€Ø	#€Ø$€àð  Dð€ð €	ò)òòò$òòDAó2P4òf04ðf ˆzÒÙ˜cŸh™h›-¨!Ò+ˆ3�8‰8�AŠ;°€DØˆ}ÒÙÕØ	�ŠÙ�Ø	�ŠÙ˜qÓ!ˆÙ)-‘ Ô%°2ˆÙˆh‘s˜5“z�l &Ð)Ô*Ø˜R˜a�yò 	'‰GˆAˆq�!Ù�B�q�c˜˜Q˜s ˜V˜HÐ%Õ&ñ	'ð	 
ð r   