Ë
    9JŠjµ)  ã                   ó¶  — d Z ddlZddlZddlZddlZddlZddlZddlZddlmZ ddl	m
Z
 dZej                  Zd!d„Zee_        dZdZd	Zd
ZddddœZd„ Zd"d„Zd„ Zd„ Zd„ Zd#d„Zedk(  roddlZ ej8                  d¬«      Zej=                  dedd¬«       ej=                  ddd¬«       ejA                  «       Z! ee!jD                  e!jF                  ¬ «       yy)$uÇ   æ¼³å¹³å¸‚äººæ°‘æ”¿åºœ - é€šçŸ¥å…¬å‘Šçˆ¬è™«
ç«™ç‚¹: www.zp.gov.cn
æ �ç›®: /xwdt/tzgg/ (é€šçŸ¥å…¬å‘Š)
æ³¨æ„�: æœ�åŠ¡å™¨é»˜è®¤DNSæ— æ³•è§£æž� www.zp.gov.cnï¼Œéœ€é€šè¿‡Google DNSé¢„è§£æž�åˆ° 218.6.120.6
é    N)Údatetime)ÚBeautifulSoupz218.6.120.6c                 ó8   — | dk(  rt         } t        | |||||«      S )Nzwww.zp.gov.cn)ÚZP_IPÚ_real_getaddrinfo)ÚhostÚportÚfamilyÚtypeÚprotoÚflagss         ú"/root/gov_crawler/crawl_zp_tzgg.pyÚ_patched_getaddrinfor      s$   € ØˆÒÜˆÜ˜T 4¨°°u¸eÓDÐDó    zhttp://www.zp.gov.cnz/xwdt/tzgg/z/root/search.dbzwww.zp.gov.cn-tzggzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36z`text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8zzh-CN,zh;q=0.9,en;q=0.8)z
User-AgentÚAcceptzAccept-Languagec                  óZ   — t        j                  t        «      } | j                  d«       | S )NzPRAGMA journal_mode=WAL)Úsqlite3ÚconnectÚDB_PATHÚexecute)Úconns    r   Úinit_dbr   +   s"   € Ü�?‰?œ7Ó#€DØ‡L�LÐ*Ô+Ø€Kr   c                 ó@  — 	 t        j                  | t        |¬«      }d|_        |j                  dk(  r|j
                  S t        d|j                  › d| › �t        j                  ¬«       y # t        $ r(}t        d|› �t        j                  ¬«       Y d }~y d }~ww xY w)N)ÚheadersÚtimeoutzutf-8éÈ   z  [WARN] HTTP z for ©Úfilez  [ERROR] fetch failed: )
ÚrequestsÚgetÚHEADERSÚencodingÚstatus_codeÚtextÚprintÚsysÚstderrÚ	Exception)Úurlr   ÚrespÚes       r   Ú
fetch_pager,   1   s†   € ð	Ü�|‰|˜C¬¸'ÔBˆØˆŒØ×Ñ˜sÒ"Ø—9‘9ÐÜ�˜t×/Ñ/Ð0°°c°UÐ;Ä#Ç*Á*ÕMØøÜò ÜÐ(¨¨Ð,´3·:±:Õ>Üûðús   ‚=A, Á +A, Á,	BÁ5BÂBc                 ó¦  — g }t        | d«      }|j                  dd¬«      }|st        dt        j                  ¬«       |S |j                  d«      D �]{  }|j                  d«      }|r|j                  d	«      sŒ)|d	   j                  «       }|j                  d
«      rt        t        z   |dd z   }n=|j                  d«      r
t        |z   }n"|j                  d«      rnt        t        z   |z   }|j                  d«      xs |j                  d¬«      xs dj                  «       }t        j                  dd|«      }t        j                  dd|«      j                  «       }|s�Œ|j                  d«      }|r|j                  d¬«      nd}	t        j                  d|	«      }
|
r|
j                  d«      nd}	|j!                  |||	dœ«       �Œ~ |S )u2   è§£æž�åˆ—è¡¨é¡µï¼Œè¿”å›ž (url, title, date) åˆ—è¡¨úhtml.parserÚdivÚgl_list2©Úclass_z  [WARN] div.gl_list2 not foundr   ÚliÚaÚhrefz./é   Nú/ÚhttpÚtitleT©ÚstripÚ z\s+ú z\.\.\.$Úspanú(\d{4}-\d{2}-\d{2})é   )r)   r9   Úpub_date)r   Úfindr%   r&   r'   Úfind_allr    r;   Ú
startswithÚBASE_URLÚ	LIST_PATHÚget_textÚreÚsubÚsearchÚgroupÚappend)ÚhtmlÚitemsÚsoupÚlist_divr3   r4   r5   r9   Ú	date_spanrA   Ú
date_matchs              r   Ú
parse_listrS   >   s¡  € à€EÜ˜˜}Ó-€Dð �y‰y˜ zˆyÓ2€HÙÜÐ/´c·j±jÕAØˆà×Ñ Ó%ó JˆØ�G‰G�C‹LˆÙ˜Ÿ™˜fœØà�‰y�‰Ó ˆà�?‰?˜4Ô ÜœiÑ'¨$¨q¨r¨(Ñ2‰DØ�_‰_˜SÔ!Ü˜d‘?‰DØ�_‰_˜VÔ$ØäœiÑ'¨$Ñ.ˆDð —‘�w“Ò? 1§:¡:°D :Ó#9Ò?¸R×FÑFÓHˆÜ—‘�v˜s EÓ*ˆä—‘�z 2 uÓ-×3Ñ3Ó5ˆÙÙð —G‘G˜F“Oˆ	Ù5>�9×%Ñ%¨DÐ%Ô1ÀBˆÜ—Y‘YÐ5°xÓ@ˆ
Ù*4�:×#Ñ# AÔ&¸"ˆà�‰˜T¨E¸xÑHÖIð=Jð@ €Lr   c                 ó¸  ‡— t        | d«      }|j                  dd¬«      }|r|j                  d¬«      nd}|sL|j                  d«      }|r9|j                  d¬«      }t        j                  d	d|«      }|j                  «       }d}|j                  dd
¬«      }|r7t        j                  d|j                  «       «      }	|	r|	j                  d«      }|j                  ddd¬«      }
|
s|j                  dd¬«      }
g }|j                  dd¬«      }|r¶|j                  d«      D ]¢  }|j                  dd«      j                  «       Š‰r‰dk(  rŒ+‰j                  d«      s t        j                  j                  |‰«      Š|j                  d¬«      xs t        j                  j!                  ‰«      }|j#                  ‰|dœ«       Œ¤ d}d}|
�rH|
j                  d«      D ]Ä  }|j                  dd«      j                  «       Št%        ˆfd„dD «       «      sŒ8‰j                  d«      s t        j                  j                  |‰«      Š|j                  d¬«      xs t        j                  j!                  ‰«      }t%        ˆfd„|D «       «      rŒ±|j#                  ‰|dœ«       ŒÆ |
j                  ddg«      D ]  }|j'                  «        Œ t)        «       }|
j                  d«      D ]g  }|j                  d«      }|rt%        d„ |D «       «      nd}|s|sŒ/|j                  d¬«      }||v rŒF|j+                  |«       |t-        |«      dz   z  }Œi t        t-        |
«      d«      }|j                  d«      D ]  }|j'                  «        Œ |j                  d «      }|rAg }|D ](  }|j                  d¬«      }|sŒ|j#                  |«       Œ* dj/                  |«      }n|j                  dd¬!«      }t        j                  d"d|«      }|r|d#|z   z  }t1        |j                  «       «      d$k  r"d%|› d&|› d'�}|D ]  }|d(|d   › d)|d*   › d+�z  }Œ ||||fS ),u3   è§£æž�è¯¦æƒ…é¡µ - æ ‡é¢˜ã€�æ­£æ–‡ã€�æ—¥æœŸã€�é™„ä»¶r.   r/   Úxl_tit1r1   Tr:   r<   r9   up   [-](?:å·¥ä½œä¿¡æ�¯|æ³•å®šä¸»åŠ¨å…¬å¼€|åº”ä¸»åŠ¨å…¬å¼€|æ”¿åºœä¿¡æ�¯å…¬å¼€|30åº”ä¸»åŠ¨).*[-]æ¼³å¹³å¸‚äººæ°‘æ”¿åºœ$Ú	xl_tit2_lr?   r@   Úxl_conÚfontZoom)r2   ÚidÚxl_appendixr4   r5   ú#r8   )r)   r9   c              3   ó@   •K  — | ]  }‰j                  |«      –— Œ y ­w)N)Úendswith)Ú.0Úextr5   s     €r   ú	<genexpr>zparse_detail.<locals>.<genexpr>�   s    øè ø€ ò `¨#�4—=‘= ×%ñ `ùs   ƒ)	z.docz.docxz.pdfz.xlsz.xlsxz.zipz.rarz.pptz.pptxc              3   ó.   •K  — | ]  }|d    ‰k(  –— Œ y­w)r)   N© )r^   r4   r5   s     €r   r`   zparse_detail.<locals>.<genexpr>¢   s   øè ø€ ÒA°˜1˜U™8 tÕ+ÑAùs   ƒÚscriptÚstyleÚtableÚtrc              3   óV   K  — | ]!  }t        |j                  d «      «      dk\  –— Œ# y­w)Útdé   N)ÚlenrC   )r^   Úrows     r   r`   zparse_detail.<locals>.<genexpr>­   s#   è ø€ ÒH¸Cœ3˜sŸ|™|¨DÓ1Ó2°aÕ7ÑHùs   ‚')Fz

Úp)Ú	separatorr;   z\n{4,}u   

[è¡¨æ ¼]

é   z<p><a href="z">z	</a></p>
u
   
é™„ä»¶: [z](r)   ú))r   rB   rG   rH   rI   r;   rJ   rK   rC   r    rD   r   ÚcompatÚurljoinÚosÚpathÚbasenamerL   ÚanyÚ	decomposeÚsetÚaddÚstrÚjoinrj   )rM   r)   rO   Útitle_elr9   Ú	title_tagÚtrA   Údate_divrR   Úcontent_divÚattachmentsÚappendix_divÚa_tagÚ	att_titleÚcontentÚtables_htmlÚtagÚ
seen_textsre   ÚrowsÚhas_dataÚtxtÚcontent_div_cleanÚ
paragraphsÚ
para_textsrl   Úp_textÚattr5   s                                @r   Úparse_detailr�   l   sg  ø€ ä˜˜}Ó-€Dð �y‰y˜ yˆyÓ1€HÙ-5ˆH×Ñ DÐÔ)¸2€EÙØ—I‘I˜gÓ&ˆ	ÙØ×"Ñ"¨Ð"Ó.ˆAô —‘ð  Kð  MOð  QRó  SˆAØ—G‘G“IˆEð €HØ�y‰y˜ {ˆyÓ3€HÙÜ—Y‘YÐ5°x×7HÑ7HÓ7JÓKˆ
ÙØ!×'Ñ'¨Ó*ˆHð —)‘)˜E¨(°z�)ÓB€KÙØ—i‘i ¨h�iÓ7ˆð €KØ—9‘9˜U¨=�9Ó9€LÙØ!×*Ñ*¨3Ó/ò 	BˆEØ—9‘9˜V RÓ(×.Ñ.Ó0ˆDÙ˜4 3š;Øà—?‘? 6Ô*Ü—‘×.Ñ.¨s°DÓ9�ØŸ™¨T˜Ó2ÒL´b·g±g×6FÑ6FÀtÓ6LˆIØ×Ñ t°iÑ@ÕAð	Bð €GØ€KÚà ×)Ñ)¨#Ó.ò 	JˆEØ—9‘9˜V RÓ(×.Ñ.Ó0ˆDÜó `Ø^ô`õ `à—‘ vÔ.Ü#Ÿ?™?×2Ñ2°3¸Ó=�DØ!ŸN™N°˜NÓ6ÒP¼"¿'¹'×:JÑ:JÈ4Ó:P�	ÜÓA°[ÔAÕAØ×&Ñ&¨t¸iÑ'HÕIð	Jð ×'Ñ'¨°7Ð(;Ó<ò 	ˆCØ�M‰M�Oð	ô “Uˆ
Ø ×)Ñ)¨'Ó2ò 		/ˆEØ—>‘> $Ó'ˆDÙLP”sÑHÀ4ÔHÔHÐV[ˆHÙ¡DØØ—.‘. t�.Ó,ˆCØ�jÑ ØØ�N‰N˜3ÔØœ3˜u›:¨Ñ.Ñ.‰Kð		/ô *¬#¨kÓ*:¸MÓJÐØ$×-Ñ-¨gÓ6ò 	ˆCØ�M‰M�Oð	ð '×/Ñ/°Ó4ˆ
ÙØˆJØò .�ØŸ™¨$˜Ó/�ÚØ×%Ñ% fÕ-ð.ð —k‘k *Ó-‰Gà'×0Ñ0¸6ÈÐ0ÓNˆGä—&‘&˜ F¨GÓ4ˆÙØÐ)¨KÑ7Ñ7ˆGô ˆ7�=‰=‹?Ó˜bÒ Ø    R¨ w¨jÐ9ˆØò 	CˆCØ˜ S¨¡\ N°"°S¸±Z°LÀÐBÑB‰Gð	Cð �'˜8 [Ð0Ð0r   c                 óÄ   — |rt        j                  |d¬«      nd}t        t        |«      «      dz  dz   }| j	                  d|||||||||f	«       | j                  «        y )NF)Úensure_asciiz[]é
   r@   uû   
        INSERT OR REPLACE INTO gov_raw 
        (page_url, site_name, source_url, title, publish_date, summary, content, attachments, date_rank, status, category, visits)
        VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, 'published', 'é€šçŸ¥å…¬å‘Š', 0)
    )ÚjsonÚdumpsÚabsÚhashr   Úcommit)	r   Úpage_urlr9   Úsummary_textÚpublish_dater€   Ú	site_nameÚattachments_jsonÚlevels	            r   Úsave_articlerŸ   Ô   sg   € ÙFQ”t—z‘z +¸EÕBÐW[ÐÜ”�X“Ó "Ñ$ qÑ(€EØ‡L�Lð ð �I˜x¨°¸lÈLÐZjÐlqÐ	rô	tð
 	‡K�K…Mr   é   c                 ó"  — t        «       }d}d}t        «       }t        | «      D �]Â  }|dk(  rt        t        z   dz   }nt        t        z   d|› d�z   }t        d|dz   › d|› �«       t        |«      }|st        d|dz   › d	�«        �nbt        |«      }	|	st        d
«        �nG|	D �
cg c]  }
|
d   |vsŒ|
‘Œ }}
|	D ]  }
|j                  |
d   «       Œ t        dt        |	«      › dt        |«      › d�«       |s|dkD  rt        d«        nÝ|D ]Õ  }|d   }|d   }|d   }|r$|j                  d|f«      j                  «       }|rŒ8t        d|d d › d�«       t        |«      }|s|dz  }t        d|› �«       Œkt        ||«      \  }}}}|s|r|}|rGt        ||||||t        «       |dz  }t        |«      }|rd|› d�nd}t        d|› d|d d › d|› �«       ŒËt        d«       Œ× �ŒÅ |j                  «        t        d|› d|› �«       y c c}
w )Nr   z	index.htmÚindex_z.htmz[PAGE r@   z] z  [WARN] Page z unreachable, stoppingz  No articles found, stoppingr)   z  Found z articles (z new)z  No new items, stoppingr9   rA   z/SELECT page_url FROM gov_raw WHERE page_url = ?z
  [FETCH] é2   z...z#  [ERROR] detail page unreachable: z +u   é™„ä»¶r<   u       âœ“ saved [u       âœ— empty title, skippedz
[DONE] Total: z articles, Errors: )r   rw   ÚrangerE   rF   r%   r,   rS   rx   rj   r   Úfetchoner�   rŸ   Ú	SITE_NAMEÚclose)Ú	max_pagesÚincrementalr   ÚtotalÚerrorsÚ	seen_urlsÚpageÚlist_urlrM   rN   ÚitÚunique_itemsÚitemr)   r9   Ú	list_dateÚexistingÚdetail_htmlÚdetail_titler„   rA   r€   Ú	att_countÚatt_strs                           r   Úcrawlr¸   ß   sq  € Ü‹9€DØ€EØ€FÜ“€Iä�iÓ ó :7ˆØ�1Š9Ü¤)Ñ+¨kÑ9‰Hä¤)Ñ+°°t°f¸DÐ.AÑAˆHä��t˜A‘v�h˜b  
Ð+Ô,Ü˜(Ó#ˆÙÜ�N 4¨¡6 (Ð*@ÐAÔBÚä˜4Ó ˆÙÜÐ1Ô3Úð &+ÖI˜r¨b°©i¸yÒ.HšÐIˆÐIØò 	%ˆBØ�M‰M˜"˜U™)Õ$ð	%ä�œ˜U›˜ K´°LÓ0AÐ/BÀ%ÐHÔIáØ�aŠxÜÐ0Ô2Ùà ò 	7ˆDØ�u‘+ˆCØ˜‘MˆEØ˜ZÑ(ˆIáØŸ<™<ØEÈÀvóç‘(“*ð ñ Øä�J˜u S b˜z˜l¨#Ð.Ô/Ü$ S›/ˆKÙØ˜!‘�ÜÐ;¸C¸5ÐAÔBØä;GÈÐUXÓ;YÑ8ˆL˜' 8¨[Ù¡	Ø$�áÜ˜T 3¨°g¸xÈÔV_Ô`Ø˜‘
�Ü Ó,�	Ù4=˜B˜y˜k¨Ñ0À2�Ü˜¨ z°°LÀÀ"Ð4EÐ3FÀcÈ'ÈÐSÕTäÐ4Õ6ò=	7ð9:7ðx 	‡J�J„LÜ	Ð˜U˜GÐ#6°v°hÐ
?Õ@ùòW Js   Â'HÂ4HÚ__main__u'   æ¼³å¹³å¸‚äººæ°‘æ”¿åºœé€šçŸ¥å…¬å‘Šçˆ¬è™«)Údescriptionz--max-pagesu   æœ€å¤§çˆ¬å�–é¡µæ•°)r   ÚdefaultÚhelpz--incrementalÚ
store_trueu   å¢žé‡�æ¨¡å¼�)Úactionr¼   )r¨   r©   )r   r   r   r   )é   )r    F)$Ú__doc__r   r   rH   r&   rr   Úsocketr”   r   Úbs4r   r   Úgetaddrinfor   r   rE   rF   r   r¦   r!   r   r,   rS   r�   rŸ   r¸   Ú__name__ÚargparseÚArgumentParserÚparserÚadd_argumentÚintÚ
parse_argsÚargsr¨   r©   rb   r   r   ú<module>rÌ      s  ðñó Û Û 	Û 
Û 	Û Û Ý Ý ð 	€Ø×&Ñ&Ð óEð
 *€Ô ð "€Ø€	Ø
€Ø €	ð DØpØ0ñ€òó
ò+ò\e1òPóCAðL ˆzÒÛØ$ˆX×$Ñ$Ð1ZÔ[€FØ
×Ñ˜¨C¸ÐAUÐÔVØ
×Ñ˜°À>ÐÔRØ×ÑÓ€DÙ	�D—N‘N°×0@Ñ0@ÖAð r   