Ë
    €Ûµj°/  ã                   óþ   — d Z ddlZddlZddlZddlZddlZddlZddlZddlmZ ddl	m
Z
 ddlmZ dZdZdZd	Zd
ZdZdZddddœZg d¢Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd d„Zd„ Z d„ Z!d„ Z"e#dk(  r e"«        yy)!uŸ  
Crawler for é£Žé™µæ¸¡ç»�æµŽå¼€å�‘åŒº - å…¬å‘Šå…¬ç¤º
CMS: Custom PHP
List: div.list > ul > li > span.date + a (title) + p.summary, 10 items/page
Pagination: index.shtml (page 1), index_N.shtml (page N+1), 17 pages, ~170 items
Detail: meta ArticleTitle/h2 title, meta PubDate, div#Zoom content

Usage:
    python3 crawl_rcx_gggs.py             # Full crawl
    python3 crawl_rcx_gggs.py --max-pages 1  # Incremental
é    N)Údatetime)ÚBeautifulSoup)Úurljoinz/root/search.dbu%   é£Žé™µæ¸¡ç»�æµŽå¼€å�‘åŒº-å…¬å‘Šå…¬ç¤ºu   å…¬å‘Šå…¬ç¤ºu   å±±è¥¿zhttp://www.rcx.gov.cnz2http://www.rcx.gov.cn/ztzl/fldkfq/gggs/index.shtmlé   zoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9,en;q=0.8)z
User-AgentÚAcceptzAccept-Language)u   ã€�æ‰“å�°æœ¬é¡µã€‘u   ã€�å…³é—­çª—å�£ã€‘u   æ‰“å�°æœ¬é¡µu   å…³é—­çª—å�£u   è½¬è½½åˆ†äº«ï¼šu   æµ�è§ˆé‡�ï¼šu   ç›¸å…³é™„ä»¶ï¼šu   ç›¸å…³ç¨¿ä»¶ï¼šu   æ‰«ä¸€æ‰«åœ¨æ‰‹æœºæ‰“å¼€u	   é™„ä»¶ï¼šu   ç´¯è®¡æ¬¡æ•°ï¼šu	   å­—å�·ï¼šc                 óJ  — g }| j                   D �]s  }t        |t        «      r%|j                  «       }|sŒ'|j	                  |«       Œ9|j
                  dk(  rp|j                  dd«      j                  «       }|j                  d¬«      }|r'|r%t        ||«      }|j	                  d|› d|› d�«       Œ£|sŒ¦|j	                  |«       Œ¸|j
                  d	k(  rU|j                  d
d«      }|sŒÜ|j                  dd«      }	t        ||«      }
|j	                  |	r	d|	› d|
› d�nd|
› d�«       �Œ|j
                  dk(  r|j	                  d«       �Œ>t        |d«      s�ŒL|j                  dd¬«      }|s�Œc|j	                  |«       �Œv dj                  |«      j                  «       S )NÚaÚhrefÚ T©Ústripú[ú](ú)ÚimgÚsrcÚaltú![ú![](Úbrú
Úget_textú )ÚchildrenÚ
isinstanceÚstrr   ÚappendÚnameÚgetr   r   ÚhasattrÚjoin)Úp_tagÚ
detail_urlÚpartsÚelemÚtr
   ÚtextÚfullr   r   Úfull_srcs              ú#/root/gov_crawler/crawl_rcx_gggs.pyÚrender_paragraphr+   +   sl  € Ø€EØ—‘ó  ˆÜ�dœCÔ Ø—
‘
“ˆAÚØ—‘˜Q•Ø�Y‰Y˜#ÒØ—8‘8˜F BÓ'×-Ñ-Ó/ˆDØ—=‘= t�=Ó,ˆDÙ™Ü˜z¨4Ó0�Ø—‘˜q   b¨¨¨aÐ0Õ1ÚØ—‘˜TÕ"Ø�Y‰Y˜%ÒØ—(‘(˜5 "Ó%ˆCÚØ—h‘h˜u bÓ)�Ü" :¨sÓ3�Ø—‘¹˜r #  b¨¨
°!Ñ4À4ÈÀzÐQRÐASÖTØ�Y‰Y˜$ÒØ�L‰L˜ÖÜ�T˜:Ö&Ø—‘˜c¨�Ó.ˆAÛØ—‘˜Q–ð1 ð2 �8‰8�E‹?× Ñ Ó"Ð"ó    c                 óü   — g }| j                  d«      D ]e  }|j                  dd«      }|sŒt        ||«      }|j                  dd«      }|j                  |r	d|› d|› d�nd|› d�«       |j	                  «        Œg |S )	Nr   r   r   r   r   r   r   r   )Úfind_allr   r   r   Ú	decompose)Úcontent_divr#   Úimgsr   r   r)   r   s          r*   Úextract_imagesr2   I   sˆ   € Ø€DØ×#Ñ# EÓ*ò ˆØ�g‰g�e˜RÓ ˆÚÜ˜z¨3Ó/ˆHØ—'‘'˜% Ó$ˆCØ�K‰K±3˜"˜S˜E  H :¨QÑ/¸dÀ8À*ÈAÐ<NÔOØ�M‰M�Oðð €Kr,   c                 óÊ   — g }| j                  d«      D ]L  }t        |«      }t        |j                  d¬«      «      dk\  r|j	                  |«       |j                  «        ŒN |S )NÚtableTr   é   )r.   r   Úlenr   r   r/   )r0   Útablesr4   Ú
table_htmls       r*   Úextract_tablesr9   U   s_   € Ø€FØ×%Ñ% gÓ.ò ˆÜ˜“Zˆ
Üˆu�~‰~ Dˆ~Ó)Ó*¨bÒ0Ø�M‰M˜*Ô%Ø�‰Õð	ð
 €Mr,   c                 ó   — t        | «      S )u'   ä¿�ç•™ HTML è¡¨æ ¼ç»“æž„ï¼ˆä¸�è½¬ mdï¼‰)r   )r4   ÚargsÚkwargss      r*   Útable_to_mdr=   _   s   € äˆu‹:Ðr,   c                 óV  ‡
— g }| j                  ddg«      D ]  }|j                  «        Œ t        | «      }t        | |«      }t	        | j                  g d¢d¬«      «      D ]U  }|j
                  dk(  sŒt        ||«      Š
‰
sŒ"t        ˆ
fd„t        D «       «      rŒ;|r‰
|d   vsŒE|j                  ‰
«       ŒW d	j                  |«      }|r6|D ]1  }t        |d
«      j                  d«      }	|	sŒ!|d	t        |	«      z   z  }Œ3 |r|d	d	j                  |«      z   z  }|j                  «       S )NÚscriptÚstyle)Úpr4   ÚdivÚsectionÚcenterÚfontT)Ú	recursiverA   c              3   ó&   •K  — | ]  }|‰v –— Œ
 y ­w©N© )Ú.0ÚskÚtxts     €r*   ú	<genexpr>z"extract_content.<locals>.<genexpr>o   s   øè ø€ Ò>¨R˜r SœyÑ>ùs   ƒéÿÿÿÿz

úhtml.parserr4   )r.   r/   r9   r2   Úlistr   r+   ÚanyÚ
SKIP_TEXTSr   r!   r   Úfindr=   r   )r0   r#   r$   ÚsÚtable_htmlsÚ	img_linesÚchildÚresultÚt_htmlÚ	table_tagrL   s             @r*   Úextract_contentr[   c   s)  ø€ Ø€Eà×!Ñ! 8¨WÐ"5Ó6ò ˆØ	�‰�ðô ! Ó-€KÜ˜{¨JÓ7€Iä�k×*Ñ*Ò+]ÐimÐ*ÓnÓoò &ˆØ�:‰:˜ÓÜ" 5¨*Ó5ˆCÚœ3Ó>´:Ô>Õ>Ù ¨5°©9Ò 4Ø—L‘L Õ%ð&ð �[‰[˜Ó€FÙØ!ò 	:ˆFÜ% f¨mÓ<×AÑAÀ'ÓJˆIÚØ˜&¤;¨yÓ#9Ñ9Ñ9‘ð	:ñ Ø�&˜6Ÿ;™; yÓ1Ñ1Ñ1ˆà�<‰<‹>Ðr,   c                 ó„  — g }t        «       }| j                  dd¬«      D ]�  }|d   }t        j                  d|t        j                  «      sŒ.t        ||«      }|j                  d¬«      xs& |j                  d«      d   j                  d	«      d
   }||vsŒy|j                  |«       |j                  ||dœ«       ŒŸ |S )Nr	   T)r
   r
   z&\.(pdf|doc|docx|xls|xlsx|rar|zip|txt)$r   ú/rN   ú?r   )r   Úurl)
Úsetr.   ÚreÚsearchÚIr   r   ÚsplitÚaddr   )Úsoupr#   ÚattsÚseenr	   r
   Úfull_urlr   s           r*   Úextract_attachmentsrj   �   s²   € Ø€DÜ‹5€DØ�]‰]˜3 Tˆ]Ó*ò =ˆØ�‰yˆÜ�9‰9Ð>ÀÄbÇdÁdÕKÜ˜z¨4Ó0ˆHØ—:‘: D�:Ó)ÒN¨T¯Z©Z¸«_¸RÑ-@×-FÑ-FÀsÓ-KÈAÑ-NˆDØ˜tÒ#Ø—‘˜Ô"Ø—‘ T°(Ñ;Õ<ð=ð €Kr,   c                 ó
  — 	 t        j                  | t        d¬«      }d|_        t        |j                  d«      }d}|j                  d	d
di¬«      }|r$|j                  d«      r|d   j                  «       }|s%|j                  d«      }|r|j                  d¬«      }|sC|j                  d«      }|r0|j                  d¬«      j                  dd«      j                  «       }d}|j                  d	d
di¬«      }|r'|j                  d«      r|d   j                  «       d d }|j                  dd¬«      }	|	s|j                  dd¬«      }	d}
|	rt        |	| «      }
t        || «      }|
rt!        |
j                  «       «      dk  rd| › d|xs | › d�}
|r-|D ](  }d|d
   › d|d   › d �}||
vsŒ|
d!|d
   › d|d   › d �z  }
Œ* |||
|fS # t        $ r1}t        d| › d|› �t        j                  ¬«       d d d g fcY d }~S d }~ww xY w)"Né   ©ÚheadersÚtimeoutúutf-8z  fetch_detail error ú: ©ÚfilerO   r   Úmetar   ÚArticleTitle)ÚattrsÚcontentÚh2Tr   Útitleu   -é£Žé™µæ¸¡å¼€å�‘åŒºç½‘ç«™ÚPubDateé
   rB   ÚZoom)ÚidÚinfo©Úclass_z<p><a href="z">z</a></p>r   r   r_   r   u   

é™„ä»¶ï¼š[)Úrequestsr   ÚHEADERSÚencodingÚ	ExceptionÚprintÚsysÚstderrr   r'   rS   r   r   Úreplacer[   rj   r6   )r_   ÚrÚerf   ry   Úmtrx   Ú	title_tagÚdate_strr0   rw   Úattachmentsr	   Úinline_markers                 r*   Úfetch_detailr�   ‘   s7  € ð$Ü�L‰L˜¤g°rÔ:ˆØˆŒ
ô
 ˜Ÿ™ Ó/€Dð €EØ	�‰�6 &¨.Ð!9ˆÓ	:€BÙ	ˆb�f‰f�YÔØ�9‘×#Ñ#Ó%ˆÙØ�Y‰Y�t‹_ˆÙØ—K‘K d�KÓ+ˆEÙØ—I‘I˜gÓ&ˆ	ÙØ×&Ñ&¨TÐ&Ó2×:Ñ:Ð;VÐXZÓ[×aÑaÓcˆEð €HØ	�‰�6 &¨)Ð!4ˆÓ	5€BÙ	ˆb�f‰f�YÔØ�i‘=×&Ñ&Ó(¨¨"Ð-ˆð —)‘)˜E f�)Ó-€KÙØ—i‘i ¨f�iÓ5ˆà€GÙÜ! +¨sÓ3ˆä% d¨CÓ0€Ká”c˜'Ÿ-™-›/Ó*¨RÒ/Ø    R¨ª° ~°XÐ>ˆñ Øò 	EˆAØ  &¡	˜{¨"¨Q¨u©X¨J°aÐ8ˆMØ GÒ+Ø˜^¨A¨f©I¨;°b¸¸5¹¸
À!ÐDÑD‘ð	Eð
 �(˜G [Ð0Ð0øô_ ò $ÜÐ% c U¨"¨Q¨CÐ0´s·z±zÕBØ�T˜4 Ð#Õ#ûð$ús   ‚#G Ç	HÇ&G=Ç7HÇ=Hc                 ó$   — | dk(  rt         S d| › d�S )Né   z-http://www.rcx.gov.cn/ztzl/fldkfq/gggs/index_z.shtml)ÚLIST_URL)Úpage_nums    r*   Úget_list_urlr•   É   s   € Ø�1‚}ÜˆØ:¸8¸*ÀFÐKÐKr,   c                 ó
  — t        | «      }	 t        j                  |t        d¬«      }d|_        |j                  dk7  r-t        d| › d	|j                  › �t        j                  ¬«       g S t        |j                  d
«      }|j                  dd¬«      }|sg S g }|j                  d«      D ]›  }|j                  d«      }|r|j                  d«      sŒ(|d   j                  «       }	|j                  d¬«      }
t!        ||	«      }|j                  dd¬«      }|r|j                  d¬«      nd}|
sŒ…|sŒˆ|j#                  |
||f«       Œ� |S # t
        $ r-}t        d|› d|› �t        j                  ¬«       g cY d }~S d }~ww xY w)Nrl   rm   rp   z  Error fetching rq   rr   éÈ   ú  Page z: HTTP rO   rB   rP   r   Úlir	   r
   Tr   ÚspanÚdater   )r•   r�   r   r‚   rƒ   r„   r…   r†   r‡   Ústatus_coder   r'   rS   r.   r   r   r   r   )r”   r_   r‰   rŠ   rf   Úlist_divÚitemsr™   r	   r
   ry   Úpage_urlrš   r�   s                 r*   Úextract_list_pager    Ï   sf  € Ü
�xÓ
 €CðÜ�L‰L˜¤g°rÔ:ˆØˆŒ
ð
 	‡}�}˜ÒÜ�˜�z ¨¯©¨Ð8¼s¿z¹zÕJØˆ	ä˜Ÿ™ Ó/€DØ�y‰y˜ vˆyÓ.€HÙØˆ	à€EØ×Ñ Ó%ò 6ˆØ�G‰G�C‹LˆÙ˜Ÿ™˜fœØà�‰y�‰Ó ˆØ—
‘
 �
Ó&ˆÜ˜3 Ó%ˆà�w‰w�v fˆwÓ-ˆÙ04�4—=‘= t�=Ô,¸"ˆâ’XØ�L‰L˜% ¨8Ð4Õ5ð6ð €Løô; ò ÜÐ! #  b¨¨Ð,´3·:±:Õ>Ø�	ûðús   �#E Å	FÅ"E=Å7FÅ=Fc                 ól  — t        d|dz   «      D ]  }	  | «       c S  y
# t        j                  $ r�}dt        |«      v rC||k  r>t	        d|› d|› d|› d|› d�	t
        j                  ¬«       t        j                  |«       n't	        d|› d	|› �t
        j                  ¬«       Y d }~ y
Y d }~Œžd }~ww xY w)Nr’   Úlockedz  z: locked (attempt r]   z), retry in zs...rr   z	 failed: F)	ÚrangeÚsqlite3ÚOperationalErrorr   r…   r†   r‡   ÚtimeÚsleep)ÚfnÚdescÚmax_attemptsÚdelayÚattemptrŠ   s         r*   Ú
with_retryr­   ö   s¸   € Ü˜˜L¨1Ñ,Ó-ò 	ˆð	Ù“4ŠKð	ð øô ×'Ñ'ò 	Øœ3˜q›6Ñ! g°Ò&<Ü˜˜4˜&Ð 2°7°)¸1¸\¸NÈ,ÐW\ÐV]Ð]aÐbÔil×isÑisÕtÜ—
‘
˜5Õ!ä˜˜4˜& 	¨!¨Ð-´C·J±JÕ?Ýô "ûð	ús   ”ŸB3²A1B.Â.B3c                  ó€   — t        j                  t        d¬«      } | j                  d«       | j                  d«       | S )Né   )ro   zPRAGMA journal_mode=WALzPRAGMA busy_timeout=30000)r¤   ÚconnectÚDB_PATHÚexecute©Úconns    r*   Úinit_dbrµ     s1   € Ü�?‰?œ7¨BÔ/€DØ‡L�LÐ*Ô+Ø‡L�LÐ,Ô-Ø€Kr,   c                 ó†  — |r|n|}t        j                  dd|«      j                  «       }|rt        j                  |d¬«      nd}|}	 | j                  dt        |||j                  «       |||t        |t        f
«      }	|	j                  dkD  S # t        $ r(}
t        d|
› �t        j                  ¬	«       Y d }
~
yd }
~
ww xY w)
Nz\s+r   F)Úensure_asciiz[]zÍINSERT OR IGNORE INTO gov_raw
               (site_name, source_url, page_url, title, publish_date, summary, content, category, attachments, group_name)
               VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)r   z  DB error: rr   )ra   Úsubr   ÚjsonÚdumpsr²   Ú	SITE_NAMEÚCATEGORYÚGROUPÚrowcountr„   r…   r†   r‡   )r´   ry   rŸ   Úpublish_daterw   rŽ   ÚsummaryÚatt_jsonÚ
source_urlÚcurrŠ   s              r*   Úsave_articlerÄ     s³   € Ù ‰g e€GÜ�f‰f�V˜S 'Ó*×0Ñ0Ó2€GÙ>IŒt�z‰z˜+°EÕ:Èt€HØ€JðØ�l‰lð8ô ˜
 H¨e¯k©k«m¸\Ø�gœx¨´5ð:ó	
ˆð �|‰|˜aÑÐøÜò Ü�˜Q˜CÐ ¤s§z¡zÕ2Üûðús   Á
AB Â	C ÂB;Â;C c            
      óð  ‡— t         } t        t        j                  «      dkD  r	 t	        t        j                  d   «      } t        dt        › d| › �t        j                  ¬«       t        «       Šd}d}ˆfd„}t        |d	t        › �¬
«       t        dt        › �t        j                  ¬«       t        d| dz   «      D �][  }t        |«      }|s"t        d|› d�t        j                  ¬«        �n,|t        |«      z  }|D ]Ø  \  }}}|r*|dk  r%t        d|› d|d d › �t        j                  ¬«       Œ3‰j                  d|f«      }	|	j                  «       rŒWt        |«      \  }
}}}|
xs |}|xs |}|xs	 d|› d|› d�}|xs g }t!        ‰|||||«      r.|dz  }|dk  r$t        d|› d|d d › �t        j                  ¬«       t#        j$                  d«       ŒÚ t        d|› dt        |«      › d|› d�t        j                  ¬«       ‰j'                  «        �Œ^ ˆfd„}t        |dt        › �¬
«       t        dt        › �t        j                  ¬«       ‰j)                  «        t        d |› d!|› �t        j                  ¬«       y # t
        $ rb t        j                  d   dv rIt        t        j                  «      dkD  r-	 t	        t        j                  d   «      } n# t
        $ r Y nw xY wY �Œ³w xY w)"Nr’   )z--max-pagesé   z	Scraping z, max pages: rr   r   c                  ó&   •— ‰ j                  «        y rH   )Úcommitr³   s   €r*   Údo_cleanzmain.<locals>.do_clean2  s   ø€ ð 	�‰�r,   zClean )r©   z  Cleaned old data for r˜   z: 0 articles (end)z
2020-01-01z  Skip old: r   é(   z)SELECT id FROM gov_raw WHERE page_url = ?r   r   r   é   z  + é2   g333333Ó?rq   z found, z totalc                  óT   •— ‰ j                  dt        f«       ‰ j                  «        y )Nz~INSERT INTO gov_search(rowid, title, site_name, summary) SELECT id, title, site_name, summary FROM gov_raw WHERE site_name = ?)r²   r»   rÈ   r³   s   €r*   Údo_ftszmain.<locals>.do_fts[  s-   ø€ à�‰ð  Vô  Ybð  Xdô  	eØ�‰�r,   zFTS rebuild z  FTS index rebuilt for z
Done! Found: z, New: )Ú	MAX_PAGESr6   r†   ÚargvÚintÚ
ValueErrorr…   r»   r‡   rµ   r­   r£   r    r²   Úfetchoner�   rÄ   r¦   r§   rÈ   Úclose)Ú	max_pagesÚ	total_newÚtotal_foundrÉ   ÚpnÚarticlesry   rŸ   r›   rÃ   Ú	det_titleÚdet_dateÚdet_contentÚdet_attsÚfinal_titleÚ
final_dateÚfinal_contentÚ
final_attsrÎ   r´   s                      @r*   Úmainrâ      s¸  ø€ Ü€IÜ
Œ3�8‰8ƒ}�qÒð	ÜœCŸH™H Q™KÓ(ˆIô 
ˆI”i�[ ¨i¨[Ð
9ÄÇ
Á
ÕKÜ‹9€DØ€IØ€Kôô ˆx ¤y kÐ2Õ3Ü	Ð#¤I ;Ð
/´c·j±jÕAä�A�y 1‘}Ó%ó ˆÜ$ RÓ(ˆÙÜ�G˜B˜4Ð1Ð2¼¿¹ÕDÚà”s˜8“}Ñ$ˆà%-ò 	Ñ!ˆE�8˜TÙ˜˜|Ò+Ü˜ T F¨!¨E°#°2¨J¨<Ð8¼s¿z¹zÕJØà—,‘,ÐJÈXÈKÓXˆCØ�|‰|Œ~Øä9EÀhÓ9OÑ6ˆI�x ¨hØ#Ò, uˆKØ!Ò) TˆJØ'ÒI¨Q¨{¨m¸2¸h¸ZÀqÐ+IˆMØ!š RˆJä˜D +¨x¸À]ÐT^Ô_Ø˜Q‘�	Ø ’>Ü˜D  ¨A¨k¸#¸2Ð.>Ð-?Ð@ÄsÇzÁzÕRä�J‰J�s�Oð)	ô, 	�˜�t˜2œc (›m˜_¨H°Y°K¸vÐFÌSÏZÉZÕXØ�‰Žð?ôDô ˆv˜l¬9¨+Ð6Õ7Ü	Ð$¤Y KÐ
0´s·z±zÕBà‡J�J„LÜ	ˆO˜K˜=¨°	¨{Ð
;Ä#Ç*Á*ÖMøô} ò 	Ü�x‰x˜‰{Ð.Ñ.´3´s·x±x³=À1Ò3DðÜ #¤C§H¡H¨Q¡KÓ 0‘IøÜ!ò Ùðýð		ús5   ¥J
 Ê
:K5ËK"Ë!K5Ë"	K.Ë+K5Ë-K.Ë.K5Ë4K5Ú__main__)zDB opr{   rË   )$Ú__doc__r�   ra   r¹   r¤   r¦   Úosr†   r   Úbs4r   Úurllib.parser   r±   r»   r¼   r½   ÚBASE_URLr“   rÏ   r‚   rR   r+   r2   r9   r=   r[   rj   r�   r•   r    r­   rµ   rÄ   râ   Ú__name__rI   r,   r*   ú<module>rê      s¹   ðñ
÷ 2× 1× 1Ó 1Ý Ý Ý  à
€Ø3€	Ø€Ø€Ø"€Ø?€Ø€	ð DØOØ0ñ€ò€
ò#ò<	òòòò<ò 31òpLò"óNòòò*CNðL ˆzÒÙ…Fð r,   