Ë
    €Ûµjó+  ã                   ó   — d Z ddlZddlZddlZddlZddlZddlZddlZddlmZ ddl	m
Z
 ddlmZ ddlmZ dZdZd	Zd
ZdZdZddddœZg d¢Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zdd„Zd„ Z d„ Z!d„ Z"e#dk(  r e"«        yy) u   
Crawler for å¦‚ä¸œæ²¿æµ·ç»�æµŽå¼€å�‘åŒºï¼ˆå°�æ´‹å�£æ—…æ¸¸åº¦å�‡åŒºã€�æ´‹å�£é•‡ï¼‰- å…¬å‘Šå…¬ç¤º
CMS: TrueCMS (jpage pagination)
List: div#initData > ul.list-ul > li > a (title) + span (date), all 27 items in first page
Detail: meta ArticleTitle, meta PubDate, div#zoom content, PDF attachments
No pagination needed - all list data embedded in HTML.

Usage:
    python3 crawl_rudong_gggs.py             # Full crawl
é    N)Údatetime)ÚBeautifulSoup)Úurljoin)Únormalize_pub_datez/root/search.dbuR   å¦‚ä¸œæ²¿æµ·ç»�æµŽå¼€å�‘åŒºï¼ˆå°�æ´‹å�£æ—…æ¸¸åº¦å�‡åŒºã€�æ´‹å�£é•‡ï¼‰-å…¬å‘Šå…¬ç¤ºu   å…¬å‘Šå…¬ç¤ºu   æ±Ÿè‹�zhttp://www.rudong.gov.cnz/http://www.rudong.gov.cn/yhjjkfq/gggs/gggs.htmlzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9,en;q=0.8)z
User-AgentÚAcceptzAccept-Language)u   ã€�æ‰“å�°æœ¬é¡µã€‘u   ã€�å…³é—­çª—å�£ã€‘u   æ‰“å�°æœ¬é¡µu   å…³é—­çª—å�£u   è½¬è½½åˆ†äº«ï¼šu   æµ�è§ˆé‡�ï¼šu   ç›¸å…³é™„ä»¶ï¼šu   ç›¸å…³ç¨¿ä»¶ï¼šu   æ‰«ä¸€æ‰«åœ¨æ‰‹æœºæ‰“å¼€u	   é™„ä»¶ï¼šu   ç´¯è®¡æ¬¡æ•°ï¼šu	   å­—å�·ï¼šc                 óJ  — g }| j                   D �]s  }t        |t        «      r%|j                  «       }|sŒ'|j	                  |«       Œ9|j
                  dk(  rp|j                  dd«      j                  «       }|j                  d¬«      }|r'|r%t        ||«      }|j	                  d|› d|› d�«       Œ£|sŒ¦|j	                  |«       Œ¸|j
                  d	k(  rU|j                  d
d«      }|sŒÜ|j                  dd«      }	t        ||«      }
|j	                  |	r	d|	› d|
› d�nd|
› d�«       �Œ|j
                  dk(  r|j	                  d«       �Œ>t        |d«      s�ŒL|j                  dd¬«      }|s�Œc|j	                  |«       �Œv dj                  |«      j                  «       S )NÚaÚhrefÚ T©Ústripú[ú](ú)ÚimgÚsrcÚaltú![ú![](Úbrú
Úget_textú )ÚchildrenÚ
isinstanceÚstrr   ÚappendÚnameÚgetr   r   ÚhasattrÚjoin)Úp_tagÚ
detail_urlÚpartsÚelemÚtr
   ÚtextÚfullr   r   Úfull_srcs              ú&/root/gov_crawler/crawl_rudong_gggs.pyÚrender_paragraphr+   *   sl  € Ø€EØ—‘ó  ˆÜ�dœCÔ Ø—
‘
“ˆAÚØ—‘˜Q•Ø�Y‰Y˜#ÒØ—8‘8˜F BÓ'×-Ñ-Ó/ˆDØ—=‘= t�=Ó,ˆDÙ™Ü˜z¨4Ó0�Ø—‘˜q   b¨¨¨aÐ0Õ1ÚØ—‘˜TÕ"Ø�Y‰Y˜%ÒØ—(‘(˜5 "Ó%ˆCÚØ—h‘h˜u bÓ)�Ü" :¨sÓ3�Ø—‘¹˜r #  b¨¨
°!Ñ4À4ÈÀzÐQRÐASÖTØ�Y‰Y˜$ÒØ�L‰L˜ÖÜ�T˜:Ö&Ø—‘˜c¨�Ó.ˆAÛØ—‘˜Q–ð1 ð2 �8‰8�E‹?× Ñ Ó"Ð"ó    c                 óü   — g }| j                  d«      D ]e  }|j                  dd«      }|sŒt        ||«      }|j                  dd«      }|j                  |r	d|› d|› d�nd|› d�«       |j	                  «        Œg |S )	Nr   r   r   r   r   r   r   r   )Úfind_allr   r   r   Ú	decompose)Úcontent_divr#   Úimgsr   r   r)   r   s          r*   Úextract_imagesr2   H   sˆ   € Ø€DØ×#Ñ# EÓ*ò ˆØ�g‰g�e˜RÓ ˆÚÜ˜z¨3Ó/ˆHØ—'‘'˜% Ó$ˆCØ�K‰K±3˜"˜S˜E  H :¨QÑ/¸dÀ8À*ÈAÐ<NÔOØ�M‰M�Oðð €Kr,   c                 óÊ   — g }| j                  d«      D ]L  }t        |«      }t        |j                  d¬«      «      dk\  r|j	                  |«       |j                  «        ŒN |S )NÚtableTr   é   )r.   r   Úlenr   r   r/   )r0   Útablesr4   Ú
table_htmls       r*   Úextract_tablesr9   T   s_   € Ø€FØ×%Ñ% gÓ.ò ˆÜ˜“Zˆ
Üˆu�~‰~ Dˆ~Ó)Ó*¨bÒ0Ø�M‰M˜*Ô%Ø�‰Õð	ð
 €Mr,   c                 ó   — t        | «      S )u'   ä¿�ç•™ HTML è¡¨æ ¼ç»“æž„ï¼ˆä¸�è½¬ mdï¼‰)r   )r4   ÚargsÚkwargss      r*   Útable_to_mdr=   ^   s   € äˆu‹:Ðr,   c                 óV  ‡
— g }| j                  ddg«      D ]  }|j                  «        Œ t        | «      }t        | |«      }t	        | j                  g d¢d¬«      «      D ]U  }|j
                  dk(  sŒt        ||«      Š
‰
sŒ"t        ˆ
fd„t        D «       «      rŒ;|r‰
|d   vsŒE|j                  ‰
«       ŒW d	j                  |«      }|r6|D ]1  }t        |d
«      j                  d«      }	|	sŒ!|d	t        |	«      z   z  }Œ3 |r|d	d	j                  |«      z   z  }|j                  «       S )NÚscriptÚstyle)Úpr4   ÚdivÚsectionÚcenterÚfontT)Ú	recursiverA   c              3   ó&   •K  — | ]  }|‰v –— Œ
 y ­w©N© )Ú.0ÚskÚtxts     €r*   ú	<genexpr>z"extract_content.<locals>.<genexpr>n   s   øè ø€ Ò>¨R˜r SœyÑ>ùs   ƒéÿÿÿÿz

úhtml.parserr4   )r.   r/   r9   r2   Úlistr   r+   ÚanyÚ
SKIP_TEXTSr   r!   r   Úfindr=   r   )r0   r#   r$   ÚsÚtable_htmlsÚ	img_linesÚchildÚresultÚt_htmlÚ	table_tagrL   s             @r*   Úextract_contentr[   b   s)  ø€ Ø€Eà×!Ñ! 8¨WÐ"5Ó6ò ˆØ	�‰�ðô ! Ó-€KÜ˜{¨JÓ7€Iä�k×*Ñ*Ò+]ÐimÐ*ÓnÓoò &ˆØ�:‰:˜ÓÜ" 5¨*Ó5ˆCÚœ3Ó>´:Ô>Õ>Ù ¨5°©9Ò 4Ø—L‘L Õ%ð&ð �[‰[˜Ó€FÙØ!ò 	:ˆFÜ% f¨mÓ<×AÑAÀ'ÓJˆIÚØ˜&¤;¨yÓ#9Ñ9Ñ9‘ð	:ñ Ø�&˜6Ÿ;™; yÓ1Ñ1Ñ1ˆà�<‰<‹>Ðr,   c                 ó„  — g }t        «       }| j                  dd¬«      D ]�  }|d   }t        j                  d|t        j                  «      sŒ.t        ||«      }|j                  d¬«      xs& |j                  d«      d   j                  d	«      d
   }||vsŒy|j                  |«       |j                  ||dœ«       ŒŸ |S )Nr	   T)r
   r
   z&\.(pdf|doc|docx|xls|xlsx|rar|zip|txt)$r   ú/rN   ú?r   )r   Úurl)
Úsetr.   ÚreÚsearchÚIr   r   ÚsplitÚaddr   )Úsoupr#   ÚattsÚseenr	   r
   Úfull_urlr   s           r*   Úextract_attachmentsrj   €   s²   € Ø€DÜ‹5€DØ�]‰]˜3 Tˆ]Ó*ò =ˆØ�‰yˆÜ�9‰9Ð>ÀÄbÇdÁdÕKÜ˜z¨4Ó0ˆHØ—:‘: D�:Ó)ÒN¨T¯Z©Z¸«_¸RÑ-@×-FÑ-FÀsÓ-KÈAÑ-NˆDØ˜tÒ#Ø—‘˜Ô"Ø—‘ T°(Ñ;Õ<ð=ð €Kr,   c                 ó¼  — 	 t        j                  | t        d¬«      }d|_        t        |j                  d«      }d}|j                  d	d
di¬«      }|r$|j                  d«      r|d   j                  «       }|sC|j                  d«      }|r0|j                  d¬«      j                  dd«      j                  «       }d}|j                  d	d
di¬«      }|r'|j                  d«      r|d   j                  «       d d }|j                  dd¬«      }|s|j                  dd¬«      }d}	|rt        || «      }	t        || «      }
|	rt!        |	j                  «       «      dk  rd| › d|xs | › d�}	|
r-|
D ](  }d|d
   › d|d   › d�}||	vsŒ|	d |d
   › d|d   › d�z  }	Œ* |||	|
fS # t        $ r1}t        d| › d|› �t        j                  ¬«       d d d g fcY d }~S d }~ww xY w)!Né   ©ÚheadersÚtimeoutúutf-8z  fetch_detail error z: ©ÚfilerO   r   Úmetar   ÚArticleTitle)ÚattrsÚcontentÚtitleTr   u   -å…¬å‘Šå…¬ç¤ºÚPubDateé
   rB   Úzoom©Úidztest-1©Úclass_z<p><a href="z">z</a></p>r   r   r_   r   u   

é™„ä»¶ï¼š[)Úrequestsr   ÚHEADERSÚencodingÚ	ExceptionÚprintÚsysÚstderrr   r'   rS   r   r   Úreplacer[   rj   r6   )r_   ÚrÚerf   rw   ÚmtÚ	title_tagÚdate_strr0   rv   Úattachmentsr	   Úinline_markers                r*   Úfetch_detailrŽ   �   s  € ð$Ü�L‰L˜¤g°rÔ:ˆØˆŒ
ô
 ˜Ÿ™ Ó/€Dð €EØ	�‰�6 &¨.Ð!9ˆÓ	:€BÙ	ˆb�f‰f�YÔØ�9‘×#Ñ#Ó%ˆÙØ—I‘I˜gÓ&ˆ	ÙØ×&Ñ&¨TÐ&Ó2×:Ñ:¸?ÈBÓO×UÑUÓWˆEð €HØ	�‰�6 &¨)Ð!4ˆÓ	5€BÙ	ˆb�f‰f�YÔØ�i‘=×&Ñ&Ó(¨¨"Ð-ˆð —)‘)˜E f�)Ó-€KÙØ—i‘i ¨h�iÓ7ˆà€GÙÜ! +¨sÓ3ˆä% d¨CÓ0€Ká”c˜'Ÿ-™-›/Ó*¨RÒ/Ø    R¨ª° ~°XÐ>ˆñ Øò 	EˆAØ  &¡	˜{¨"¨Q¨u©X¨J°aÐ8ˆMØ GÒ+Ø˜^¨A¨f©I¨;°b¸¸5¹¸
À!ÐDÑD‘ð	Eð
 �(˜G [Ð0Ð0øôW ò $ÜÐ% c U¨"¨Q¨CÐ0´s·z±zÕBØ�T˜4 Ð#Õ#ûð$ús   ‚#F! Æ!	GÆ*&GÇGÇGc                  óZ  — 	 t        j                  t        t        d¬«      } d| _        | j                  dk7  r*t        d| j                  › �t        j                  ¬«       g S t        | j                  d«      }|j                  d	d
¬«      }|st        dt        j                  ¬«       |}g }|j                  dd¬«      D ]³  }|j                  d«      D ]�  }|j                  d«      }|r|j                  d«      sŒ(|d   j                  «       }|j                  d¬«      }	t!        t        |«      }
|j                  d«      }|r|j                  d¬«      nd}|	sŒ‡|
sŒŠ|j#                  |	|
|f«       ŒŸ Œµ |S # t
        $ r*}t        d|› �t        j                  ¬«       g cY d }~S d }~ww xY w)Né   rm   rp   z  Error fetching list: rq   éÈ   z  List: HTTP rO   rB   ÚinitDatar{   z  No initData div foundÚulzlist-ulr}   Úlir	   r
   Tr   Úspanr   )r   r   ÚLIST_URLr€   r�   r‚   rƒ   r„   r…   Ústatus_coder   r'   rS   r.   r   r   r   r   )r‡   rˆ   rf   Úinit_divÚitemsr“   r”   r	   r
   rw   Úpage_urlr•   r‹   s                r*   Úextract_list_pager›   Ä   sx  € ðÜ�L‰Lœ¬7¸BÔ?ˆØˆŒ
ð
 	‡}�}˜ÒÜ�˜aŸm™m˜_Ð-´C·J±JÕ?Øˆ	ä˜Ÿ™ Ó/€DØ�y‰y˜ :ˆyÓ.€HÙÜÐ'¬s¯z©zÕ:àˆà€EØ×Ñ ¨YÐÓ7ò :ˆØ—+‘+˜dÓ#ò 	:ˆBØ—‘˜“ˆAÙ˜AŸE™E &œMØà�V‘9—?‘?Ó$ˆDØ—J‘J T�JÓ*ˆEÜœx¨Ó.ˆHà—7‘7˜6“?ˆDÙ48�t—}‘}¨4�}Ô0¸bˆHâšØ—‘˜e X¨xÐ8Õ9ñ	:ð:ð  €LøôA ò ÜÐ'¨ sÐ+´#·*±*Õ=Ø�	ûðús   ‚'E7 Å7	F*Æ F%ÆF*Æ%F*c                 ól  — t        d|dz   «      D ]  }	  | «       c S  y
# t        j                  $ r�}dt        |«      v rC||k  r>t	        d|› d|› d|› d|› d�	t
        j                  ¬«       t        j                  |«       n't	        d|› d	|› �t
        j                  ¬«       Y d }~ y
Y d }~Œžd }~ww xY w)Né   Úlockedz  z: locked (attempt r]   z), retry in zs...rq   z	 failed: F)	ÚrangeÚsqlite3ÚOperationalErrorr   rƒ   r„   r…   ÚtimeÚsleep)ÚfnÚdescÚmax_attemptsÚdelayÚattemptrˆ   s         r*   Ú
with_retryr©   í   s¸   € Ü˜˜L¨1Ñ,Ó-ò 	ˆð	Ù“4ŠKð	ð øô ×'Ñ'ò 	Øœ3˜q›6Ñ! g°Ò&<Ü˜˜4˜&Ð 2°7°)¸1¸\¸NÈ,ÐW\ÐV]Ð]aÐbÔil×isÑisÕtÜ—
‘
˜5Õ!ä˜˜4˜& 	¨!¨Ð-´C·J±JÕ?Ýô "ûð	ús   ”ŸB3²A1B.Â.B3c                  ó€   — t        j                  t        d¬«      } | j                  d«       | j                  d«       | S )Nr�   )ro   zPRAGMA journal_mode=WALzPRAGMA busy_timeout=30000)r    ÚconnectÚDB_PATHÚexecute©Úconns    r*   Úinit_dbr°   û   s1   € Ü�?‰?œ7¨BÔ/€DØ‡L�LÐ*Ô+Ø‡L�LÐ,Ô-Ø€Kr,   c                 ó†  — |r|n|}t        j                  dd|«      j                  «       }|rt        j                  |d¬«      nd}|}	 | j                  dt        |||j                  «       |||t        |t        f
«      }	|	j                  dkD  S # t        $ r(}
t        d|
› �t        j                  ¬	«       Y d }
~
yd }
~
ww xY w)
Nz\s+r   F)Úensure_asciiz[]zÍINSERT OR IGNORE INTO gov_raw
               (site_name, source_url, page_url, title, publish_date, summary, content, category, attachments, group_name)
               VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)r   z  DB error: rq   )ra   Úsubr   ÚjsonÚdumpsr­   Ú	SITE_NAMEÚCATEGORYÚGROUPÚrowcountr‚   rƒ   r„   r…   )r¯   rw   rš   Úpublish_daterv   rŒ   ÚsummaryÚatt_jsonÚ
source_urlÚcurrˆ   s              r*   Úsave_articler¿     s³   € Ù ‰g e€GÜ�f‰f�V˜S 'Ó*×0Ñ0Ó2€GÙ>IŒt�z‰z˜+°EÕ:Èt€HØ€JðØ�l‰lð8ô ˜
 H¨e¯k©k«m¸\Ø�gœx¨´5ð:ó	
ˆð �|‰|˜aÑÐøÜò Ü�˜Q˜CÐ ¤s§z¡zÕ2Üûðús   Á
AB Â	C ÂB;Â;C c                  ó   ‡— t        dt        › �t        j                  ¬«       t	        «       Šd} ˆfd„}t        |dt        › �¬«       t        dt        › �t        j                  ¬«       t        «       }t        dt        |«      › d	�t        j                  ¬«       t        |«      D ]Ÿ  \  }\  }}}t        d
|dz   › dt        |«      › d|d d › d�t        j                  ¬«       t        |«      \  }}}	}
|xs |}t        |xs |«      }|	xs	 d|› d|› d�}|
xs g }t        ‰|||||«      r| dz  } t        j                  d«       Œ¡ ‰j                  «        ˆfd„}t        |dt        › �¬«       t        dt        › �t        j                  ¬«       ‰j                  «        t        dt        |«      › d| › �t        j                  ¬«       y )Nz	Scraping rq   r   c                  ó&   •— ‰ j                  «        y rH   )Úcommitr®   s   €r*   Údo_cleanzmain.<locals>.do_clean  s   ø€ ð 	�‰�r,   zClean )r¥   z  Cleaned old data for z  Found z articles on list pagez  [r�   r]   z] é2   z...r   r   r   g      à?c                  óT   •— ‰ j                  dt        f«       ‰ j                  «        y )Nz~INSERT INTO gov_search(rowid, title, site_name, summary) SELECT id, title, site_name, summary FROM gov_raw WHERE site_name = ?)r­   r¶   rÂ   r®   s   €r*   Údo_ftszmain.<locals>.do_fts8  s-   ø€ à�‰ð  Vô  Ybð  Xdô  	eØ�‰�r,   zFTS rebuild z  FTS index rebuilt for z
Done! Total: z, New: )rƒ   r¶   r„   r…   r°   r©   r›   r6   Ú	enumeraterŽ   r   r¿   r¢   r£   rÂ   Úclose)Ú	total_newrÃ   ÚarticlesÚidxrw   rš   ÚdateÚ	det_titleÚdet_dateÚdet_contentÚdet_attsÚfinal_titleÚ
final_dateÚfinal_contentÚ
final_attsrÆ   r¯   s                   @r*   ÚmainrÕ     s�  ø€ Ü	ˆI”i�[Ð
!¬¯
©
Õ3Ü‹9€DØ€Iôô ˆx ¤y kÐ2Õ3Ü	Ð#¤I ;Ð
/´c·j±jÕAä Ó"€HÜ	ˆH”S˜“]�OÐ#9Ð
:ÄÇÁÕLä(1°(Ó(;ò Ñ$ˆÑ$ˆe�X˜tÜ��C˜‘E�7˜!œC ›M˜?¨"¨U°3°B¨Z¨L¸Ð<Ä3Ç:Á:ÕNä5AÀ(Ó5KÑ2ˆ	�8˜[¨(ØÒ( 5ˆÜ'¨Ò(8°DÓ9ˆ
Ø#ÒE¨¨;¨-°r¸(¸À1Ð'EˆØ’^ ˆ
ä˜˜k¨8°ZÀÐPZÔ[Ø˜‰NˆIä�
‰
�3�ðð 	‡K�K„Môô ˆv˜l¬9¨+Ð6Õ7Ü	Ð$¤Y KÐ
0´s·z±zÕBà‡J�J„LÜ	ˆOœC ›M˜?¨'°)°Ð
=ÄCÇJÁJÖOr,   Ú__main__)zDB opry   é   )$Ú__doc__r   ra   r´   r    r¢   Úosr„   r   Úbs4r   Úurllib.parser   Úcrawler_libr   r¬   r¶   r·   r¸   ÚBASE_URLr–   r€   rR   r+   r2   r9   r=   r[   rj   rŽ   r›   r©   r°   r¿   rÕ   Ú__name__rI   r,   r*   ú<module>rß      s°   ðñ	÷ 2× 1× 1Ó 1Ý Ý Ý  Ý *à
€Ø`€	Ø€Ø€Ø%€Ø<€ð DØOØ0ñ€ò€
ò#ò<	òòòò<ò /1òh$óRòòò*)PðX ˆzÒÙ…Fð r,   