Ë
    ¸¬uj‹  ã                   óÔ   — d Z ddlZddlZddlZddlZddlZddlZej                  j                  dd«      Z	ddddœZ
d	Zd
ZdZdZdZdZdd„Zd„ Zd„ Zd„ Zd„ Zd„ Zedk(  r e«        yy)u+   è‹�å·žå¸‚å�´æ±ŸåŒºäººæ°‘æ”¿åºœ-å…¬å‘Šå…¬ç¤ºé    NÚDB_PATHz/root/search.dbzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36z`text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Languageu"   å�´æ±ŸåŒºäººæ°‘æ”¿åºœ-å…¬å‘Šå…¬ç¤ºu   è‹�å·žé   é   zhttps://www.wujiang.gov.cnz4https://www.wujiang.gov.cn/zgwj/gggs/xxgk_list.shtmlc                 ób   — t        j                  | t        dd¬«      }||_        |j                  S )Né   T)ÚheadersÚtimeoutÚallow_redirects)ÚrequestsÚgetÚHEADERSÚencodingÚtext)Úurlr   Úrs      ú"/root/gov_crawler/crawl_wujiang.pyÚfetchr      s&   € Ü�‰�S¤'°2ÀtÔL€AØ€A„JØ�6‰6€Mó    c                 ót   — | j                  d«      r| S | j                  d«      r	t        | z   S t        dz   | z   S )NÚhttpú/)Ú
startswithÚBASE_URL)Úrel_urls    r   Úresolve_urlr      s=   € Ø×Ñ˜&Ô!ØˆØ×Ñ˜#ÔÜ˜'Ñ!Ð!Ü�c‰>˜GÑ#Ð#r   c                 óD  — g }d}t        j                  || t         j                  «      D ]s  }|j                  d«      j	                  «       }|j                  d«      j	                  «       }|j                  d«      j	                  «       }|j                  |||f«       Œu |S )z)Extract (title, url, date) from list pagez_<a\s+href="([^"]+)"[^>]*title="([^"]*)"[^>]*>.*?<span\s+class="time">\s*(\d{4}-\d{1,2}-\d{1,2})é   é   é   )ÚreÚfinditerÚDOTALLÚgroupÚstripÚappend)ÚhtmlÚitemsÚpatternÚmr   ÚtitleÚdates          r   Úextract_listr-      sˆ   € à€Eàp€GÜ�[‰[˜ $¬¯	©	Ó2ò -ˆØ—'‘'˜!“*×"Ñ"Ó$ˆØ—‘˜“
× Ñ Ó"ˆØ�w‰w�q‹z×ÑÓ!ˆØ�‰�e˜W dÐ+Õ,ð	-ð
 €Lr   c                 óð  — ddl m}  || d«      }|j                  d«      }|r|j                  d¬«      nd}d}|j                  d«      }|r9t	        j
                  d	|j                  d¬«      «      }|r|j                  d
«      }d}|j                  dd¬«      }	|	rR|	j                  d«      D �
cg c]'  }
|
j                  d¬«      sŒ|
j                  d¬«      ‘Œ) }}
dj                  |«      }|||fS c c}
w )z%Extract body content from detail pager   )ÚBeautifulSoupzhtml.parserÚh1T)r%   Ú Úpublishtimez(\d{4}-\d{1,2}-\d{1,2})r   Údivzarticle-detail)Úclass_Úpz

)	Úbs4r/   ÚfindÚget_textr!   Úsearchr$   Úfind_allÚjoin)r'   r/   Úsoupr0   r+   r,   ÚptÚdmÚbodyÚadr5   Úparass               r   Úextract_detailrB   )   së   € å!Ù˜˜}Ó-€Dð 
�‰�4‹€BÙ')ˆB�K‰K˜dˆKÔ#¨r€Eð €DØ	�‰�=Ó	!€BÙ	Ü�Y‰YÐ1°2·;±;ÀT°;Ó3JÓKˆÙØ—8‘8˜A“;ˆDð €DØ	�‰�5Ð!1ˆÓ	2€BÙ	Ø13·±¸SÓ1AÖ\¨AÀQÇZÁZÐVZÀZÕE[�—‘ $�Õ'Ð\ˆÐ\Ø�{‰{˜5Ó!ˆà�$˜ÐÐùò ]s   Â/C3ÃC3c                 óT  — dd l }|j                  t        «      }|j                  «       }d}| D ]&  \  }}}	}
	 |j	                  d|||||	|
|
f«       |dz  }Œ( |j                  «        |j                  «        |S # t
        $ r%}t        dj                  ||«      «       Y d }~Œtd }~ww xY w)Nr   z¤INSERT OR REPLACE INTO gov_raw
                (page_url, site_name, group_name, title, publish_date, summary, content)
                VALUES (?, ?, ?, ?, ?, ?, ?)r   zDB error: {} - {})
Úsqlite3Úconnectr   ÚcursorÚexecuteÚ	ExceptionÚprintÚformatÚcommitÚclose)r(   Ú	site_namer$   rD   ÚconnÚcÚinsertedr+   r   r,   r?   Úes               r   Ú
save_to_dbrR   C   sµ   € ÛØ�?‰?œ7Ó#€DØ�‰‹€AØ€HØ"'ò 6Ñˆˆs�D˜$ð	6Ø�I‰Ið 0ð �i ¨¨t°T¸4Ð@ôBð ˜‰M‰Hð6ð 	‡K�K„MØ‡J�J„LØ€Oøô	 ò 	6ÜÐ%×,Ñ,¨S°!Ó4×5Ñ5ûð	6ús   ·A9Á9	B'ÂB"Â"B'c            	      óò  — dd l } | j                  «       }|j                  dt        t        ¬«       |j                  «       }|j                  }g }t        t        «      }t        |«      }|j                  |«       t        dj                  t        |«      «      «       t        d|dz   «      D ]’  }dj                  |«      }	 t        |«      }t        |«      }|st        dj                  |«      «        nL|j                  |«       t        d	j                  |t        |«      «      «       t!        j"                  d«       Œ” t        dj                  t        |«      «      «       g }
d}t%        |«      D ]“  \  }\  }}}t'        |«      }	 t        |«      }t)        |«      \  }}}|s|}|s|}|
j+                  ||||f«       |dz   dz  dk(  r't        dj                  |dz   t        |«      «      «       t!        j"                  d«       Œ• t        dj                  t        |
«      |«      «       t-        |
t.        t0        «      }t        dj                  |«      «       d}|}d}t        d«       t        dj                  t.        ||||«      «       y # t        $ r'}	t        d
j                  ||	«      «       Y d }	~	 �Œzd }	~	ww xY w# t        $ r*}	t        dj                  ||	«      «       |dz  }Y d }	~	Œÿd }	~	ww xY w)Nr   z--max-pages)ÚtypeÚdefaultzPage 1: {} itemsr   r   z7https://www.wujiang.gov.cn/zgwj/gggs/xxgk_list_{}.shtmlzPage {}: empty, stoppingzPage {}: {} itemszPage {} error: {}g      à?z
Total list items: {}é
   z  progress: {}/{}z  FAILED: {} - {}g333333Ó?z 
Details fetched: {}, failed: {}zInserted: {}z
=== Summary ===z{} | {} | {} | {} | {})ÚargparseÚArgumentParserÚadd_argumentÚintÚ	MAX_PAGESÚ
parse_argsÚ	max_pagesr   ÚLIST_URLr-   ÚextendrI   rJ   ÚlenÚrangerH   ÚtimeÚsleepÚ	enumerater   rB   r&   rR   Ú	SITE_NAMEÚGROUP)rW   ÚparserÚargsr]   Ú	all_itemsr'   r(   Úpager   rQ   Údetail_itemsÚfailedÚir+   r   r,   Úd_titler?   Úd_daterP   Útimeout_countÚerror_countÚabnormal_counts                          r   Úmainrs   U   s¶  € ÛØ×$Ñ$Ó&€FØ
×Ñ˜¬C¼ÐÔCØ×ÑÓ€DØ—‘€Ià€Iô ”‹?€DÜ˜Ó€EØ×Ñ�UÔÜ	Ð
×
#Ñ
#¤C¨£JÓ
/Ô0ô �a˜ Q™Ó'ò ˆØG×NÑNÈtÓTˆð
	Ü˜“:ˆDÜ  Ó&ˆEÙÜÐ0×7Ñ7¸Ó=Ô>ÙØ×Ñ˜UÔ#ÜÐ%×,Ñ,¨T´3°u³:Ó>Ô?ô 	�
‰
�3�ðô 
Ð
"×
)Ñ
)¬#¨i«.Ó
9Ô:ð €LØ€FÜ%.¨yÓ%9ò Ñ!ˆÑ!ˆE�7˜DÜ˜'Ó"ˆð	Ü˜“:ˆDÜ$2°4Ó$8Ñ!ˆG�T˜6ÙØ�ÙØ�Ø×Ñ ¨#¨v°tÐ <Ô=Ø�A‘˜‰|˜qÒ ÜÐ)×0Ñ0°°Q±¼¸I»ÓGÔHô 	�
‰
�3�ðô" 
Ð
-×
4Ñ
4´S¸Ó5FÈÓ
OÔPô ˜,¬	´5Ó9€HÜ	ˆ.×
Ñ
 Ó
)Ô*ð €MØ€KØ€NÜ	Ð
ÔÜ	Ð
"×
)Ñ
)¬)°X¸}ÈkÐ[iÓ
jÕkøôM ò 	ÜÐ%×,Ñ,¨T°1Ó5Ô6Þûð	ûô, ò 	ÜÐ%×,Ñ,¨S°!Ó4Ô5Ø�a‰K�Fûð	ús7   Ã2JÃ55JÆ	A)KÊ	K ÊJ;Ê;K Ë	K6Ë K1Ë1K6Ú__main__)zutf-8)Ú__doc__r!   ÚsysÚosÚjsonrb   r   Úenvironr   r   r   re   rf   ÚPER_PAGEr[   r   r^   r   r   r-   rB   rR   rs   Ú__name__© r   r   ú<module>r}      sŽ   ðá 1ß (× (× (Ø
�*‰*�.‰.˜Ð$5Ó
6€ð DØpØ'ñ€ð
 1€	Ø€Ø€Ø€	Ø'€ØA€óò
$ò
òò4ò$@lðD ˆzÒÙ…Fð r   