Ë
    k"µj@M  ã                   óœ  — d Z ddlZddlZddlZddlZddlZddlZddlZ	ddl
m
Z
mZ 	 ddlmZ ej                  j!                  dd«      ZdZdd	d
œZdZ eej,                  «      D ]y  \  ZZej3                  d«      r$ej5                  dd«      d   j7                  «       ZŒ;edk(  sŒAedz    eej,                  «      k  sŒZej,                  edz      j7                  «       ZŒ{ ereevr, eddj=                  e«      z  «        ej>                  d«       ee   \  Z Z!dZ"dZ#dZ$dez  Z%dez  Z&dZ'e	jP                  jS                  d«      Z* e
jV                  «        ed¬«      z
  jY                  d«      Z-ddddœZ.dZ/ eej,                  «      D ]k  \  ZZej3                  d «      r	  e0ej5                  dd«      d   «      Z/Œ4ed!k(  sŒ:edz    eej,                  «      k  sŒS	  e0ej,                  edz      «      Z/Œm e/dk\  re/ndZ2d"„ Z3d+d#„Z4d$„ Z5d%„ Z6d&„ Z7d'„ Z8d(„ Z9d)„ Z:e;d*k(  r e:«        yy# e$ r dZY �Œw xY w# e1$ r Y Œ³w xY w# e1$ r Y Œ¾w xY w),u  
crawl_danzhai_hjzf.py - ä¸¹å¯¨åŽ¿äººæ°‘æ”¿åºœé—¨æˆ·ç½‘ çŽ¯å¢ƒæ‰§æ³•ç›‘ç®¡

åˆ—è¡¨: https://www.qdndz.gov.cn/zwgk/zdlygk/sthj/hjzfjg/
CMS: TRS / createPageHTML é�™æ€�åˆ†é¡µ
  åˆ†é¡µ: createPageHTML(19, 0, "index", "html", 275) â†’ 19 é¡µ / 275 æ�¡ / 15 æ�¡æ¯�é¡µ
        ç¬¬ 1 é¡µ = ç›®å½•æœ¬èº«(index.html)ï¼Œç¬¬ N é¡µ = index_{N-1}.html
        âš ï¸� å®žæµ‹ index_18.html æ˜¯æœ«é¡µ(5 æ�¡)ã€�index_19.html 404ã€�.shtml å…¨ 404
  æ�¡ç›®: <ul class="NewsList"><li>
          <a TARGET="_blank" title="å®Œæ•´æ ‡é¢˜" href="https://â€¦/202609/t20260922_90929865.html">æ ‡é¢˜</a>
          <span>2026-09-22 16:21</span></li>
        âš ï¸� title åœ¨ href **ä¹‹å‰�**ï¼›æ—¥æœŸåœ¨ <span>ï¼ˆé�ž <b>ï¼‰ï¼›å�«æ—¶åˆ†ï¼Œå�ªå�–æ—¥æœŸ
        âš ï¸� åˆ—è¡¨é¡µæ··å…¥ä¾§æ �/æ�œç´¢å¯¼èˆª(../../../ , /so/search.shtml) â†’ æŒ‰ COL_PATH è¿‡æ»¤
  è¯¦æƒ…: meta ArticleTitle / PubDate / ColumnName / ContentSource
        æ­£æ–‡: div.Article_Con > font#Zoom > div.trs_editor_view.TRS_UEDITOR
        ï¼ˆdiv.Article_Con é‡Œ #Zoom ä¹‹å‰�è¿˜æœ‰ä¸ªç©ºçš„ div#sp è§†é¢‘å� ä½� â†’ å�– #Zoom å†…å®¹å¤©ç„¶é�¿å¼€ï¼‰
  å™ªå£°: div.ArchiveGdPart æ˜¯ JS ç”Ÿæˆ�çš„ã€Œå·²å½’æ¡£ã€�çº¢ç« æ°´å�°ï¼ˆä¸�åœ¨æ­£æ–‡é‡Œï¼Œæ— éœ€å¤„ç�†ï¼‰
        div.ArticleProperties æ˜¯å…ƒæ•°æ�®å�—ï¼ˆæ—¶é—´/æ�¥æº�/ä½œè€…/fwtjsï¼‰â†’ ä¸�åœ¨ #Zoom å†…
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoupÚ
JSONL_PATHÚ úutf-8)u(   ç¼™äº‘åŽ¿-è¡Œæ”¿è®¸å�¯ï¼ˆå�—ç�†ï¼‰å…¬ç¤ºu   è¡Œæ”¿è®¸å�¯ï¼ˆå�—ç�†ï¼‰å…¬ç¤º)u4   ç¼™äº‘åŽ¿-å»ºè®¾é¡¹ç›®çŽ¯å¢ƒå½±å“�è¯„ä»·ä¿¡æ�¯å…¬ç¤ºu*   å»ºè®¾é¡¹ç›®çŽ¯å¢ƒå½±å“�è¯„ä»·ä¿¡æ�¯å…¬ç¤º)Ú
1229425888Ú
1229856959z--col=ú=é   z--colu;   ç”¨æ³•: python3 crawl_jinyun_hjgs.py --col=<%s> [--pages=5]ú|u   æµ™æ±Ÿzcrawl_jinyun_hjgs.pyzhttps://www.jinyun.gov.cnz.https://www.jinyun.gov.cn/col/col%s/index.htmlz/col/col%s/art/zÎhttps://www.jinyun.gov.cn/api-gateway/jpaas-publish-server/front/page/build/unit?parseType=bulidstatic&webId=3658&tplSetId=PnEqYxUh1MkK3CjYn4xc5&pageType=column&tagId=%s&editType=null&pageId=%s&paramJson=%su   åˆ—è¡¨iG  )Údaysz%Y-%m-%dzkMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Languageé   z--pages=z--pagesc                 óŽ  — | syt        j                  | «      } | j                  dd«      j                  dd«      j                  dd«      j                  dd«      } t        j                  dd| «      } t        j                  dd| «      } t        j                  dd| «      } t        j                  d	d
| «      } | j                  «       S )Nr   u   â€‹u   â€Œu   â€�u   ï»¿u3   ^\s*(?:&middot;|Â·|\u00b7)?\s*(?:&nbsp;|\u00a0)?\s*u   ^[â€¢Â·]\s*ú<[^>]+>ú\s+ú )Úhtml_libÚunescapeÚreplaceÚreÚsubÚstrip)Úts    ú&/root/gov_crawler/crawl_jinyun_hjgs.pyÚclean_titler   P   s¦   € ÙØÜ×Ñ˜!Ó€AØ	�	‰	�(˜BÓ×'Ñ'¨°"Ó5×=Ñ=¸hÈÓK×SÑSÐT\Ð^`Óa€AÜ
�‰ÐEÀrÈ1ÓM€AÜ
�‰ˆ~˜r 1Ó%€AÜ
�‰ˆz˜2˜qÓ!€AÜ
�‰ˆv�s˜AÓ€AØ�7‰7‹9Ðó    c                 óØ  — t        t        «      }d }t        d«      D ]‘  }	 dd l}dd l}|j                  |j                  j                  «       |j                  | ||d¬«      }|j                  dk(  rt        |_        |j                  c S d|j                  z  }t        j                   d«       Œ“ t#        d	| d d
 ›d|›�d¬«       y # t        $ r}t        |«      d d }Y d }~ŒJd }~ww xY w)Né   r   F)ÚheadersÚtimeoutÚverifyéÈ   zHTTP %séP   é   z  [fetch fail] éZ   z -> T©Úflush)ÚdictÚHEADERSÚrangeÚrequestsÚurllib3Údisable_warningsÚ
exceptionsÚInsecureRequestWarningÚgetÚstatus_codeÚENCÚencodingÚtextÚ	ExceptionÚstrÚtimeÚsleepÚprint)	Úurlr"   ÚhÚlast_errÚattemptr-   r.   ÚrÚes	            r   ÚfetchrB   ]   sÍ   € ÜŒW‹€AØ€HÜ˜“8ò ˆð		#ß$Ø×$Ñ$ W×%7Ñ%7×%NÑ%NÔOØ—‘˜S¨!°WÀU�ÓKˆAØ�}‰} Ò#Ü �”
Ø—v‘v’Ø  1§=¡=Ñ0ˆHô 	�
‰
�1�ðõ 
 s¨3¨B¢x±Ð
:À$ÕGØøô	 ò 	#Ü˜1“v˜c˜r�{�Hûð	#ús   ¡A'CÂCÃ	C)ÃC$Ã$C)c           
      ó  ‡‡'‡(‡)— | sddg fS t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } g Š'i Š(t        j                  dd| «      } t        �rŒ	 t	        | d	«      }|j                  d
d¬«      D �]›  }|d   }|j                  d«      s;|j                  d«      s*t        j                  d|t         j                  «      sd|v sŒU|xs dj                  «       }|j                  d«      xs |j                  d«      xs dj                  «       }|r(t        j                  d|t         j                  «      s|}n|xs |}|j                  d¬«      xs[ |j                  d«      xsH |j                  d«      xs5 t        j                  j                  |j                  d«      d   «      xs d}t        j                   j#                  ‰|«      }	‰'j%                  |	|f«       dt'        ‰(«      z  }
d|	›d|›d�‰(|
<   |j)                  |
«       �Œž |j                  d«      D ]`  }|j                  d«      xs |j                  d«      xs d}t        j                  d |t         j                  «      sŒQ|j+                  «        Œb |j                  d!«      D �]@  }|j                  d«      }|sŒ|j                  d¬«      rŒ+g }|D ]Ò  }|j                  d«      xs |j                  d«      xs d}|sŒ.t        j                   j#                  ‰|«      }	|j                  d"«      xs |j                  d«      xs dj                  «       xs5 t        j                  j                  |j                  d«      d   «      xs d#}|j%                  d|	›d|›d�«       ŒÔ |s�Œd$t'        ‰(«      z  }
d%d&j-                  |«      z   d'z   ‰(|
<   |j)                  |
«       �ŒC |j                  d«      D ]å  }|j                  d«      xs |j                  d«      xs d}|sŒ.t        j                   j#                  ‰|«      }	|j                  d"«      xs |j                  d«      xs dj                  «       xs5 t        j                  j                  |j                  d«      d   «      xs d#}d$t'        ‰(«      z  }
d(|	›d|›d)�‰(|
<   |j)                  |
«       Œç t/        |«      } ˆ'ˆ(ˆfd*„}t        j                  d+|| t         j                  t         j                  z  ¬«      } t        �r<	 t	        | d	«      }|j                  d«      D ]%  }d,D ]  }|j2                  j5                  |d-«       Œ  Œ' |j                  d.«      D ]×  }|j7                  d.«      €^|j7                  d/«      €M|j                  d¬«      s3|j7                  d«      s"|j7                  d
«      s|j+                  «        Œjd!|_        Œr|j                  d¬«      sD|j7                  d/«      s3|j7                  d«      s"|j7                  d
«      s|j+                  «        ŒÈ|j;                  «        ŒÙ t/        |«      } g Š)ˆ)fd0„}t        j                  d1| t         j                  «      rd2nd}d-}|| k7  r@| }t        j                  d3|| t         j                  t         j                  z  ¬«      } || k7  rŒ@t        j                  d'd4| t         j                  ¬«      } t        j                  d5d6| t         j                  ¬«      } t        j                  d7d| t         j                  ¬«      } g }| j                  d8«      D �]¼  }|j                  «       }|sŒt        j                  d9d|«      }t        j                  d:d|«      }|j=                  d;d«      j=                  d<d=«      }t        j                  d>d=|«      }t        j                  d?d|«      }t?        j@                  |«      }|j=                  d@d=«      j=                  dAd=«      }t        j                  dBd|«      }|sŒæt        j                  dC|«      rŒý‰(jC                  «       D ]  \  }}|j=                  ||«      }Œ tE        ‰)«      D ]  \  }}|j=                  dD|z  |«      }Œ t        j                  dE|t         j                  «      s*t        j                  dF|t         j                  «      sdG|z  }|j%                  |j                  «       «       �Œ¿ d8j-                  |«      }‰(jC                  «       D ]  \  }}|j=                  ||«      }Œ tE        ‰)«      D ]  \  }}|j=                  dD|z  |«      }Œ t        j                  dHd|«      }t?        j@                  |«      }t        j                  dId6|«      }t        j                  dJd8|«      }t        j                  d>d=|«      }tG        dK«      D ]P  } t        j                  dLd%|t         j                  ¬«      }t        j                  dMd'|t         j                  ¬«      }ŒR t        j                  dNd|t         j                  ¬«      }tI        «       g }"}!|j                  d8«      D ]W  }t        j                  dOdt        j                  d?d|«      «      }
|
r|
|!v rŒ6|!jK                  |
«       |"j%                  |«       ŒY d8j-                  |"«      j                  «       }g tI        «       }$}#‰'D ].  \  }%}&|%|$v rŒ|$jK                  |%«       |#j%                  |%|&f«       Œ0 |||#fS # t0        $ r Y �Œ€w xY w# t0        $ r Y �Œw xY w)PuR   æ­£æ–‡ HTML æ¸…æ´—ï¼šä¿�ç•™ <p>/<table>ï¼Œé™„ä»¶è½¬ <p><a>ç»�å¯¹URL</a></p> æ®µè�½r   r   z
<!--.*?-->)Úflagsz<meta[^>]*>z<script[^>]*>.*?</script>z<style[^>]*>.*?</style>u   ã€�å­—å�·ï¼š[^ã€‘]*ã€‘úhtml.parserÚaT)ÚhrefrG   Úappendixzdata-appendixz&\.(pdf|docx?|xlsx?|zip|rar|wps|et|ofd)z/module/download/ÚoldsrcÚOLDSRCz^(?:javascript:|mailto:|tel:|#)©r   Ú_titleÚtitleú?õ   é™„ä»¶z__ATTACH__%d__ú	<a href="ú" target="_blank">ú</a>ÚimgÚsrcz(icons?/|fileTypeImages/icon_)ÚpÚaltu   å›¾ç‰‡z__IMG__%d__z<p>z<br/>z</p>z<p><a href="z</a></p>c                 óÀ  •— | j                  d«      }t        j                  d|t        j                  «      r2|j	                  «       j                  d«      rdS | j                  d«      S | j                  d«      }t        j                  dd|«      }t        j                  |«      j                  «       }t        j                  dd|«      j                  «       }|s5t        j                  j                  |j                  d	«      d   «      xs d
}t        j                  j!                  ‰|«      }‰j#                  ||f«       dt%        ‰«      z  }d|›d|›d�‰|<   |S )Nr   z&^(?:javascript:|mailto:|tel:|s?ftp:|#)zjavascript:r   r   r&   r   u   ^é™„ä»¶[:ï¼š]\s*rN   rO   z__LINK__%d__rP   rQ   rR   )Úgroupr   ÚmatchÚIÚlowerÚ
startswithr   r   r   r   ÚosÚpathÚbasenameÚsplitÚurllibÚparseÚurljoinÚappendÚlen)	ÚmrG   ÚinnerÚtxtÚabs_urlÚkeyÚattachmentsÚlink_protectÚpage_urls	         €€€r   Ú
_link_replz html_to_text.<locals>._link_repl¸   s  ø€ Ø�w‰w�q‹zˆÜ�8‰8Ð=¸tÄRÇTÁTÔJØŸ™›×0Ñ0°Ô?�2ÐOÀQÇWÁWÈQÃZÐOØ—‘˜“
ˆÜ�f‰f�Z  UÓ+ˆÜ×Ñ Ó$×*Ñ*Ó,ˆÜ�f‰fÐ(¨"¨cÓ2×8Ñ8Ó:ˆÙÜ—'‘'×"Ñ" 4§:¡:¨c£?°1Ñ#5Ó6ÒB¸(ˆCÜ—,‘,×&Ñ& x°Ó6ˆØ×Ñ˜G S˜>Ô*Øœs <Ó0Ñ0‰ÚELÊcÐRˆ�SÑØˆ
r   z&<a\s[^>]*href="([^"]+)"[^>]*>(.*?)</a>)ÚstyleÚclassÚlangÚdirÚalignÚvalignÚwidthÚheightÚborderÚcellpaddingÚcellspacingNÚdivÚtablec                 óf   •— ‰j                  | j                  d«      «       dt        ‰«      dz
  z  S )Nr   ú__TBL__%d__r   )rd   rX   re   )rf   Útable_protects    €r   Ú	_tbl_replzhtml_to_text.<locals>._tbl_replä   s.   ø€ Ø×Ñ˜QŸW™W Q›ZÔ(Ø¤ MÓ 2°QÑ 6Ñ7Ð7r   z<table[^>]*>r   z<table(?:(?!<table).)*?</table>z</p>

z	<br\s*/?>ú
z8</?(?:span|font|o:p|st1?:[a-z]+|strong|em|b|i|u)\b[^>]*>z

z(?<=>)\s*[\r\n\t]+\s*z\s*[\r\n\t]+\s*(?=<)úú	r   z	[ \t]{2,}r   õ   Â z&nbsp;z[\s\u200b\u200c\u200d\ufeff]+u“   ^[ã€�\[ï¼ˆ(]?\s*(?:è¿”å›žé¡¶éƒ¨|å›žåˆ°é¡¶éƒ¨|è¿”å›žåˆ—è¡¨|æ‰“å�°(?:æœ¬é¡µ)?|å…³é—­(?:çª—å�£)?|åˆ†äº«|æ‰«ä¸€æ‰«|ä¸Šä¸€ç¯‡|ä¸‹ä¸€ç¯‡)\s*[ã€‘\]ï¼‰)]?$r}   ú<p[ >]z<(?:table|ul|ol|h[1-6])\bz	<p>%s</p>z __(?:LINK|TBL|IMG|ATTACH)__\d+__z[ \t]+\nz\n{3,}r    z<p\b[^>]*>\s*<p\b[^>]*>z</p\s*>\s*</p\s*>z<p\b[^>]*>\s*</p\s*>r   )&r   r   ÚSrZ   r   Úfind_allr2   Úsearchr   rY   Úget_textr]   r^   r_   r`   ra   rb   rc   rd   re   Úreplace_withÚ	decomposeÚjoinr8   r7   ÚattrsÚpopÚfindÚnameÚunwrapr   r   r   ÚitemsÚ	enumerater,   ÚsetÚadd)*Úcontentrm   Ú_souprF   rG   Ú_hrefÚ_oldsrcÚ	real_hrefrh   ri   rj   rS   rT   rU   ÚimgsÚsrcsrn   ÚtagÚattrÚdr   Ú	has_tableÚprevÚpartsÚblockÚbÚplainÚkÚvÚiÚtblÚoutÚ_ÚseenÚfinalÚdedupÚseen_uÚur   rk   rl   r~   s*    `                                     @@@r   Úhtml_to_textr°   q   s@
  û€ áØ�1�bˆyÐÜ�f‰f�] B¨´r·t±tÔ<€GÜ�f‰f�^ R¨¼¿¹Ô=€GÜ�f‰fÐ1°2°wÄbÇdÁdÌRÏTÉTÁkÔR€GÜ�f‰fÐ/°°WÄBÇDÁDÌ2Ï4É4ÁKÔP€Gà€KØ€Lä�f‰fÐ.°°GÓ<€Gæð5	Ü! '¨=Ó9ˆEØ—^‘^ C¨d�^Ó3ó (�Ø˜‘y�Ø—E‘E˜*Ô%¨¯©¨Ô)?ÜŸ9™9Ð%NÐPTÔVX×VZÑVZÔ[Ø.°$Ò6à!šZ R×.Ñ.Ó0�EØ Ÿu™u X›ÒG°!·%±%¸³/ÒGÀR×NÑNÓP�GÙ¤R§X¡XÐ.PÐRWÔY[×Y]ÑY]Ô%^Ø$)™	à$+Ò$4¨u˜	ØŸ:™:¨D˜:Ó1ò T°Q·U±U¸8³_ò TÈÏÉÈgËò TÜ Ÿg™g×.Ñ.¨y¯©¸sÓ/CÀAÑ/FÓGòTØKSð ä$Ÿl™l×2Ñ2°8¸YÓG�GØ×&Ñ&¨° ~Ô6Ø*¬S°Ó->Ñ>‘CÚQXÒZ]Ð(^�L Ñ%Ø—N‘N 3Ö'ð%(ð& —~‘~ eÓ,ò $�Ø—w‘w˜u“~Ò@¨¯©°Ó):Ò@¸b�Ü—9‘9Ð>ÀÄRÇTÁTÕJØ—M‘M•Oð$ð —^‘^ CÓ(ó ,�Ø—z‘z %Ó(�Ú §
¡
° 
Õ 6Ø�DØ#ò \˜Ø!Ÿg™g e›nÒG°·±¸Ó0AÒGÀR˜Ù"Ø$Ü"(§,¡,×"6Ñ"6°xÀÓ"E˜Ø"Ÿw™w u›~ÒG°·±¸Ó1AÒGÀR×NÑNÓPò OÜ!Ÿw™w×/Ñ/°·	±	¸#³¸qÑ0AÓBòOØFNð àŸšÊWÒVYÐ$ZÕ[ð\ó Ø+¬c°,Ó.?Ñ?˜Ø,1°G·L±LÀÓ4FÑ,FÈÑ,O˜ SÑ)ØŸ™ sÖ+ð,ð  —~‘~ eÓ,ò 	&�Ø—g‘g˜e“nÒ?¨¯©°Ó(9Ò?¸R�ÙØÜ Ÿ,™,×.Ñ.¨x¸Ó=�Ø—w‘w˜u“~Ò?¨¯©°Ó)9Ò?¸R×FÑFÓHò GÜ—w‘w×'Ñ'¨¯	©	°#«°qÑ(9Ó:òGØ>Fð à#¤c¨,Ó&7Ñ7‘ÚT[Ò]`Ð$a�˜SÑ!Ø× Ñ  Õ%ð	&ô ˜%“jˆGö
ô �f‰fÐ>À
Ø¤B§D¡D¬2¯4©4¡Kô1€Gö ð	Ü! '¨=Ó9ˆEØ—~‘~ dÓ+ò .�ðOò .�Dà—I‘I—M‘M $¨Õ-ñ.ð.ð —^‘^ EÓ*ò �ð —6‘6˜%“=Ð(¨Q¯V©V°G«_Ð-DØŸ:™:¨D˜:Ô1¸!¿&¹&À¼-ÐPQ×PVÑPVÐWZÔP[ØŸ™�à!$˜�ØŸ™¨$˜Ô/¸¿¹¸w¼Ø !§¡ u¤°a·f±f¸S´kØ—K‘K•Mà—H‘H•Jðô ˜%“jˆGð €Mô8ô —Y‘Y˜°¼¿¹Ô>‘ÀA€IØ€DØ
�'Š/ØˆÜ—&‘&Ð;¸YØ ¬¯©¬r¯t©t©ô5ˆð �'‹/ô
 �f‰f�W˜j¨'¼¿¹Ô>€GÜ�f‰f�\ 4¨¼¿¹Ô=€GÜ�f‰fÐPÐRTØ¤B§D¡Dô*€Gð €EØ—‘˜vÓ&ó  ˆØ�K‰K‹MˆÙØÜ�F‰FÐ+¨R°Ó3ˆÜ�F‰FÐ*¨B°Ó2ˆØ�I‰I�d˜BÓ×'Ñ'¨¨cÓ2ˆÜ�F‰F�<  aÓ(ˆÜ—‘�z 2 qÓ)ˆÜ×!Ñ! %Ó(ˆØ—‘˜f cÓ*×2Ñ2°8¸SÓAˆÜ—‘Ð7¸¸UÓCˆÙØä�8‰8ð  kð  mrô  sØØ ×&Ñ&Ó(ò 	 ‰DˆAˆqØ—	‘	˜!˜Q“‰Að	 ä Ó.ò 	2‰FˆAˆsØ—	‘	˜-¨!Ñ+¨SÓ1‰Að	2ô —	‘	˜) Q¬¯©Ô-ÜŸ	™	Ð">ÀÄ2Ç4Á4ÔHØ˜a‘ˆAØ�‰�Q—W‘W“YÖð3 ð6 �+‰+�eÓ
€CØ×"Ñ"Ó$ò  ‰ˆˆ1Ø�k‰k˜!˜QÓ‰ð ä˜MÓ*ò 2‰ˆˆ3Ø�k‰k˜-¨!Ñ+¨SÓ1‰ð2ô �&‰&Ð4°b¸#Ó
>€CÜ
×
Ñ
˜CÓ
 €CÜ
�&‰&�˜d CÓ
(€CÜ
�&‰&�˜F CÓ
(€CÜ
�&‰&�˜s CÓ
(€Cô �1‹Xò DˆÜ�f‰fÐ/°¸Ä2Ç4Á4ÔHˆÜ�f‰fÐ)¨6°3¼b¿d¹dÔC‰ðDô �&‰&Ð(¨"¨c¼¿¹Ô
>€Cä“%˜ˆ%€DØ�Y‰Y�vÓò ˆÜ�f‰f�V˜R¤§¡¨
°B¸Ó!:Ó;ˆÙ�c˜T‘kØØ�‰�ŒØ�‰�Q�ðð �+‰+�eÓ
×
"Ñ
"Ó
$€Càœ›ˆ6€EØò ‰ˆˆ1Ø�‰;ØØ�
‰
�1ŒØ�‰�a˜�VÕð	ð �	˜5Ð Ð øô} ò 	Úð	ûôV ò 	Úð	úsG   Ã-A3o, Å!F+o, Ì:o, Ío, ÍCo, Ð8E o, Ö?D;o< ï,	o9ï8o9ï<	p	ðp	c                 ó˜   — t        j                  | ddœd¬«      }t        t        t        t
        j                  j                  |«      fz  S )u7   åˆ—è¡¨èµ° JPAAS æŽ¥å�£ï¼›ç¬¬ N é¡µ = paramJson.pageNo=Né   )ÚpageNoÚpageSizeF©Úensure_ascii)ÚjsonÚdumpsÚJY_APIÚJY_TAGÚ_colra   rb   Úquote)ÚpageÚpjs     r   Úlist_page_urlr¿   6  s8   € ä	�‰˜t°Ñ4À5Ô	I€BÜ”VœT¤6§<¡<×#5Ñ#5°bÓ#9Ð:Ñ:Ð:r   c                 óæ  — g }	 t        j                  | «      }|j                  d«      xs i j                  d«      xs d}t	        j
                  d|t        j                  t        j                  z  «      D �]e  }|j                  d«      }t	        j                  d|t        j                  «      }|sŒ=t        j                  |j                  d«      «      j                  «       }t        |vs|j                  «       j                  d«      sŒ—t!        |j                  d«      «      }|rt#        |«      dk  rŒÂt	        j                  d	|«      }	|	sŒÛ|	j                  d«      ›d
|	j                  d«      j%                  d«      ›d
|	j                  d«      j%                  d«      ›�}
|j'                  t(        j*                  j-                  t.        |«      ||
f«       �Œh |S # t        $ r |cY S w xY w)ue   æŽ¥å�£è¿”å›ž {"success":true,"data":{"html":"<div id=åˆ—è¡¨>â€¦</div>"}}ï¼Œä»Ž data.html è§£æž�æ�¡ç›®ÚdataÚhtmlr   z<li[^>]*>(.*?)</li>r   z+<a\b[^>]*href="([^"]+)"[^>]*title="([^"]*)"z.htmlr&   ú(\d{4})-(\d{1,2})-(\d{1,2})ú-r    )r·   Úloadsr2   r7   r   Úfinditerr…   rZ   rX   r‡   r   r   r   ÚCOL_PATHr[   Úendswithr   re   Úzfillrd   ra   rb   rc   ÚBASE_URL)Úapi_json_textr‘   rž   Ú	html_textrf   ÚliÚamrG   rM   ÚdmÚdates              r   Ú
parse_listrÑ   <  s‡  € à€EðÜ�J‰J�}Ó%ˆØ—U‘U˜6“]Ò( b×-Ñ-¨fÓ5Ò;¸ˆ	ô �[‰[Ð/°¼B¿D¹DÄ2Ç4Á4¹KÓHó JˆØ�W‰W�Q‹ZˆÜ�Y‰YÐEÀrÌ2Ï4É4ÓPˆÙØÜ× Ñ  §¡¨!£Ó-×3Ñ3Ó5ˆÜ˜4Ñ t§z¡z£|×'<Ñ'<¸WÔ'EØÜ˜BŸH™H Q›KÓ(ˆÙœ˜E›
 QšØÜ�Y‰YÐ5°rÓ:ˆÙØØŸX™X a�[¨"¯(©(°1«+×*;Ñ*;¸AÕ*>ÀÇÁÈÃ×@QÑ@QÐRSÔ@TÐUˆØ�‰”f—l‘l×*Ñ*¬8°TÓ:¸EÀ4ÐHÖIðJð  €Løô% ò ØŠðús   „=G" Ç"G0Ç/G0c                 ó¦   — dD ]L  }| j                  |«      }|€Œ|j                  d¬«      sŒ*dj                  d„ |j                  D «       «      c S  y)uW   æµ™æ±Ÿ JPAAS æ­£æ–‡å®¹å™¨ï¼ˆæŒ‰å�‚è€ƒï¼šdiv.content > div.wenz ä¼˜å…ˆï¼Œé€�çº§å›žé€€ï¼‰)zdiv.content div.wenzzdiv.wenzz#zoomzdiv.zwxl-contentzdiv.trs_editor_viewzdiv.articlezdiv.Article_ConTrK   r   c              3   ó2   K  — | ]  }t        |«      –— Œ y ­w)N)r8   )Ú.0Úcs     r   ú	<genexpr>zextract_body.<locals>.<genexpr>]  s   è ø€ Ò7 aœ3˜qŸ6Ñ7ùs   ‚)Ú
select_onerˆ   r‹   Úcontents)ÚsouprÌ   ÚselÚels       r   Úextract_bodyrÜ   W  sR   € ðIò 8ˆà�_‰_˜SÓ!ˆØ‰>˜bŸk™k°˜kÕ5Ø—7‘7Ñ7¨2¯;©;Ô7Ó7Ò7ð	8ð
 r   c                 óˆ  — dx}x}}d }t         �r[	 t        | d«      }|j                  ddt        j                  dt        j                  «      i¬«      }|r|j                  d«      rt        |d   «      }|j                  ddt        j                  dt        j                  «      i¬«      }|r�|j                  d«      rpt        j                  d	|d   «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}|s.|j                  d«      }	|	rt        |	j                  d¬«      «      }t        || «      }|sRt        j                  d| t        j                  t        j                  z  «      }
|
rt        |
j                  d
«      «      }|smt        j                  d| «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}|||fS # t        $ r d }Y ŒÕw xY w)Nr   rE   Úmetar�   ÚArticleTitle)rŒ   r•   ÚPubDaterÃ   r   rÄ   r&   r    Úh1TrK   z<title>(.*?)</title>u'   (\d{4})[-å¹´/](\d{1,2})[-æœˆ/](\d{1,2}))r   rŽ   r   ÚcompilerZ   r2   r   r‡   rX   rÉ   rˆ   rÜ   r7   r…   )rÌ   rm   rM   rÐ   Úcontent_htmlrÙ   ÚmtÚmdrÏ   rá   rf   s              r   Úparse_detailræ   a  sÖ  € Ø"$Ð$€EÐ$ˆD�<Ø€DÞð	Ü  ¨MÓ:ˆDØ—‘˜6¨&´"·*±*¸_ÌbÏdÉdÓ2SÐ)T�ÓUˆBÙ�b—f‘f˜YÔ'Ü# B y¡MÓ2�Ø—‘˜6¨&´"·*±*¸ZÌÏÉÓ2NÐ)O�ÓPˆBÙ�b—f‘f˜YÔ'Ü—Y‘YÐ=¸rÀ)¹}ÓM�ÙØ)+¯©°!­°b·h±h¸q³k×6GÑ6GÈÕ6JÈBÏHÉHÐUVËK×L]ÑL]Ð^_ÔL`Ða�DÙØ—Y‘Y˜t“_�ÙÜ'¨¯©¸$¨Ó(?Ó@�EÜ'¨¨iÓ8ˆLñ Ü�I‰IÐ-¨y¼"¿$¹$ÄÇÁ¹+ÓFˆÙÜ §¡¨£
Ó+ˆEÙÜ�Y‰YÐAÀ9ÓMˆÙØ!#§¡¨!¥¨b¯h©h°q«k×.?Ñ.?ÀÕ.BÀBÇHÁHÈQÃK×DUÑDUÐVWÔDXÐYˆDØ�$˜Ð$Ð$øô ò 	ØŠDð	ús   ‘EH3 È3IÉ Ic                  ó|  — t         j                  j                  dt        j                  j	                  t        j                  j                  t        «      «      «       ddlm}  t        dt        t        t        t        fz  d¬«       dx}x}}t        «       }g }g }t        dt        dz   «      D �]N  }t!        |«      }t#        |«      }	|	st        d|z  d¬«        �n#t%        |	«      }
|
st        d|z  d¬«        �nt        d	|t'        |
«      fz  d¬«       |
D �]²  \  }}}||v rŒ|j)                  |«       |r|t        k  r|dz  }Œ/t#        |«      }|s|dz  }ŒBt+        ||«      \  }}}|s|}|s|}t-        ||«      \  }}}t'        t/        j0                  d
d|«      j3                  «       «      }t/        j4                  d|t.        j6                  «       xr+ t/        j4                  d|t.        j6                  «       xr | }|dk  s|rt        d|d d z  d¬«       |dz  }�Œt        ||||d|t8        dt:        |r-t=        j>                  |D ��cg c]
  \  }}||dœ‘Œ c}}d¬«      nddœ}t@        r|jC                  |«       n|jC                  |«       |dz  }t        d|d d |||rdndfz  d¬«       tE        jF                  d«       �Œµ t@        s|r | |t        ¬«       g }tE        jF                  d«       �ŒQ t@        rltI        t@        dd¬«      5 }|D ]+  }|jK                  t=        j>                  |d¬«      dz   «       Œ- 	 d d d «       t        dt@        t'        |«      fz  d¬«       n|r | |t        ¬«       t        d |||fz  d¬«       t        d!t        z  d¬«       y c c}}w # 1 sw Y   ŒgxY w)"Nr   )Úpush_to_searchdbz"=== %s (%s) pages=%d cutoff=%s ===Tr(   r   zPage %d fetch error, stopzPage %d: empty, stopzPage %d: found %d itemsr   r   r„   z<a[ >]r   z  skip empty/placeholder: %sé(   )rM   r<   Frµ   )Ú	site_nameÚ
source_urlr<   rM   Úpub_dateÚsummaryr•   ÚcategoryÚtagsÚ
group_namerk   u     + %s (%s, %då­—%s)é&   u   , è¡¨æ ¼gš™™™™™É?)Úbatch_labelg333333Ó?Úwr   )r5   r€   zJSONL written: %s (%d rows)u*   æ–°å¢ž: %d | è·³è¿‡: %d | CUTOFFæˆªæ–­: %dz=== %s done ===)&Úsysr^   Úinsertr]   ÚdirnameÚabspathÚ__file__Úcrawler_librè   r;   Ú	SITE_NAMEÚSCRIPT_NAMEÚ_PAGESÚCUTOFFr“   r,   r¿   rB   rÑ   re   r”   ræ   r°   r   r   r   r‡   rZ   ÚCATEGORYÚ
GROUP_NAMEr·   r¸   r   rd   r9   r:   ÚopenÚwrite)rè   Ú	new_countÚ
skip_countÚcutoff_countÚ	seen_urlsÚ
jsonl_rowsÚbatchr½   r<   rÌ   r‘   ri   rM   rÐ   ÚdhtmlÚdtitleÚddaterã   r•   rŸ   ÚattsÚ	plain_lenÚno_parar¯   r   ÚitemÚfÚrows                               r   Úmainr  ‚  s�  € Ü‡H�H‡O�O�A”r—w‘w—‘¤r§w¡w§¡´xÓ'@ÓAÔBÝ,ä	Ð
.´)¼[Ì&ÔRXÐ1YÑ
YØõð -.Ð-€IÐ-�
˜\Ü“€IØ€JØ€Eä�aœ !™Ó$ó 7ˆÜ˜DÓ!ˆÜ˜#“Jˆ	ÙÜÐ-°Ñ4¸DÕAÚÜ˜9Ó%ˆÙÜÐ(¨4Ñ/°tÕ<ÚÜÐ'¨4´°U³Ð*<Ñ<ÀDÕIà$)ó '	Ñ ˆG�U˜DØ˜)Ñ#ØØ�M‰M˜'Ô"Ù˜œvšØ Ñ!�ØÜ˜'“NˆEÙØ˜a‘�
ØÜ*6°u¸gÓ*FÑ'ˆF�E˜<ÙØ�ÙØ�Ü'3°LÀ'Ó'JÑ$ˆG�Y ÜœBŸF™F :¨r°7Ó;×AÑAÓCÓDˆIÜŸ9™9 Y°¼¿¹Ó>Ð>ò UÜ!Ÿy™y¨°G¼R¿T¹TÓBÐBòUØKTÀ}ð à˜1Š}¡ÜÐ4°v¸c¸r°{ÑBÈ$ÕOØ˜a‘�
Ùä&°gÀgØ¨U¸rØ"´À"Ü(áVZô  $Ÿz™zØ8<×=±°°1˜q¨Ó+Ó=ÈEõ SØ`bñˆDõ Ø×!Ñ! $Õ'à—‘˜TÔ"Ø˜‰NˆIÜÐ(¨F°3°B¨K¸À	Ù9B©:Èð,Lñ LØSWõYä�J‰J�sŽOðO'	õP ™eÙ˜U´Õ<ØˆEÜ�
‰
�3Žðo7õr Ü”*˜c¨GÔ4ð 	D¸Ø!ò D�Ø—‘œŸ
™
 3°UÔ;¸dÑBÕCñD÷	Dô 	Ð+¬z¼3¸z»?Ð.KÑKÐSWÖXáÙ˜U´Õ<ä	Ð
6¸)ÀZÐQ]Ð9^Ñ
^ÐfjÕkÜ	Ð
œiÑ
'¨tÖ4ùó3 >÷ 	Dð 	Dús   ÉN,"Ì1N2Î2N;Ú__main__)é   )<Ú__doc__rô   r]   r   r9   r·   rÂ   r   Úurllib.parsera   r   r   Úbs4r   ÚImportErrorÚenvironr2   r   r4   ÚCOLUMNSr»   r’   Úargvr§   rF   r\   r`   r   re   r;   r‹   Úexitrú   rþ   rÿ   rû   rÊ   ÚLIST_URLrÇ   r¹   rb   r¼   rº   ÚnowÚstrftimerý   r+   Ú
_MAX_PAGESÚintÚ
ValueErrorrü   r   rB   r°   r¿   rÑ   rÜ   ræ   r  Ú__name__© r   r   ú<module>r$     s•  ðñ÷& ?× >× >Ó >ß (ðÝ!ð �Z‰Z�^‰^˜L¨"Ó-€
Ø€ð aØxñ€ð 
€Ù�c—h‘hÓò '�D€A€qØ‡|�|�HÔØ�w‰w�s˜A‹˜qÑ!×'Ñ'Ó)‰Ø	
ˆg‹˜!˜a™%¡# c§h¡h£-Ó/Ø�x‰x˜˜A™‰×$Ñ$Ó&‰ð	'ñ
 ˆt˜7Ñ"Ù	Ð
GÈ#Ï(É(ÐSZÓJ[Ñ
[Ô\Ø€C‡H�HˆQ„KØ˜d‘mÑ €	ˆ8Ø€
Ø$€Ø&€Ø;¸dÑB€Ø˜tÑ#€ðK€ð 
�‰×	Ñ	˜HÓ	%€Ø
ˆ(�,‰,‹.™9¨'Ô2Ñ
2×	<Ñ	<¸ZÓ	H€ðCàOØ'ñ	€ð €
Ù�c—h‘hÓò 
�D€A€qØ‡|�|�JÔð	Ù˜QŸW™W S¨!›_¨QÑ/Ó0‰Jð 
ˆi‹˜A ™E¡C¨¯©£MÓ1ð	Ù˜SŸX™X a¨!¡e™_Ó-‰Jð
ð " Q’‰¨A€ò	óò(A!òJ;òò6ò%òBO5ðd ˆzÒÙ…Fð øðs ò ØƒMðûðV ò 	Ùð	ûð
 ò 	Ùð	ús5   ¨H* Æ$H8Ç IÈ*H5È4H5È8I È?I ÉIÉ
I