Ë
    #ñ£jyI  ã                   óÒ  — d Z ddlZddlZddlZddlZddlZddlZddlZ	ddl
m
Z
mZ 	 ddlmZ ej                  j!                  dd«      ZdZdZd	Zd
ZdZdZdZdZdddddddœZdZ e
j8                  «        ed¬«      z
  j;                  d«      ZdddedœZdZ  e!ejD                  «      D ]k  \  Z#Z$e$jK                  d«      r	  e&e$jO                  d d!«      d!   «      Z Œ4e$d"k(  sŒ:e#d!z    e)ejD                  «      k  sŒS	  e&ejD                  e#d!z      «      Z Œm e d!k\  re nd!Z*d#„ Z+d+d$„Z,d%„ Z-d&„ Z.d'„ Z/d(„ Z0d)„ Z1e2d*k(  r e1«        yy# e$ r dZY �Œ!w xY w# e($ r Y Œ°w xY w# e($ r Y Œ»w xY w),u<  
crawl_yueqing_xzxk.py - ä¹�æ¸…å¸‚äººæ°‘æ”¿åºœ (www.yueqing.gov.cn) è¡Œæ”¿è®¸å�¯
https://www.yueqing.gov.cn/col/col1229865774/index.html
CMS: æµ™æ±Ÿ ZJJCMS JPAAS unitbuild (GET front/page/build/unit)
âš ï¸� ä¸Žå�Œç«™ crawl_yueqing.py æ˜¯ã€�ä¸�å�Œæ �ç›®ã€‘(col1229870564 å»ºè®¾é¡¹ç›®çŽ¯è¯„å…¬ç¤º)ï¼Œå‹¿æ··æ·†/å‹¿è¦†ç›–
åˆ—è¡¨ API: GET {base}/api-gateway/jpaas-publish-server/front/page/build/unit
  webId=1828 pageId=1229865774 parseType=bulidstatic pageType=column
  tagId=é‡�ç‚¹é¢†åŸŸä¹�æ¸…æ”¿åºœæ ‡é¢˜ tplSetId=CRHIRmIPXDNfEZc5zbFzp
  paramJson={"pageNo":N,"pageSize":13}  (éœ€å¸¦ Referer)
  å“�åº” data.html:
    <ul class="zd_list"><div id="é‡�ç‚¹é¢†åŸŸä¹�æ¸…æ”¿åºœæ ‡é¢˜"><div class="page-content">
      <li><a href="/col/col1229865774/art/2026/art_XXX.html" target="_blank">å®Œæ•´æ ‡é¢˜</a>
          <span>2026-09-11</span></li>
  count=1300
è¯¦æƒ…: meta ArticleTitle(å®Œæ•´æ ‡é¢˜) / PubDate(YYYY-MM-DD HH:MM)
  æ­£æ–‡: div#zoom (å�«é¡¹ç›®æƒ…å†µè¡¨ï¼›éš�è—� pdftip/pdfBox å·²å‰”é™¤)
  é™„ä»¶: /api-gateway/jpaas-web-server/front/document/download?fileUrl=...&fileName=xxx.pdf
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoupÚ
JSONL_PATHÚ úutf-8u   ä¹�æ¸…å¸‚-è¡Œæ”¿è®¸å�¯u   æµ™æ±Ÿzcrawl_yueqing_xzxk.pyu   è¡Œæ”¿è®¸å�¯zhttps://www.yueqing.gov.cnz7https://www.yueqing.gov.cn/col/col1229865774/index.htmlzQhttps://www.yueqing.gov.cn/api-gateway/jpaas-publish-server/front/page/build/unitÚ1828Ú
1229865774ÚbulidstaticÚcolumnu   é‡�ç‚¹é¢†åŸŸä¹�æ¸…æ”¿åºœæ ‡é¢˜ÚCRHIRmIPXDNfEZc5zbFzp)ÚwebIdÚpageIdÚ	parseTypeÚpageTypeÚtagIdÚtplSetIdé   iG  )Údaysz%Y-%m-%dzkMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36z.application/json, text/javascript, */*; q=0.01zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-LanguageÚRefereré   z--pages=ú=é   z--pagesc                 ó`  — | syt        j                  | «      } | j                  dd«      j                  dd«      j                  dd«      j                  dd«      } t        j                  dd| «      } t        j                  dd| «      } t        j                  dd	| «      } | j                  «       S )
Nr   u   â€‹u   â€Œu   â€�u   ï»¿u3   ^\s*(?:&middot;|Â·|\u00b7)?\s*(?:&nbsp;|\u00a0)?\s*u   ^[â€¢Â·]\s*ú\s+ú )Úhtml_libÚunescapeÚreplaceÚreÚsubÚstrip)Úts    úcrawl_yueqing_xzxk.pyÚclean_titler&   J   s”   € ÙØÜ×Ñ˜!Ó€AØ	�	‰	�(˜BÓ×'Ñ'¨°"Ó5×=Ñ=¸hÈÓK×SÑSÐT\Ð^`Óa€AÜ
�‰ÐEÀrÈ1ÓM€AÜ
�‰ˆ~˜r 1Ó%€AÜ
�‰ˆv�s˜AÓ€AØ�7‰7‹9Ðó    c                 óæ  — t        t        «      }|r||d<   d }t        d«      D ]‘  }	 dd l}dd l}|j                  |j                  j                  «       |j                  | ||d¬«      }|j                  dk(  rt        |_        |j                  c S d|j                  z  }t        j                   d	«       Œ“ t#        d
| d d ›d|›�d¬«       y # t        $ r}	t        |	«      d d }Y d }	~	ŒJd }	~	ww xY w)Nr   é   r   F)ÚheadersÚtimeoutÚverifyéÈ   zHTTP %séP   é   z  [fetch fail] éZ   z -> T©Úflush)ÚdictÚHEADERSÚrangeÚrequestsÚurllib3Údisable_warningsÚ
exceptionsÚInsecureRequestWarningÚgetÚstatus_codeÚENCÚencodingÚtextÚ	ExceptionÚstrÚtimeÚsleepÚprint)
Úurlr+   ÚacceptÚhÚlast_errÚ_r6   r7   ÚrÚes
             r%   ÚfetchrL   U   sÙ   € ÜŒW‹€AÙØˆˆ(‰Ø€HÜ�1‹Xò ˆð		#ß$Ø×$Ñ$ W×%7Ñ%7×%NÑ%NÔOØ—‘˜S¨!°WÀU�ÓKˆAØ�}‰} Ò#Ü �”
Ø—v‘v’Ø  1§=¡=Ñ0ˆHô 	�
‰
�1�ðõ 
 s¨3¨B¢x±Ð
:À$ÕGØøô	 ò 	#Ü˜1“v˜c˜r�{�Hûð	#ús   ¨A'CÂCÃ	C0ÃC+Ã+C0c           
      ó¦  ‡‡)‡*‡+— | sddg fS t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } g Š)i Š*t        j                  dd| «      } t        r¢	 t	        | d	«      }|j                  d
g«      D ]  }|j                  «        Œ |j                  d¬«      D ]N  }|j                  d«      xs dj                  dd«      j                  «       }d|v sd|v sŒ?|j                  «        ŒP t        |«      } t        �r�	 t	        | d	«      }|j                  dd¬«      D �]Ÿ  }|d   }|j                  d«      s?|j                  d«      s.t        j                  d|t         j                  «      s	d|v sd|v sŒY|xs dj                  «       }|j                  d«      xs |j                  d«      xs dj                  «       }	|r(t        j                  d|t         j                  «      s|}
n|	xs |}
|j                  d¬«      xs[ |j                  d«      xsH |j                  d«      xs5 t         j"                  j%                  |
j'                  d«      d   «      xs d }t(        j*                  j-                  ‰|
«      }‰)j/                  ||f«       d!t1        ‰*«      z  }d"|›d#|›d$�‰*|<   |j3                  |«       �Œ¢ |j                  d%«      D ]`  }|j                  d&«      xs |j                  d«      xs d}t        j                  d'|t         j                  «      sŒQ|j                  «        Œb |j                  d(«      D �]@  }|j                  d%«      }|sŒ|j                  d¬«      rŒ+g }|D ]Ò  }|j                  d&«      xs |j                  d«      xs d}|sŒ.t(        j*                  j-                  ‰|«      }|j                  d)«      xs |j                  d«      xs dj                  «       xs5 t         j"                  j%                  |j'                  d«      d   «      xs d*}|j/                  d"|›d#|›d$�«       ŒÔ |s�Œd+t1        ‰*«      z  }d,d-j5                  |«      z   d.z   ‰*|<   |j3                  |«       �ŒC |j                  d%«      D ]å  }|j                  d&«      xs |j                  d«      xs d}|sŒ.t(        j*                  j-                  ‰|«      }|j                  d)«      xs |j                  d«      xs dj                  «       xs5 t         j"                  j%                  |j'                  d«      d   «      xs d*}d+t1        ‰*«      z  }d/|›d#|›d0�‰*|<   |j3                  |«       Œç t        |«      } ˆ)ˆ*ˆfd1„}t        j                  d2|| t         j                  t         j                  z  ¬«      } t        rÍ	 t	        | d	«      }|j                  d«      D ]%  }d3D ]  }|j6                  j9                  |d4«       Œ  Œ' |j                  d5«      D ]h  }|j                  d¬«      sD|j;                  d6«      s3|j;                  d%«      s"|j;                  d«      s|j                  «        ŒY|j=                  «        Œj t        |«      } g Š+ˆ+fd7„}t        j                  d8| t         j                  «      rd9nd}d4}|| k7  r@| }t        j                  d:|| t         j                  t         j                  z  ¬«      } || k7  rŒ@t        j                  d.d;| t         j                  ¬«      } t        j                  d<d=| t         j                  ¬«      } t        j                  d>d| t         j                  ¬«      } g }| j'                  d?«      D �]¼  }|j                  «       }|sŒt        j                  d@d|«      }t        j                  dAd|«      }|j                  dBd«      j                  dCd«      }t        j                  dDd|«      }t        j                  dEd|«      }t?        j@                  |«      }|j                  dFd«      j                  dGd«      }t        j                  dHd|«      }|sŒæt        j                  dI|«      rŒý‰*jC                  «       D ]  \  }}|j                  ||«      }Œ tE        ‰+«      D ]  \  } }!|j                  dJ| z  |!«      }Œ t        j                  dK|t         j                  «      s*t        j                  dL|t         j                  «      rdM|z  }|j/                  |j                  «       «       �Œ¿ d?j5                  |«      }"‰*jC                  «       D ]  \  }}|"j                  ||«      }"Œ tE        ‰+«      D ]  \  } }!|"j                  dJ| z  |!«      }"Œ t        j                  dNd|"«      }"t?        j@                  |"«      }"t        j                  dOd=|"«      }"t        j                  dPd?|"«      }"t        j                  dDd|"«      }"tG        «       g }$}#|"j'                  d?«      D ]W  }t        j                  dQdt        j                  dEd|«      «      }|r||#v rŒ6|#jI                  |«       |$j/                  |«       ŒY d?j5                  |$«      j                  «       }"g tG        «       }&}%‰)D ].  \  }'}(|'|&v rŒ|&jI                  |'«       |%j/                  |'|(f«       Œ0 |"||%fS # t        $ r Y �
Œ"w xY w# t        $ r Y �Œ›w xY w# t        $ r Y �Œ™w xY w)RuR   æ­£æ–‡ HTML æ¸…æ´—ï¼šä¿�ç•™ <p>/<table>ï¼Œé™„ä»¶è½¬ <p><a>ç»�å¯¹URL</a></p> æ®µè�½r   r   z
<!--.*?-->)Úflagsz<meta[^>]*>z<script[^>]*>.*?</script>z<style[^>]*>.*?</style>u   ã€�å­—å�·ï¼š[^ã€‘]*ã€‘úhtml.parserÚiframeT)ÚstylerQ   r   zdisplay:nonezvisibility:hiddenÚa)ÚhrefrS   Úappendixzdata-appendixz&\.(pdf|docx?|xlsx?|zip|rar|wps|et|ofd)z/document/downloadz/module/download/ÚoldsrcÚOLDSRCz^(?:javascript:|mailto:|tel:|#)©r#   Ú_titleÚtitleú?õ   é™„ä»¶z__ATTACH__%d__ú	<a href="ú" target="_blank">ú</a>ÚimgÚsrcz(icons?/|fileTypeImages/icon_)ÚpÚaltu   å›¾ç‰‡z__IMG__%d__z<p>z<br/>z</p>z<p><a href="z</a></p>c                 óÀ  •— | j                  d«      }t        j                  d|t        j                  «      r2|j	                  «       j                  d«      rdS | j                  d«      S | j                  d«      }t        j                  dd|«      }t        j                  |«      j                  «       }t        j                  dd|«      j                  «       }|s5t        j                  j                  |j                  d	«      d   «      xs d
}t        j                  j!                  ‰|«      }‰j#                  ||f«       dt%        ‰«      z  }d|›d|›d�‰|<   |S )Nr   z&^(?:javascript:|mailto:|tel:|s?ftp:|#)zjavascript:r   r   r/   ú<[^>]+>u   ^é™„ä»¶[:ï¼š]\s*rZ   r[   z__LINK__%d__r\   r]   r^   )Úgroupr!   ÚmatchÚIÚlowerÚ
startswithr"   r   r   r#   ÚosÚpathÚbasenameÚsplitÚurllibÚparseÚurljoinÚappendÚlen)	ÚmrS   ÚinnerÚtxtÚabs_urlÚkeyÚattachmentsÚlink_protectÚpage_urls	         €€€r%   Ú
_link_replz html_to_text.<locals>._link_repl¾   s  ø€ Ø�w‰w�q‹zˆÜ�8‰8Ð=¸tÄRÇTÁTÔJØŸ™›×0Ñ0°Ô?�2ÐOÀQÇWÁWÈQÃZÐOØ—‘˜“
ˆÜ�f‰f�Z  UÓ+ˆÜ×Ñ Ó$×*Ñ*Ó,ˆÜ�f‰fÐ(¨"¨cÓ2×8Ñ8Ó:ˆÙÜ—'‘'×"Ñ" 4§:¡:¨c£?°1Ñ#5Ó6ÒB¸(ˆCÜ—,‘,×&Ñ& x°Ó6ˆØ×Ñ˜G S˜>Ô*Øœs <Ó0Ñ0‰ÚELÊcÐRˆ�SÑØˆ
r'   z&<a\s[^>]*href="([^"]+)"[^>]*>(.*?)</a>)rQ   ÚclassÚlangÚdirÚalignÚvalignÚwidthÚheightÚborderÚcellpaddingÚcellspacingNÚdivÚtablec                 óf   •— ‰j                  | j                  d«      «       dt        ‰«      dz
  z  S )Nr   ú__TBL__%d__r   )rq   re   rr   )rs   Útable_protects    €r%   Ú	_tbl_replzhtml_to_text.<locals>._tbl_replã   s.   ø€ Ø×Ñ˜QŸW™W Q›ZÔ(Ø¤ MÓ 2°QÑ 6Ñ7Ð7r'   z<table[^>]*>r   z<table(?:(?!<table).)*?</table>z</p>

z	<br\s*/?>ú
z8</?(?:span|font|o:p|st1?:[a-z]+|strong|em|b|i|u)\b[^>]*>z

z(?<=>)\s*[\r\n\t]+\s*z\s*[\r\n\t]+\s*(?=<)úú	z	[ \t]{2,}rd   õ   Â z&nbsp;z[\s\u200b\u200c\u200d\ufeff]+u“   ^[ã€�\[ï¼ˆ(]?\s*(?:è¿”å›žé¡¶éƒ¨|å›žåˆ°é¡¶éƒ¨|è¿”å›žåˆ—è¡¨|æ‰“å�°(?:æœ¬é¡µ)?|å…³é—­(?:çª—å�£)?|åˆ†äº«|æ‰«ä¸€æ‰«|ä¸Šä¸€ç¯‡|ä¸‹ä¸€ç¯‡)\s*[ã€‘\]ï¼‰)]?$r‰   ú<p[ >]ú<a[ >]z	<p>%s</p>z __(?:LINK|TBL|IMG|ATTACH)__\d+__z[ \t]+\nz\n{3,}r   )%r!   r"   ÚSrg   r   Úfind_allÚ	decomposer;   r    rh   rA   r@   Úsearchr#   rf   Úget_textrj   rk   rl   rm   rn   ro   rp   rq   rr   Úreplace_withÚjoinÚattrsÚpopÚfindÚunwrapr   r   ÚitemsÚ	enumerateÚsetÚadd),Úcontentrz   Ú_sÚelÚstÚ_souprR   rS   Ú_hrefÚ_oldsrcÚ	real_hrefru   rv   rw   r_   r`   ra   ÚimgsÚsrcsr{   ÚtagÚattrÚdr‹   Ú	has_tableÚprevÚpartsÚblockÚbÚplainÚkÚvÚiÚtblÚoutÚseenÚfinalÚdedupÚseen_uÚur$   rx   ry   rŠ   s,    `                                       @@@r%   Úhtml_to_textr¾   j   s?
  û€ áØ�1�bˆyÐÜ�f‰f�] B¨´r·t±tÔ<€GÜ�f‰f�^ R¨¼¿¹Ô=€GÜ�f‰fÐ1°2°wÄbÇdÁdÌRÏTÉTÁkÔR€GÜ�f‰fÐ/°°WÄBÇDÁDÌ2Ï4É4ÁKÔP€Gà€KØ€Lä�f‰fÐ.°°GÓ<€Gåð
	Ü˜w¨Ó6ˆBØ—k‘k 8 *Ó-ò �Ø—‘•ðà—k‘k¨�kÓ-ò #�Ø—f‘f˜W“oÒ+¨×4Ñ4°S¸"Ó=×CÑCÓE�Ø! RÑ'Ð+>À"Ò+DØ—L‘L•Nð#ô ˜"“gˆGö ð6	Ü! '¨=Ó9ˆEØ—^‘^ C¨d�^Ó3ó (�Ø˜‘y�Ø—E‘E˜*Ô%¨¯©¨Ô)?ÜŸ9™9Ð%NÐPTÔVX×VZÑVZÔ[Ø/°4Ñ7Ø.°$Ò6à!šZ R×.Ñ.Ó0�EØ Ÿu™u X›ÒG°!·%±%¸³/ÒGÀR×NÑNÓP�GÙ¤R§X¡XÐ.PÐRWÔY[×Y]ÑY]Ô%^Ø$)™	à$+Ò$4¨u˜	ØŸ:™:¨D˜:Ó1ò T°Q·U±U¸8³_ò TÈÏÉÈgËò TÜ Ÿg™g×.Ñ.¨y¯©¸sÓ/CÀAÑ/FÓGòTØKSð ä$Ÿl™l×2Ñ2°8¸YÓG�GØ×&Ñ&¨° ~Ô6Ø*¬S°Ó->Ñ>‘CÚQXÒZ]Ð(^�L Ñ%Ø—N‘N 3Ö'ð'(ð( —~‘~ eÓ,ò $�Ø—w‘w˜u“~Ò@¨¯©°Ó):Ò@¸b�Ü—9‘9Ð>ÀÄRÇTÁTÕJØ—M‘M•Oð$ð —^‘^ CÓ(ó ,�Ø—z‘z %Ó(�Ú §
¡
° 
Õ 6Ø�DØ#ò \˜Ø!Ÿg™g e›nÒG°·±¸Ó0AÒGÀR˜Ù"Ø$Ü"(§,¡,×"6Ñ"6°xÀÓ"E˜Ø"Ÿw™w u›~ÒG°·±¸Ó1AÒGÀR×NÑNÓPò OÜ!Ÿw™w×/Ñ/°·	±	¸#³¸qÑ0AÓBòOØFNð àŸšÊWÒVYÐ$ZÕ[ð\ó Ø+¬c°,Ó.?Ñ?˜Ø,1°G·L±LÀÓ4FÑ,FÈÑ,O˜ SÑ)ØŸ™ sÖ+ð,ð  —~‘~ eÓ,ò 	&�Ø—g‘g˜e“nÒ?¨¯©°Ó(9Ò?¸R�ÙØÜ Ÿ,™,×.Ñ.¨x¸Ó=�Ø—w‘w˜u“~Ò?¨¯©°Ó)9Ò?¸R×FÑFÓHò GÜ—w‘w×'Ñ'¨¯	©	°#«°qÑ(9Ó:òGØ>Fð à#¤c¨,Ó&7Ñ7‘ÚT[Ò]`Ð$a�˜SÑ!Ø× Ñ  Õ%ð	&ô ˜%“jˆGöô �f‰fÐ>À
Ø¤B§D¡D¬2¯4©4¡Kô1€Gõ ð	Ü! '¨=Ó9ˆEØ—~‘~ dÓ+ò .�ðOò .�Dà—I‘I—M‘M $¨Õ-ñ.ð.ð —^‘^ EÓ*ò �Ø—z‘z¨�zÔ-°a·f±f¸W´oØ !§¡ u¤°a·f±f¸S´kØ—K‘K•Mà—H‘H•Jðô ˜%“jˆGð €Mô8ô —Y‘Y˜°¼¿¹Ô>‘ÀA€IØ€DØ
�'Š/ØˆÜ—&‘&Ð;¸YØ ¬¯©¬r¯t©t©ô5ˆð �'‹/ô
 �f‰f�W˜j¨'¼¿¹Ô>€GÜ�f‰f�\ 4¨¼¿¹Ô=€GÜ�f‰fÐPÐRTØ¤B§D¡Dô*€Gð €EØ—‘˜vÓ&ó  ˆØ�K‰K‹MˆÙØÜ�F‰FÐ+¨R°Ó3ˆÜ�F‰FÐ*¨B°Ó2ˆØ�I‰I�d˜BÓ×'Ñ'¨¨cÓ2ˆÜ�F‰F�<  aÓ(ˆÜ—‘�z 2 qÓ)ˆÜ×!Ñ! %Ó(ˆØ—‘˜f cÓ*×2Ñ2°8¸SÓAˆÜ—‘Ð7¸¸UÓCˆÙØä�8‰8ð  kð  mrô  sØØ ×&Ñ&Ó(ò 	 ‰DˆAˆqØ—	‘	˜!˜Q“‰Að	 ä Ó.ò 	2‰FˆAˆsØ—	‘	˜-¨!Ñ+¨SÓ1‰Að	2ä�y‰y˜ A¤r§t¡tÔ,´·±¸9ÀaÌÏÉÔ1NØ˜a‘ˆAØ�‰�Q—W‘W“YÖð/ ð2 �+‰+�eÓ
€CØ×"Ñ"Ó$ò  ‰ˆˆ1Ø�k‰k˜!˜QÓ‰ð ä˜MÓ*ò 2‰ˆˆ3Ø�k‰k˜-¨!Ñ+¨SÓ1‰ð2ô �&‰&Ð4°b¸#Ó
>€CÜ
×
Ñ
˜CÓ
 €CÜ
�&‰&�˜d CÓ
(€CÜ
�&‰&�˜F CÓ
(€CÜ
�&‰&�˜s CÓ
(€Cä“%˜ˆ%€DØ�Y‰Y�vÓò ˆÜ�f‰f�V˜R¤§¡¨
°B¸Ó!:Ó;ˆÙ�c˜T‘kØØ�‰�ŒØ�‰�Q�ðð �+‰+�eÓ
×
"Ñ
"Ó
$€Càœ›ˆ6€EØò ‰ˆˆ1Ø�‰;ØØ�
‰
�1ŒØ�‰�a˜�VÕð	ð �	˜5Ð Ð øôO ò 	Úð	ûôr ò 	Úð	ûôF ò 	Úð	ús`   Ã,Bn# Å0n# ÆA7n3 ÈF+n3 Î9:n3 Ï4n3 ÐCn3 Ó$E n3 Ù*Co î#	n0î/n0î3	o î?o ï	oïoc                 ó|  — dd l }dd l}|j                  |j                  j                  «       t        t        «      }t        j                  | t        dœ«      |d<   |j                  t        |t        dd¬«      }t        |_        |j                  «       }|j                  d«      xs i j                  dd	«      xs d	S )
Nr   )ÚpageNoÚpageSizeÚ	paramJsoné   F)Úparamsr*   r+   r,   ÚdataÚhtmlr   )r6   r7   r8   r9   r:   r3   Ú
API_PARAMSÚjsonÚdumpsÚ	PAGE_SIZEr;   ÚAPI_URLr4   r=   r>   )Úpager6   r7   rÄ   rJ   Újss         r%   Ú
fetch_listrÎ   ,  s‘   € ßØ×Ñ˜W×/Ñ/×FÑFÔGÜ”*Ó€FÜŸ*™*°Ä)Ñ%LÓM€Fˆ;ÑØ�‰”W V´WÀbÐQVˆÓW€AÜ€A„JØ	
�‰‹€BØ�F‰F�6‹NÒ ˜b×%Ñ% f¨bÓ1Ò7°RÐ7r'   c                 ó®  — g }d}t        j                  d| «      }|rt        |j                  d«      «      }t        j                  d| t         j
                  «      }|D �]ñ  }t        j                  d|«      }d}|rQt        j                  d|j                  d«      «      \  }}	}
|›d|	j                  d«      ›d|
j                  d«      ›�}t        j                  d	|t         j
                  t         j                  z  «      D �]I  }t        j                  |j                  d«      «      j                  «       }|j                  d«      }t        j                  d
|«      }|rt        |j                  d«      «      nd}|s/t        t        j                  dd|j                  d«      «      «      }|rt        |«      dk  rŒ½t        j                  d|t         j                  «      sŒã|j!                  d«      r
t"        |z   }n8|j!                  d«      s't$        j&                  j)                  t"        dz   |«      }|j+                  |||f«       �ŒL �Œô ||fS )Nr   zcount="(\d+)"r   z<li>(.*?)</li>z/<span[^>]*>\s*(\d{4}-\d{1,2}-\d{1,2})\s*</span>r   ú-r/   z$<a[^>]*href="([^"]+)"[^>]*>(.*?)</a>ztitle="([^"]*)"rd   z/art/\d{4}/art_[0-9a-f]+\.htmlú/Úhttp)r!   r•   Úintre   Úfindallr’   rm   ÚzfillÚfinditerrg   r   r   r#   r&   r"   rr   ri   ÚBASE_URLrn   ro   rp   rq   )Ú	html_textr�   Útotalrs   ÚblocksÚfragÚdmr­   ÚyÚmoÚddÚlmrS   r«   Útmru   s                   r%   Ú
parse_listrâ   7  sÎ  € Ø€EØ€EÜ
�	‰	Ð" IÓ.€AÙÜ�A—G‘G˜A“J“ˆÜ�Z‰ZÐ)¨9´b·d±dÓ;€FØó )ˆÜ�Y‰YÐIÈ4ÓPˆØˆÙÜŸ™  r§x¡x°£{Ó3‰IˆAˆr�2Ú §¡¨!¥¨b¯h©h°q¬kÐ:ˆAÜ—+‘+ÐEÀtÌRÏTÉTÔTV×TXÑTXÉ[ÓYó 	)ˆBÜ×$Ñ$ R§X¡X¨a£[Ó1×7Ñ7Ó9ˆDØ—(‘(˜1“+ˆCÜ—‘Ð-¨sÓ3ˆBÙ.0”+˜bŸh™h q›kÔ*°bˆCÙÜ!¤"§&¡&¨°R¸¿¹À!»Ó"EÓF�Ùœ#˜c›( Qš,ØÜ—9‘9Ð>ÀÄbÇdÁdÔKØØ�‰˜sÔ#Ü $‘‘Ø—_‘_ VÔ,Ü—|‘|×+Ñ+¬H°s©N¸DÓA�Ø�L‰L˜$  Q˜Ö(ò	)ð)ð, �%ˆ<Ðr'   c                 óF  — dx}x}}d }t         �rO	 t        | d«      }|j                  ddt        j                  dt        j                  «      i¬«      }|r|j                  d«      rt        |d   «      }|j                  ddt        j                  dt        j                  «      i¬«      }|r�|j                  d«      rpt        j                  d	|d   «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}|s.|j                  d«      }	|	rt        |	j                  d¬«      «      }|st        j                  d| t        j                  t        j                  z  «      }
|
rGt        j                  dt        |
j                  d
«      «      «      D �cg c]  }|sŒ|‘Œ	 }}|r|d   nd}|r6|j                  d¬«      }|r"dj                  d„ |j                  D «       «      }|smt        j                  d| «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}|||fS # t        $ r d }Y �Œ;w xY wc c}w )Nr   rO   ÚmetaÚnameÚArticleTitle)r™   r¡   ÚPubDatez(\d{4})-(\d{1,2})-(\d{1,2})r   rÐ   r/   r)   Úh1TrW   z<title>(.*?)</title>r   éÿÿÿÿÚzoom)Úidc              3   ó2   K  — | ]  }t        |«      –— Œ y ­w)N)rA   )Ú.0Úcs     r%   ú	<genexpr>zparse_detail.<locals>.<genexpr>t  s   è ø€ Ò"?¨a¤3 q§6Ñ"?ùs   ‚u'   (\d{4})[-å¹´/](\d{1,2})[-æœˆ/](\d{1,2}))r   r›   r!   Úcompilerg   r;   r&   r•   re   rÕ   r–   r@   r’   rm   r˜   Úcontents)rØ   rz   rY   ÚdateÚcontent_htmlÚsoupÚmtÚmdrÜ   rè   rs   ra   r°   r£   s                 r%   Úparse_detailr÷   W  s%  € Ø"$Ð$€EÐ$ˆD�<Ø€DÞð	Ü  ¨MÓ:ˆDØ—‘˜6¨&´"·*±*¸_ÌbÏdÉdÓ2SÐ)T�ÓUˆBÙ�b—f‘f˜YÔ'Ü# B y¡MÓ2�Ø—‘˜6¨&´"·*±*¸ZÌÏÉÓ2NÐ)O�ÓPˆBÙ�b—f‘f˜YÔ'Ü—Y‘YÐ=¸rÀ)¹}ÓM�ÙØ)+¯©°!­°b·h±h¸q³k×6GÑ6GÈÕ6JÈBÏHÉHÐUVËK×L]ÑL]Ð^_ÔL`Ða�DÙØ—Y‘Y˜t“_�ÙÜ'¨¯©¸$¨Ó(?Ó@�Eñ Ü�I‰IÐ-¨y¼"¿$¹$ÄÇÁ¹+ÓFˆÙÜ "§¡¨´¸Q¿W¹WÀQ»ZÓ1HÓ IÖO˜1ÊQ’QÐOˆEÐOÙ!&�E˜"’I¨BˆEáØ�Y‰Y˜&ˆYÓ!ˆÙØŸ7™7Ñ"?°2·;±;Ô"?Ó?ˆLáÜ�Y‰YÐAÀ9ÓMˆÙØ!#§¡¨!¥¨b¯h©h°q«k×.?Ñ.?ÀÕ.BÀBÇHÁHÈQÃK×DUÑDUÐVWÔDXÐYˆDØ�$˜Ð$Ð$øô# ò 	Ø‹Dð	üò
 Ps   ‘EJ Ç	JÇJÊJÊJc                  ó®  — t         j                  j                  dt        j                  j	                  t        j                  j                  t        «      «      «       ddlm}  t        dt        t        t        t        fz  d¬«       dx}x}}t        «       }g }g }d}t        dt        dz   «      D �];  }	 t!        |«      }	t%        |	«      \  }}|r|s|}|st        d|z  d¬«        �nt        d	|t'        |«      |fz  d¬«       |D �]´  \  }}}||v rŒ|j)                  |«       |r|t        k  r|dz  }Œ/t+        |d
¬«      }|s|dz  }ŒDt-        ||«      \  }}}|s|}|s|}t/        ||«      \  }}}t'        t1        j2                  dd|«      j5                  «       «      }t1        j6                  d|t0        j8                  «       xr+ t1        j6                  d|t0        j8                  «       xr | }|dk  s|rt        d|d d z  d¬«       |dz  }�Œt        ||||d|t:        dt<        |r-t?        j@                  |D ��cg c]
  \  }}||dœ‘Œ c}}d¬«      nddœ}tB        r|jE                  |«       n|jE                  |«       |dz  }t        d|d d |||rdndfz  d¬«       tG        jH                  d«       �Œ· tB        s|r | |t        ¬«       g }tG        jH                  d«       �Œ> tB        rltK        tB        dd¬«      5 }|D ]+  }|jM                  t?        j@                  |d¬«      d z   «       Œ- 	 d d d «       t        d!tB        t'        |«      fz  d¬«       n|r | |t        ¬«       t        d"||||fz  d¬«       t        d#t        z  d¬«       y # t"        $ r}
t        d||
fz  d¬«       Y d }
~
 ŒÌd }
~
ww xY wc c}}w # 1 sw Y   Œ‘xY w)$Nr   )Úpush_to_searchdbz"=== %s (%s) pages=%d cutoff=%s ===Tr1   r   zPage %d fetch error: %szPage %d: empty, stopz"Page %d: found %d items (count=%d)z)text/html,application/xhtml+xml,*/*;q=0.8)rF   rd   r   r�   r‘   r   z  skip empty/placeholder: %sé(   )rY   rE   F)Úensure_ascii)Ú	site_nameÚ
source_urlrE   rY   Úpub_dateÚsummaryr¡   ÚcategoryÚtagsÚ
group_namerx   u     + %s (%s, %då­—%s)é&   u   , è¡¨æ ¼gš™™™™™É?)Úbatch_labelg333333Ó?Úwr   )r>   rŒ   zJSONL written: %s (%d rows)u=   æ–°å¢ž: %d | è·³è¿‡: %d | CUTOFFæˆªæ–­: %d | åˆ—è¡¨æ€»æ•°: %dz=== %s done ===)'Úsysrk   Úinsertrj   ÚdirnameÚabspathÚ__file__Úcrawler_librù   rD   Ú	SITE_NAMEÚSCRIPT_NAMEÚ_PAGESÚCUTOFFrŸ   r5   rÎ   r@   râ   rr   r    rL   r÷   r¾   r!   r"   r#   r•   rg   ÚCATEGORYÚ
GROUP_NAMErÈ   rÉ   r   rq   rB   rC   ÚopenÚwrite)rù   Ú	new_countÚ
skip_countÚcutoff_countÚ	seen_urlsÚ
jsonl_rowsÚbatchÚ
list_totalrÌ   rØ   rK   r�   rÙ   rv   rY   rò   ÚdhtmlÚdtitleÚddateró   r¡   r®   ÚattsÚ	plain_lenÚno_parar½   r$   ÚitemÚfÚrows                                 r%   Úmainr$  }  sÂ  € Ü‡H�H‡O�O�A”r—w‘w—‘¤r§w¡w§¡´xÓ'@ÓAÔBÝ,ä	Ð
.´)¼[Ì&ÔRXÐ1YÑ
YØõð -.Ð-€IÐ-�
˜\Ü“€IØ€JØ€EØ€Jä�aœ !™Ó$ó 9ˆð	Ü" 4Ó(ˆIô " )Ó,‰ˆˆuÙ™ØˆJÙÜÐ(¨4Ñ/°tÕ<ÚÜÐ2°d¼CÀ»JÈÐ5NÑNÐVZÕ[à$)ó '	Ñ ˆG�U˜DØ˜)Ñ#ØØ�M‰M˜'Ô"Ù˜œvšØ Ñ!�ØÜ˜'Ð*UÔVˆEÙØ˜a‘�
ØÜ*6°u¸gÓ*FÑ'ˆF�E˜<ÙØ�ÙØ�Ü'3°LÀ'Ó'JÑ$ˆG�Y ÜœBŸF™F :¨r°7Ó;×AÑAÓCÓDˆIÜŸ9™9 Y°¼¿¹Ó>Ð>ò UÜ!Ÿy™y¨°G¼R¿T¹TÓBÐBòUØKTÀ}ð à˜1Š}¡ÜÐ4°v¸c¸r°{ÑBÈ$ÕOØ˜a‘�
Ùä&°gÀgØ¨U¸rØ"´À"Ü(áVZô  $Ÿz™zØ8<×=±°°1˜q¨Ó+Ó=ÈEõ SØ`bñˆDõ Ø×!Ñ! $Õ'à—‘˜TÔ"Ø˜‰NˆIÜÐ(¨F°3°B¨K¸À	Ù9B©:Èð,Lñ LØSWõYä�J‰J�sŽOðO'	õP ™eÙ˜U´Õ<ØˆEÜ�
‰
�3Žðs9õv Ü”*˜c¨GÔ4ð 	D¸Ø!ò D�Ø—‘œŸ
™
 3°UÔ;¸dÑBÕCñD÷	Dô 	Ð+¬z¼3¸z»?Ð.KÑKÐSWÖXáÙ˜U´Õ<ä	Ð
IØ�j ,°
Ð
;ñ<ØCGõIä	Ð
œiÑ
'¨tÖ4øôG ò 	ÜÐ+¨t°Q¨iÑ7¸tÕDÝûð	üóR >÷ 	Dð 	Dús*   Â7NÉO"Ì	1OÎ	OÎ%N=Î=OÏOÚ__main__)rÃ   N)3Ú__doc__r  rj   r!   rB   rÈ   rÆ   r   Úurllib.parsern   r   r   Úbs4r   ÚImportErrorÚenvironr;   r   r=   r  r  r  r  r×   ÚLIST_URLrË   rÇ   rÊ   ÚnowÚstrftimer  r4   Ú
_MAX_PAGESrž   Úargvr¶   rR   ri   rÓ   rm   Ú
ValueErrorrr   r  r&   rL   r¾   rÎ   râ   r÷   r$  Ú__name__© r'   r%   ú<module>r3     sÇ  ðñ÷$ ?× >× >Ó >ß (ðÝ!ð �Z‰Z�^‰^˜L¨"Ó-€
Ø€à$€	Ø€
Ø%€Ø€Ø'€ØD€Ø
]€àØØØØ-Ø'ñ€
ð €	à
ˆ(�,‰,‹.™9¨'Ô2Ñ
2×	<Ñ	<¸ZÓ	H€ðCà>Ø'Øñ€ð €
Ù�c—h‘hÓò 
�D€A€qØ‡|�|�JÔð	Ù˜QŸW™W S¨!›_¨QÑ/Ó0‰Jð 
ˆi‹˜A ™E¡C¨¯©£MÓ1ð	Ù˜SŸX™X a¨!¡e™_Ó-‰Jð
ð " Q’‰¨A€òóò*!òD8òò@#%òLS5ðl ˆzÒÙ…Fð øðs ò ØƒMðûðL ò 	Ùð	ûð
 ò 	Ùð	ús5   ¨E ÃEÃ>EÅEÅEÅEÅEÅE&Å%E&