Ë
    O¶µjŒR  ã                   óÆ  — d Z ddlZddlZddlZddlZddlZddlZddlZ	ddl
m
Z
mZ 	 ddlmZ ej                  j!                  dd«      ZdZdZd	Zd
ZdZdZdZdZ e
j4                  «        ed¬«      z
  j7                  d«      ZddddœZdZ eej@                  «      D ]k  \  Z!Z"e"jG                  d«      r	  e$e"jK                  dd«      d   «      ZŒ4e"dk(  sŒ:e!dz    e'ej@                  «      k  sŒS	  e$ej@                  e!dz      «      ZŒm edk\  rendZ(d„ Z)d%d„Z*d„ Z+d„ Z,d„ Z-d „ Z.d!„ Z/d"„ Z0d#„ Z1e2d$k(  r e1«        yy# e$ r dZY �Œw xY w# e&$ r Y Œ¶w xY w# e&$ r Y ŒÁw xY w)&u  
crawl_danzhai_hjzf.py - ä¸¹å¯¨åŽ¿äººæ°‘æ”¿åºœé—¨æˆ·ç½‘ çŽ¯å¢ƒæ‰§æ³•ç›‘ç®¡

åˆ—è¡¨: https://www.qdndz.gov.cn/zwgk/zdlygk/sthj/hjzfjg/
CMS: TRS / createPageHTML é�™æ€�åˆ†é¡µ
  åˆ†é¡µ: createPageHTML(19, 0, "index", "html", 275) â†’ 19 é¡µ / 275 æ�¡ / 15 æ�¡æ¯�é¡µ
        ç¬¬ 1 é¡µ = ç›®å½•æœ¬èº«(index.html)ï¼Œç¬¬ N é¡µ = index_{N-1}.html
        âš ï¸� å®žæµ‹ index_18.html æ˜¯æœ«é¡µ(5 æ�¡)ã€�index_19.html 404ã€�.shtml å…¨ 404
  æ�¡ç›®: <ul class="NewsList"><li>
          <a TARGET="_blank" title="å®Œæ•´æ ‡é¢˜" href="https://â€¦/202609/t20260922_90929865.html">æ ‡é¢˜</a>
          <span>2026-09-22 16:21</span></li>
        âš ï¸� title åœ¨ href **ä¹‹å‰�**ï¼›æ—¥æœŸåœ¨ <span>ï¼ˆé�ž <b>ï¼‰ï¼›å�«æ—¶åˆ†ï¼Œå�ªå�–æ—¥æœŸ
        âš ï¸� åˆ—è¡¨é¡µæ··å…¥ä¾§æ �/æ�œç´¢å¯¼èˆª(../../../ , /so/search.shtml) â†’ æŒ‰ COL_PATH è¿‡æ»¤
  è¯¦æƒ…: meta ArticleTitle / PubDate / ColumnName / ContentSource
        æ­£æ–‡: div.Article_Con > font#Zoom > div.trs_editor_view.TRS_UEDITOR
        ï¼ˆdiv.Article_Con é‡Œ #Zoom ä¹‹å‰�è¿˜æœ‰ä¸ªç©ºçš„ div#sp è§†é¢‘å� ä½� â†’ å�– #Zoom å†…å®¹å¤©ç„¶é�¿å¼€ï¼‰
  å™ªå£°: div.ArchiveGdPart æ˜¯ JS ç”Ÿæˆ�çš„ã€Œå·²å½’æ¡£ã€�çº¢ç« æ°´å�°ï¼ˆä¸�åœ¨æ­£æ–‡é‡Œï¼Œæ— éœ€å¤„ç�†ï¼‰
        div.ArticleProperties æ˜¯å…ƒæ•°æ�®å�—ï¼ˆæ—¶é—´/æ�¥æº�/ä½œè€…/fwtjsï¼‰â†’ ä¸�åœ¨ #Zoom å†…
é    N)ÚdatetimeÚ	timedelta)ÚBeautifulSoupÚ
JSONL_PATHÚ úutf-8u.   å®¾é˜³åŽ¿-å»ºè®¾é¡¹ç›®çŽ¯å¢ƒå½±å“�è¯„ä»·å®¡æ‰¹u   å¹¿è¥¿zcrawl_binyang_hjsp.pyu$   å»ºè®¾é¡¹ç›®çŽ¯å¢ƒå½±å“�è¯„ä»·å®¡æ‰¹zhttp://www.binyang.gov.cnzEhttp://www.binyang.gov.cn/gk/xxgkml/shgysyjslygk/hjbhly/jsxmhjyxpjsp/z/jsxmhjyxpjsp/iG  )Údaysz%Y-%m-%dzkMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Languageé   z--pages=ú=é   z--pagesc                 óŽ  — | syt        j                  | «      } | j                  dd«      j                  dd«      j                  dd«      j                  dd«      } t        j                  dd| «      } t        j                  dd| «      } t        j                  dd| «      } t        j                  d	d
| «      } | j                  «       S )Nr   u   â€‹u   â€Œu   â€�u   ï»¿u3   ^\s*(?:&middot;|Â·|\u00b7)?\s*(?:&nbsp;|\u00a0)?\s*u   ^[â€¢Â·]\s*ú<[^>]+>ú\s+ú )Úhtml_libÚunescapeÚreplaceÚreÚsubÚstrip)Úts    ú'/root/gov_crawler/crawl_binyang_hjsp.pyÚclean_titler   A   s¦   € ÙØÜ×Ñ˜!Ó€AØ	�	‰	�(˜BÓ×'Ñ'¨°"Ó5×=Ñ=¸hÈÓK×SÑSÐT\Ð^`Óa€AÜ
�‰ÐEÀrÈ1ÓM€AÜ
�‰ˆ~˜r 1Ó%€AÜ
�‰ˆz˜2˜qÓ!€AÜ
�‰ˆv�s˜AÓ€AØ�7‰7‹9Ðó    c                 óØ  — t        t        «      }d }t        d«      D ]‘  }	 dd l}dd l}|j                  |j                  j                  «       |j                  | ||d¬«      }|j                  dk(  rt        |_        |j                  c S d|j                  z  }t        j                   d«       Œ“ t#        d	| d d
 ›d|›�d¬«       y # t        $ r}t        |«      d d }Y d }~ŒJd }~ww xY w)Né   r   F)ÚheadersÚtimeoutÚverifyéÈ   zHTTP %séP   é   z  [fetch fail] éZ   z -> T©Úflush)ÚdictÚHEADERSÚrangeÚrequestsÚurllib3Údisable_warningsÚ
exceptionsÚInsecureRequestWarningÚgetÚstatus_codeÚENCÚencodingÚtextÚ	ExceptionÚstrÚtimeÚsleepÚprint)	Úurlr   ÚhÚlast_errÚattemptr*   r+   ÚrÚes	            r   Úfetchr?   N   sÍ   € ÜŒW‹€AØ€HÜ˜“8ò ˆð		#ß$Ø×$Ñ$ W×%7Ñ%7×%NÑ%NÔOØ—‘˜S¨!°WÀU�ÓKˆAØ�}‰} Ò#Ü �”
Ø—v‘v’Ø  1§=¡=Ñ0ˆHô 	�
‰
�1�ðõ 
 s¨3¨B¢x±Ð
:À$ÕGØøô	 ò 	#Ü˜1“v˜c˜r�{�Hûð	#ús   ¡A'CÂCÃ	C)ÃC$Ã$C)c           
      ó  ‡‡'‡(‡)— | sddg fS t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } t        j                  dd| t         j                  t         j                  z  ¬«      } g Š'i Š(t        j                  dd| «      } t        �rŒ	 t	        | d	«      }|j                  d
d¬«      D �]›  }|d   }|j                  d«      s;|j                  d«      s*t        j                  d|t         j                  «      sd|v sŒU|xs dj                  «       }|j                  d«      xs |j                  d«      xs dj                  «       }|r(t        j                  d|t         j                  «      s|}n|xs |}|j                  d¬«      xs[ |j                  d«      xsH |j                  d«      xs5 t        j                  j                  |j                  d«      d   «      xs d}t        j                   j#                  ‰|«      }	‰'j%                  |	|f«       dt'        ‰(«      z  }
d|	›d|›d�‰(|
<   |j)                  |
«       �Œž |j                  d«      D ]`  }|j                  d«      xs |j                  d«      xs d}t        j                  d |t         j                  «      sŒQ|j+                  «        Œb |j                  d!«      D �]@  }|j                  d«      }|sŒ|j                  d¬«      rŒ+g }|D ]Ò  }|j                  d«      xs |j                  d«      xs d}|sŒ.t        j                   j#                  ‰|«      }	|j                  d"«      xs |j                  d«      xs dj                  «       xs5 t        j                  j                  |j                  d«      d   «      xs d#}|j%                  d|	›d|›d�«       ŒÔ |s�Œd$t'        ‰(«      z  }
d%d&j-                  |«      z   d'z   ‰(|
<   |j)                  |
«       �ŒC |j                  d«      D ]å  }|j                  d«      xs |j                  d«      xs d}|sŒ.t        j                   j#                  ‰|«      }	|j                  d"«      xs |j                  d«      xs dj                  «       xs5 t        j                  j                  |j                  d«      d   «      xs d#}d$t'        ‰(«      z  }
d(|	›d|›d)�‰(|
<   |j)                  |
«       Œç t/        |«      } ˆ'ˆ(ˆfd*„}t        j                  d+|| t         j                  t         j                  z  ¬«      } t        �r<	 t	        | d	«      }|j                  d«      D ]%  }d,D ]  }|j2                  j5                  |d-«       Œ  Œ' |j                  d.«      D ]×  }|j7                  d.«      €^|j7                  d/«      €M|j                  d¬«      s3|j7                  d«      s"|j7                  d
«      s|j+                  «        Œjd!|_        Œr|j                  d¬«      sD|j7                  d/«      s3|j7                  d«      s"|j7                  d
«      s|j+                  «        ŒÈ|j;                  «        ŒÙ t/        |«      } g Š)ˆ)fd0„}t        j                  d1| t         j                  «      rd2nd}d-}|| k7  r@| }t        j                  d3|| t         j                  t         j                  z  ¬«      } || k7  rŒ@t        j                  d'd4| t         j                  ¬«      } t        j                  d5d6| t         j                  ¬«      } t        j                  d7d| t         j                  ¬«      } g }| j                  d8«      D �]¼  }|j                  «       }|sŒt        j                  d9d|«      }t        j                  d:d|«      }|j=                  d;d«      j=                  d<d=«      }t        j                  d>d=|«      }t        j                  d?d|«      }t?        j@                  |«      }|j=                  d@d=«      j=                  dAd=«      }t        j                  dBd|«      }|sŒæt        j                  dC|«      rŒý‰(jC                  «       D ]  \  }}|j=                  ||«      }Œ tE        ‰)«      D ]  \  }}|j=                  dD|z  |«      }Œ t        j                  dE|t         j                  «      s*t        j                  dF|t         j                  «      sdG|z  }|j%                  |j                  «       «       �Œ¿ d8j-                  |«      }‰(jC                  «       D ]  \  }}|j=                  ||«      }Œ tE        ‰)«      D ]  \  }}|j=                  dD|z  |«      }Œ t        j                  dHd|«      }t?        j@                  |«      }t        j                  dId6|«      }t        j                  dJd8|«      }t        j                  d>d=|«      }tG        dK«      D ]P  } t        j                  dLd%|t         j                  ¬«      }t        j                  dMd'|t         j                  ¬«      }ŒR t        j                  dNd|t         j                  ¬«      }tI        «       g }"}!|j                  d8«      D ]W  }t        j                  dOdt        j                  d?d|«      «      }
|
r|
|!v rŒ6|!jK                  |
«       |"j%                  |«       ŒY d8j-                  |"«      j                  «       }g tI        «       }$}#‰'D ].  \  }%}&|%|$v rŒ|$jK                  |%«       |#j%                  |%|&f«       Œ0 |||#fS # t0        $ r Y �Œ€w xY w# t0        $ r Y �Œw xY w)PuR   æ­£æ–‡ HTML æ¸…æ´—ï¼šä¿�ç•™ <p>/<table>ï¼Œé™„ä»¶è½¬ <p><a>ç»�å¯¹URL</a></p> æ®µè�½r   r   z
<!--.*?-->)Úflagsz<meta[^>]*>z<script[^>]*>.*?</script>z<style[^>]*>.*?</style>u   ã€�å­—å�·ï¼š[^ã€‘]*ã€‘úhtml.parserÚaT©ÚhrefrE   Úappendixzdata-appendixz&\.(pdf|docx?|xlsx?|zip|rar|wps|et|ofd)z/module/download/ÚoldsrcÚOLDSRCú^(?:javascript:|mailto:|tel:|#)©r   Ú_titleÚtitleú?õ   é™„ä»¶z__ATTACH__%d__ú	<a href="ú" target="_blank">ú</a>ÚimgÚsrcz(icons?/|fileTypeImages/icon_)ÚpÚaltu   å›¾ç‰‡z__IMG__%d__z<p>z<br/>z</p>z<p><a href="ú</a></p>c                 óÀ  •— | j                  d«      }t        j                  d|t        j                  «      r2|j	                  «       j                  d«      rdS | j                  d«      S | j                  d«      }t        j                  dd|«      }t        j                  |«      j                  «       }t        j                  dd|«      j                  «       }|s5t        j                  j                  |j                  d	«      d   «      xs d
}t        j                  j!                  ‰|«      }‰j#                  ||f«       dt%        ‰«      z  }d|›d|›d�‰|<   |S )Nr   z&^(?:javascript:|mailto:|tel:|s?ftp:|#)zjavascript:r   r   r#   r   u   ^é™„ä»¶[:ï¼š]\s*rM   rN   z__LINK__%d__rO   rP   rQ   )Úgroupr   ÚmatchÚIÚlowerÚ
startswithr   r   r   r   ÚosÚpathÚbasenameÚsplitÚurllibÚparseÚurljoinÚappendÚlen)	ÚmrE   ÚinnerÚtxtÚabs_urlÚkeyÚattachmentsÚlink_protectÚpage_urls	         €€€r   Ú
_link_replz html_to_text.<locals>._link_repl©   s  ø€ Ø�w‰w�q‹zˆÜ�8‰8Ð=¸tÄRÇTÁTÔJØŸ™›×0Ñ0°Ô?�2ÐOÀQÇWÁWÈQÃZÐOØ—‘˜“
ˆÜ�f‰f�Z  UÓ+ˆÜ×Ñ Ó$×*Ñ*Ó,ˆÜ�f‰fÐ(¨"¨cÓ2×8Ñ8Ó:ˆÙÜ—'‘'×"Ñ" 4§:¡:¨c£?°1Ñ#5Ó6ÒB¸(ˆCÜ—,‘,×&Ñ& x°Ó6ˆØ×Ñ˜G S˜>Ô*Øœs <Ó0Ñ0‰ÚELÊcÐRˆ�SÑØˆ
r   z&<a\s[^>]*href="([^"]+)"[^>]*>(.*?)</a>)ÚstyleÚclassÚlangÚdirÚalignÚvalignÚwidthÚheightÚborderÚcellpaddingÚcellspacingNÚdivÚtablec                 óf   •— ‰j                  | j                  d«      «       dt        ‰«      dz
  z  S )Nr   ú__TBL__%d__r   )rd   rX   re   )rf   Útable_protects    €r   Ú	_tbl_replzhtml_to_text.<locals>._tbl_replÕ   s.   ø€ Ø×Ñ˜QŸW™W Q›ZÔ(Ø¤ MÓ 2°QÑ 6Ñ7Ð7r   z<table[^>]*>r   z<table(?:(?!<table).)*?</table>z</p>

z	<br\s*/?>ú
z8</?(?:span|font|o:p|st1?:[a-z]+|strong|em|b|i|u)\b[^>]*>z

z(?<=>)\s*[\r\n\t]+\s*z\s*[\r\n\t]+\s*(?=<)úú	r   z	[ \t]{2,}r   õ   Â z&nbsp;z[\s\u200b\u200c\u200d\ufeff]+u“   ^[ã€�\[ï¼ˆ(]?\s*(?:è¿”å›žé¡¶éƒ¨|å›žåˆ°é¡¶éƒ¨|è¿”å›žåˆ—è¡¨|æ‰“å�°(?:æœ¬é¡µ)?|å…³é—­(?:çª—å�£)?|åˆ†äº«|æ‰«ä¸€æ‰«|ä¸Šä¸€ç¯‡|ä¸‹ä¸€ç¯‡)\s*[ã€‘\]ï¼‰)]?$r}   ú<p[ >]z<(?:table|ul|ol|h[1-6])\bz	<p>%s</p>z __(?:LINK|TBL|IMG|ATTACH)__\d+__z[ \t]+\nz\n{3,}r   z<p\b[^>]*>\s*<p\b[^>]*>z</p\s*>\s*</p\s*>z<p\b[^>]*>\s*</p\s*>r   )&r   r   ÚSrZ   r   Úfind_allr/   Úsearchr   rY   Úget_textr]   r^   r_   r`   ra   rb   rc   rd   re   Úreplace_withÚ	decomposeÚjoinr5   r4   ÚattrsÚpopÚfindÚnameÚunwrapr   r   r   ÚitemsÚ	enumerater)   ÚsetÚadd)*Úcontentrm   Ú_souprC   rE   Ú_hrefÚ_oldsrcÚ	real_hrefrh   ri   rj   rR   rS   rT   ÚimgsÚsrcsrn   ÚtagÚattrÚdr   Ú	has_tableÚprevÚpartsÚblockÚbÚplainÚkÚvÚiÚtblÚoutÚ_ÚseenÚfinalÚdedupÚseen_uÚur   rk   rl   r~   s*    `                                     @@@r   Úhtml_to_textr°   b   s@
  û€ áØ�1�bˆyÐÜ�f‰f�] B¨´r·t±tÔ<€GÜ�f‰f�^ R¨¼¿¹Ô=€GÜ�f‰fÐ1°2°wÄbÇdÁdÌRÏTÉTÁkÔR€GÜ�f‰fÐ/°°WÄBÇDÁDÌ2Ï4É4ÁKÔP€Gà€KØ€Lä�f‰fÐ.°°GÓ<€Gæð5	Ü! '¨=Ó9ˆEØ—^‘^ C¨d�^Ó3ó (�Ø˜‘y�Ø—E‘E˜*Ô%¨¯©¨Ô)?ÜŸ9™9Ð%NÐPTÔVX×VZÑVZÔ[Ø.°$Ò6à!šZ R×.Ñ.Ó0�EØ Ÿu™u X›ÒG°!·%±%¸³/ÒGÀR×NÑNÓP�GÙ¤R§X¡XÐ.PÐRWÔY[×Y]ÑY]Ô%^Ø$)™	à$+Ò$4¨u˜	ØŸ:™:¨D˜:Ó1ò T°Q·U±U¸8³_ò TÈÏÉÈgËò TÜ Ÿg™g×.Ñ.¨y¯©¸sÓ/CÀAÑ/FÓGòTØKSð ä$Ÿl™l×2Ñ2°8¸YÓG�GØ×&Ñ&¨° ~Ô6Ø*¬S°Ó->Ñ>‘CÚQXÒZ]Ð(^�L Ñ%Ø—N‘N 3Ö'ð%(ð& —~‘~ eÓ,ò $�Ø—w‘w˜u“~Ò@¨¯©°Ó):Ò@¸b�Ü—9‘9Ð>ÀÄRÇTÁTÕJØ—M‘M•Oð$ð —^‘^ CÓ(ó ,�Ø—z‘z %Ó(�Ú §
¡
° 
Õ 6Ø�DØ#ò \˜Ø!Ÿg™g e›nÒG°·±¸Ó0AÒGÀR˜Ù"Ø$Ü"(§,¡,×"6Ñ"6°xÀÓ"E˜Ø"Ÿw™w u›~ÒG°·±¸Ó1AÒGÀR×NÑNÓPò OÜ!Ÿw™w×/Ñ/°·	±	¸#³¸qÑ0AÓBòOØFNð àŸšÊWÒVYÐ$ZÕ[ð\ó Ø+¬c°,Ó.?Ñ?˜Ø,1°G·L±LÀÓ4FÑ,FÈÑ,O˜ SÑ)ØŸ™ sÖ+ð,ð  —~‘~ eÓ,ò 	&�Ø—g‘g˜e“nÒ?¨¯©°Ó(9Ò?¸R�ÙØÜ Ÿ,™,×.Ñ.¨x¸Ó=�Ø—w‘w˜u“~Ò?¨¯©°Ó)9Ò?¸R×FÑFÓHò GÜ—w‘w×'Ñ'¨¯	©	°#«°qÑ(9Ó:òGØ>Fð à#¤c¨,Ó&7Ñ7‘ÚT[Ò]`Ð$a�˜SÑ!Ø× Ñ  Õ%ð	&ô ˜%“jˆGö
ô �f‰fÐ>À
Ø¤B§D¡D¬2¯4©4¡Kô1€Gö ð	Ü! '¨=Ó9ˆEØ—~‘~ dÓ+ò .�ðOò .�Dà—I‘I—M‘M $¨Õ-ñ.ð.ð —^‘^ EÓ*ò �ð —6‘6˜%“=Ð(¨Q¯V©V°G«_Ð-DØŸ:™:¨D˜:Ô1¸!¿&¹&À¼-ÐPQ×PVÑPVÐWZÔP[ØŸ™�à!$˜�ØŸ™¨$˜Ô/¸¿¹¸w¼Ø !§¡ u¤°a·f±f¸S´kØ—K‘K•Mà—H‘H•Jðô ˜%“jˆGð €Mô8ô —Y‘Y˜°¼¿¹Ô>‘ÀA€IØ€DØ
�'Š/ØˆÜ—&‘&Ð;¸YØ ¬¯©¬r¯t©t©ô5ˆð �'‹/ô
 �f‰f�W˜j¨'¼¿¹Ô>€GÜ�f‰f�\ 4¨¼¿¹Ô=€GÜ�f‰fÐPÐRTØ¤B§D¡Dô*€Gð €EØ—‘˜vÓ&ó  ˆØ�K‰K‹MˆÙØÜ�F‰FÐ+¨R°Ó3ˆÜ�F‰FÐ*¨B°Ó2ˆØ�I‰I�d˜BÓ×'Ñ'¨¨cÓ2ˆÜ�F‰F�<  aÓ(ˆÜ—‘�z 2 qÓ)ˆÜ×!Ñ! %Ó(ˆØ—‘˜f cÓ*×2Ñ2°8¸SÓAˆÜ—‘Ð7¸¸UÓCˆÙØä�8‰8ð  kð  mrô  sØØ ×&Ñ&Ó(ò 	 ‰DˆAˆqØ—	‘	˜!˜Q“‰Að	 ä Ó.ò 	2‰FˆAˆsØ—	‘	˜-¨!Ñ+¨SÓ1‰Að	2ô —	‘	˜) Q¬¯©Ô-ÜŸ	™	Ð">ÀÄ2Ç4Á4ÔHØ˜a‘ˆAØ�‰�Q—W‘W“YÖð3 ð6 �+‰+�eÓ
€CØ×"Ñ"Ó$ò  ‰ˆˆ1Ø�k‰k˜!˜QÓ‰ð ä˜MÓ*ò 2‰ˆˆ3Ø�k‰k˜-¨!Ñ+¨SÓ1‰ð2ô �&‰&Ð4°b¸#Ó
>€CÜ
×
Ñ
˜CÓ
 €CÜ
�&‰&�˜d CÓ
(€CÜ
�&‰&�˜F CÓ
(€CÜ
�&‰&�˜s CÓ
(€Cô �1‹Xò DˆÜ�f‰fÐ/°¸Ä2Ç4Á4ÔHˆÜ�f‰fÐ)¨6°3¼b¿d¹dÔC‰ðDô �&‰&Ð(¨"¨c¼¿¹Ô
>€Cä“%˜ˆ%€DØ�Y‰Y�vÓò ˆÜ�f‰f�V˜R¤§¡¨
°B¸Ó!:Ó;ˆÙ�c˜T‘kØØ�‰�ŒØ�‰�Q�ðð �+‰+�eÓ
×
"Ñ
"Ó
$€Càœ›ˆ6€EØò ‰ˆˆ1Ø�‰;ØØ�
‰
�1ŒØ�‰�a˜�VÕð	ð �	˜5Ð Ð øô} ò 	Úð	ûôV ò 	Úð	úsG   Ã-A3o, Å!F+o, Ì:o, Ío, ÍCo, Ð8E o, Ö?D;o< ï,	o9ï8o9ï<	p	ðp	c                 ól   — | dk  rt         S t        j                  j                  t         d| dz
  z  «      S )uP   createPageHTML(19,0,"index","html") â†’ ç¬¬1é¡µ=ç›®å½•, ç¬¬Né¡µ=index_(N-1).htmlr   zindex_%d.html)ÚLIST_URLra   rb   rc   )Úpages    r   Úlist_page_urlr´   '  s.   € àˆq‚yÜˆÜ�<‰<×Ñ¤¨/¸TÀA¹XÑ*FÓGÐGr   c                 óî  — g }t        j                  d| t         j                  t         j                  z  «      D �]¸  }|j	                  d«      }t        j
                  d|t         j                  «      }|s6t        j
                  d|t         j                  t         j                  z  «      }|sŒut        j                  |j	                  d«      «      j                  «       }t        j
                  d|t         j                  «      sŒÍt        |j                  r |j                  dk\  r|j	                  d«      nd«      }t        j
                  d|«      }|rt        |«      dk  s|s�Œ.|j	                  d«      ›d	|j	                  d«      j                  d«      ›d	|j	                  d
«      j                  d«      ›�}|j                  t        j                  j!                  t"        |«      ||f«       �Œ» |S )ub   <li>â€¦<a href="./tN.html" title="å®Œæ•´æ ‡é¢˜">â€¦</a><span class="time">[YYYY-MM-DD]</span></li>z<li[^>]*>(.*?)</li>r   z+<a\b[^>]*href="([^"]+)"[^>]*title="([^"]*)"z&<a\b[^>]*href="([^"]+)"[^>]*>(.*?)</a>z/t\d+\.html$r#   r   z!\[?(\d{4})-(\d{1,2})-(\d{1,2})\]?ú-r   )r   Úfinditerr…   rZ   rX   r‡   r   r   r   r   Ú	lastindexre   Úzfillrd   ra   rb   rc   r²   )	Ú	html_textr‘   rf   ÚliÚamrE   rL   ÚdmÚdates	            r   Ú
parse_listr¿   .  sh  € à€EÜ�[‰[Ð/°¼B¿D¹DÄ2Ç4Á4¹KÓHó JˆØ�W‰W�Q‹ZˆÜ�Y‰YÐEÀrÌ2Ï4É4ÓPˆÙÜ—‘ÐDÀbÌ"Ï$É$ÔQS×QUÑQUÉ+ÓVˆBÙØÜ× Ñ  §¡¨!£Ó-×3Ñ3Ó5ˆÜ�y‰y˜¨$´·±Ô5ØÜ¨2¯<ª<¸B¿L¹LÈAÒ<M˜BŸH™H QœKÐSUÓVˆÜ�Y‰YÐ;¸RÓ@ˆÙœ˜E›
 Qš©bÙØŸX™X a�[¨"¯(©(°1«+×*;Ñ*;¸AÕ*>ÀÇÁÈÃ×@QÑ@QÐRSÔ@TÐUˆØ�‰”f—l‘l×*Ñ*¬8°TÓ:¸EÀ4ÐHÖIðJð  €Lr   c                 óH  — | j                  d«      xs | j                  d«      }|�4|j                  d¬«      r"dj                  d„ |j                  D «       «      S | j                  d«      xs | j                  d«      }|�"dj                  d	„ |j                  D «       «      S y)
uA   æ­£æ–‡ = div.trs_editor_view.TRS_UEDITORï¼ˆTRS å¯Œæ–‡æœ¬å®¹å™¨ï¼‰zdiv.trs_editor_viewzdiv[class*=TRS_UEDITOR]TrJ   r   c              3   ó2   K  — | ]  }t        |«      –— Œ y ­w©N©r5   ©Ú.0Úcs     r   ú	<genexpr>zextract_body.<locals>.<genexpr>H  ó   è ø€ Ò3 !”s˜1—vÑ3ùó   ‚zdiv.contentzdiv.aticle_boxc              3   ó2   K  — | ]  }t        |«      –— Œ y ­wrÂ   rÃ   rÄ   s     r   rÇ   zextract_body.<locals>.<genexpr>K  rÈ   rÉ   )Ú
select_onerˆ   r‹   Úcontents)Úsouprº   Úels      r   Úextract_bodyrÏ   D  s‰   € à	�‰Ð.Ó	/Ò	]°4·?±?ÐC\Ó3]€BØ	€~˜"Ÿ+™+¨D˜+Ô1Ø�w‰wÑ3 r§{¡{Ô3Ó3Ð3Ø	�‰˜Ó	'Ò	L¨4¯?©?Ð;KÓ+L€BØ	€~Ø�w‰wÑ3 r§{¡{Ô3Ó3Ð3Ør   c                 ó~  — g t        «       }}| j                  d«      D �]  }|j                  dd¬«      D �]  }|j                  d«      xs dj	                  «       }|r%t        j                  d|t
        j                  «      rŒOt        j                  j                  ||«      }||v rŒt|j                  |«       t        |j                  dd¬	«      xs |j                  d
«      xs d«      xs5 t        j                  j!                  |j#                  d«      d   «      xs d}|j%                  ||f«       �Œ �Œ |S )u$  ç«™ç‚¹é™„ä»¶åŒºï¼ˆåœ¨æ­£æ–‡å®¹å™¨ä¹‹å¤–ï¼‰ï¼šdiv.linkbox / div.atile / div.xxgk_fj ç­‰ä¸‹è½½é�¢æ�¿
    âš ï¸� æ­£æ–‡è¡¨æ ¼é‡Œé‚£å�¥ã€Œè§�é™„ä»¶ã€�å¾€å¾€å�ªæ˜¯çº¯æ–‡æœ¬ï¼ˆä¸­é—´å¤¹ Word ä¹¦ç­¾ <a name=_GoBack>ï¼‰ï¼Œ
       çœŸé™„ä»¶é“¾æŽ¥åœ¨è¿™ä¸ªé�¢æ�¿é‡Œ â†’ å�ªå�– trs_editor_view ä¼šå…¨ä¸¢z@div.linkbox, div.atile, div.xxgk_fj, div.attach_list, div.fjlistrC   TrD   rE   r   rI   r   rJ   rL   rM   r   rN   )r“   Úselectr†   r/   r   r   rY   rZ   ra   rb   rc   r”   r   rˆ   r]   r^   r_   r`   rd   )	rÍ   rm   r©   r«   rz   rC   rE   ri   r�   s	            r   Úcollect_extra_attachmentsrÒ   O  s  € ð ”C“Eˆ€CØ�{‰{Ð]Ó^ó (ˆØ—‘˜c¨�Ó-ó 
	(ˆAØ—E‘E˜&“MÒ' R×.Ñ.Ó0ˆDÙœ2Ÿ8™8Ð$FÈÌbÏdÉdÔSØÜ—l‘l×*Ñ*¨8°TÓ:ˆGØ˜$‰ØØ�H‰H�WÔÜ˜qŸz™z¨#°T˜zÓ:ÒR¸a¿e¹eÀG»nÒRÐPRÓSò GÜ—7‘7×#Ñ# G§M¡M°#Ó$6°qÑ$9Ó:òGØ>Fð à�J‰J˜ �Ö'ò
	(ð(ð €Jr   c                 óŒ  — dx}x}}d }t         �r[	 t        | d«      }|j                  ddt        j                  dt        j                  «      i¬«      }|r|j                  d«      rt        |d   «      }|j                  ddt        j                  dt        j                  «      i¬«      }|r�|j                  d«      rpt        j                  d	|d   «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}|s.|j                  d«      }	|	rt        |	j                  d¬«      «      }t        || «      }|s¢t        j                  d| t        j                  t        j                  z  «      }
|
rjt        |
j                  d
«      «      }t        j                  dd|«      j                  «       }t        j                  dd|«      j                  «       }|xs |}|smt        j                  d| «      }|rU|j                  d
«      ›d|j                  d«      j                  d«      ›d|j                  d«      j                  d«      ›�}g }	 t         rt!        t        | d«      |«      }||||fS # t        $ r d }Y �ŒFw xY w# t        $ r g }Y Œ%w xY w)Nr   rB   Úmetar�   ÚArticleTitle)rŒ   r•   ÚPubDatez(\d{4})-(\d{1,2})-(\d{1,2})r   r¶   r#   r   Úh1TrJ   z<title>(.*?)</title>u3   _[^_]{2,40}_[^_]{0,30}(?:äººæ°‘æ”¿åºœ|æ”¿åºœ)[^_]*$u.   [-â€”|]\s*[^-â€”|]{0,30}äººæ°‘æ”¿åºœ[^-â€”|]*$u'   (\d{4})[-å¹´/](\d{1,2})[-æœˆ/](\d{1,2}))r   rŽ   r   ÚcompilerZ   r/   r   r‡   rX   r¹   rˆ   rÏ   r4   r…   r   r   rÒ   )rº   rm   rL   r¾   Úcontent_htmlrÍ   ÚmtÚmdr½   r×   rf   Ú_t0r   Ú
extra_attss                 r   Úparse_detailrÞ   c  sT  € Ø"$Ð$€EÐ$ˆD�<Ø€DÞð	Ü  ¨MÓ:ˆDØ—‘˜6¨&´"·*±*¸_ÌbÏdÉdÓ2SÐ)T�ÓUˆBÙ�b—f‘f˜YÔ'Ü# B y¡MÓ2�Ø—‘˜6¨&´"·*±*¸ZÌÏÉÓ2NÐ)O�ÓPˆBÙ�b—f‘f˜YÔ'Ü—Y‘YÐ=¸rÀ)¹}ÓM�ÙØ)+¯©°!­°b·h±h¸q³k×6GÑ6GÈÕ6JÈBÏHÉHÐUVËK×L]ÑL]Ð^_ÔL`Ða�DÙØ—Y‘Y˜t“_�ÙÜ'¨¯©¸$¨Ó(?Ó@�EÜ'¨¨iÓ8ˆLñ Ü�I‰IÐ-¨y¼"¿$¹$ÄÇÁ¹+ÓFˆÙÜ˜aŸg™g a›jÓ)ˆCô —‘ÐMÈrÐSVÓW×]Ñ]Ó_ˆAÜ—‘ÐHÈ"ÈaÓP×VÑVÓXˆAØ’H˜ˆEÙÜ�Y‰YÐAÀ9ÓMˆÙØ!#§¡¨!¥¨b¯h©h°q«k×.?Ñ.?ÀÕ.BÀBÇHÁHÈQÃK×DUÑDUÐVWÔDXÐYˆDà€JðÝÜ2´=ÀÈMÓ3ZÐ\dÓeˆJð �$˜ jÐ0Ð0øô- ò 	Ø‹Dð	ûô( ò ØŠ
ðús$   ‘EJ# ÊJ5 Ê#J2Ê1J2Ê5KËKc                  ó(  — t         j                  j                  dt        j                  j	                  t        j                  j                  t        «      «      «       ddlm}  t        dt        t        t        t        fz  d¬«       dx}x}}t        «       }g }g }t        dt        dz   «      D �]¤  }t!        |«      }t#        |«      }	|	st        d|z  d¬«        �nyt%        |	«      }
|
st        d|z  d¬«        �nYt        d	|t'        |
«      fz  d¬«       |
D �]  \  }}}||v rŒ|j)                  |«       |r|t        k  r|dz  }Œ/t#        |«      }|s|dz  }ŒBt+        ||«      \  }}}}|s|}|s|}t-        ||«      \  }}}t        d
„ |D «       «      }|xs g D ]:  \  }}||v rŒ|j)                  |«       |j/                  ||f«       |d|›d|›d�z  }Œ< t'        t1        j2                  dd|«      j5                  «       «      }t1        j6                  d|t0        j8                  «       xr+ t1        j6                  d|t0        j8                  «       xr | }|dk  s|rt        d|d d z  d¬«       |dz  }�Œbt        ||||d|t:        dt<        |r-t?        j@                  |D ��cg c]
  \  }}||dœ‘Œ c}}d¬«      nddœ}tB        r|j/                  |«       n|j/                  |«       |dz  }t        d|d d |||rdndfz  d¬«       tE        jF                  d«       �Œ tB        s|r | |t        ¬«       g }tE        jF                  d«       �Œ§ tB        rltI        tB        dd ¬!«      5 }|D ]+  }|jK                  t?        j@                  |d¬«      d"z   «       Œ- 	 d d d «       t        d#tB        t'        |«      fz  d¬«       n|r | |t        ¬«       t        d$|||fz  d¬«       t        d%t        z  d¬«       y c c}}w # 1 sw Y   ŒgxY w)&Nr   )Úpush_to_searchdbz"=== %s (%s) pages=%d cutoff=%s ===Tr%   r   zPage %d fetch error, stopzPage %d: empty, stopzPage %d: found %d itemsc              3   ó&   K  — | ]	  \  }}|–— Œ y ­wrÂ   © )rÅ   r¯   rª   s      r   rÇ   zmain.<locals>.<genexpr>º  s   è ø€ Ò,™t˜q !œÑ,ùs   ‚z

<p><a href="rP   rV   r   r   r„   z<a[ >]r   z  skip empty/placeholder: %sé(   )rL   r9   F)Úensure_ascii)Ú	site_nameÚ
source_urlr9   rL   Úpub_dateÚsummaryr•   ÚcategoryÚtagsÚ
group_namerk   u     + %s (%s, %då­—%s)é&   u   , è¡¨æ ¼gš™™™™™É?)Úbatch_labelg333333Ó?Úwr   )r2   r€   zJSONL written: %s (%d rows)u*   æ–°å¢ž: %d | è·³è¿‡: %d | CUTOFFæˆªæ–­: %dz=== %s done ===)&Úsysr^   Úinsertr]   ÚdirnameÚabspathÚ__file__Úcrawler_librà   r8   Ú	SITE_NAMEÚSCRIPT_NAMEÚ_PAGESÚCUTOFFr“   r)   r´   r?   r¿   re   r”   rÞ   r°   rd   r   r   r   r‡   rZ   ÚCATEGORYÚ
GROUP_NAMEÚjsonÚdumpsr   r6   r7   ÚopenÚwrite) rà   Ú	new_countÚ
skip_countÚcutoff_countÚ	seen_urlsÚ
jsonl_rowsÚbatchr³   r9   rº   r‘   ri   rL   r¾   ÚdhtmlÚdtitleÚddaterÙ   rÝ   r•   rŸ   ÚattsÚ_knownÚ_uÚ_nmÚ	plain_lenÚno_parar¯   r   ÚitemÚfÚrows                                    r   Úmainr  �  sò  € Ü‡H�H‡O�O�A”r—w‘w—‘¤r§w¡w§¡´xÓ'@ÓAÔBÝ,ä	Ð
.´)¼[Ì&ÔRXÐ1YÑ
YØõð -.Ð-€IÐ-�
˜\Ü“€IØ€JØ€Eä�aœ !™Ó$ó ?ˆÜ˜DÓ!ˆÜ˜#“Jˆ	ÙÜÐ-°Ñ4¸DÕAÚÜ˜9Ó%ˆÙÜÐ(¨4Ñ/°tÕ<ÚÜÐ'¨4´°U³Ð*<Ñ<ÀDÕIà$)ó /	Ñ ˆG�U˜DØ˜)Ñ#ØØ�M‰M˜'Ô"Ù˜œvšØ Ñ!�ØÜ˜'“NˆEÙØ˜a‘�
ØÜ6BÀ5È'Ó6RÑ3ˆF�E˜<¨ÙØ�ÙØ�Ü'3°LÀ'Ó'JÑ$ˆG�Y äÑ, tÔ,Ó,ˆFØ&Ò,¨"ò X‘��CØ˜‘<ØØ—
‘
˜2”Ø—‘˜R ˜IÔ&ÙÊrÒSVÐWÑW‘ðXô œBŸF™F :¨r°7Ó;×AÑAÓCÓDˆIÜŸ9™9 Y°¼¿¹Ó>Ð>ò UÜ!Ÿy™y¨°G¼R¿T¹TÓBÐBòUØKTÀ}ð à˜1Š}¡ÜÐ4°v¸c¸r°{ÑBÈ$ÕOØ˜a‘�
Ùä&°gÀgØ¨U¸rØ"´À"Ü(áVZô  $Ÿz™zØ8<×=±°°1˜q¨Ó+Ó=ÈEõ SØ`bñˆDõ Ø×!Ñ! $Õ'à—‘˜TÔ"Ø˜‰NˆIÜÐ(¨F°3°B¨K¸À	Ù9B©:Èð,Lñ LØSWõYä�J‰J�sŽOð_/	õ` ™eÙ˜U´Õ<ØˆEÜ�
‰
�3Žð?õB Ü”*˜c¨GÔ4ð 	D¸Ø!ò D�Ø—‘œŸ
™
 3°UÔ;¸dÑBÕCñD÷	Dô 	Ð+¬z¼3¸z»?Ð.KÑKÐSWÖXáÙ˜U´Õ<ä	Ð
6¸)ÀZÐQ]Ð9^Ñ
^ÐfjÕkÜ	Ð
œiÑ
'¨tÖ4ùó3 >÷ 	Dð 	Dús   Ê*P"Í01PÐPÚ__main__)é   )3Ú__doc__rï   r]   r   r6   rû   Úhtmlr   Úurllib.parsera   r   r   Úbs4r   ÚImportErrorÚenvironr/   r   r1   rõ   rú   rö   rù   ÚBASE_URLr²   ÚCOL_PATHÚnowÚstrftimerø   r(   Ú
_MAX_PAGESr’   Úargvr§   rC   r\   Úintr`   Ú
ValueErrorre   r÷   r   r?   r°   r´   r¿   rÏ   rÒ   rÞ   r  Ú__name__râ   r   r   ú<module>r#     s­  ðñ÷& ?× >× >Ó >ß (ðÝ!ð �Z‰Z�^‰^˜L¨"Ó-€
Ø€à<€	Ø€
Ø%€Ø1€Ø&€ØR€Ø€à
ˆ(�,‰,‹.™9¨'Ô2Ñ
2×	<Ñ	<¸ZÓ	H€ðCàOØ'ñ	€ð €
Ù�c—h‘hÓò 
�D€A€qØ‡|�|�JÔð	Ù˜QŸW™W S¨!›_¨QÑ/Ó0‰Jð 
ˆi‹˜A ™E¡C¨¯©£MÓ1ð	Ù˜SŸX™X a¨!¡e™_Ó-‰Jð
ð " Q’‰¨A€ò	óò(A!òJHòò,òò()1òZW5ðt ˆzÒÙ…Fð øð_ ò ØƒMðûð8 ò 	Ùð	ûð
 ò 	Ùð	ús5   ¨D? Â6EÃ2EÄ?E
Å	E
ÅEÅEÅE ÅE 