Ë
    Ø_†jl%  ã                   óî   — d Z ddlZddlZddlZddlZddlZddlZddlZddlm	Z	m
Z
 ddlmZmZ ddlmZ ddlmZ dZedz   Zd	Zd
ZdZedddœZd\  ZZdZeddfd„Zdd„Zd„ Zd„ Zd„ Ze dk(  r e«        yy)uÜ  æ³‰å·žå¸‚é²¤åŸŽåŒºäººæ°‘æ”¿åºœ (www.qzlc.gov.cn) çŽ¯è¯„éªŒæ”¶æ‹Ÿä½œå‡ºå®¡æ‰¹æ„�è§�å…¬å¼€ â€” TRS
æ �ç›®: /zwgk/qzbm/hbj/hjgl/hbspgs/hpysnzcspyjgk/
åˆ—è¡¨: é¦–é¡µ + index_{N}.htm (JS å�˜é‡� list å†…åµŒ docpuburl/doctitle/docreltime)
è¯¦æƒ…: /zwgk/qzbm/hbj/hjgl/hbspgs/hpysnzcspyjgk/{YYYYMM}/t{YYYYMMDD}_{ID}.htm
      æ­£æ–‡ div.article_area > .TRS_Editor, meta ArticleTitle/PubDate/ContentSource
ç”¨æ³•: python3 crawl_qzlc_hpysnzcspyjgk.py [--pages 5] [--out /tmp/qzlc.jsonl]
é    N)ÚRequestÚurlopen)Ú	HTTPErrorÚURLError)Úurljoin©ÚBeautifulSoupzhttps://www.qzlc.gov.cnz)/zwgk/qzbm/hbj/hjgl/hbspgs/hpysnzcspyjgk/u1   é²¤åŸŽåŒº-çŽ¯è¯„éªŒæ”¶æ‹Ÿä½œå‡ºå®¡æ‰¹æ„�è§�å…¬å¼€u   ç¦�å»ºzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Language)g333333ó?g       @é
   é   é   c           
      óR  — t        t        «      }||d<   t        |«      D ]?  }	 t        | |¬«      }t	        ||¬«      }|j                  «       j                  dd¬«      c S  y# t        $ rY}|j                  dv rY d }~ yt        d	|j                  › d
| dd  › �d¬«       t        j                  d|dz  z   «       Y d }~Œ d }~wt        t        t        f$ rO}t        dt        |«      j                   › d
| dd  › �d¬«       t        j                  d|dz  z   «       Y d }~�Œd }~ww xY w)NÚReferer)Úheaders)Útimeoutúutf-8Úignore)Úerrors)i”  iš  Ú z  [HTTP z] iÄÿÿÿT©Úflushr   z  [ERR )ÚdictÚHEADERSÚranger   r   ÚreadÚdecoder   ÚcodeÚprintÚtimeÚsleepr   ÚTimeoutErrorÚOSErrorÚtypeÚ__name__)	ÚurlÚrefererr   Úretriesr   ÚattemptÚreqÚrespÚes	            ú-/root/gov_crawler/crawl_qzlc_hpysnzcspyjgk.pyÚfetchr-      s  € Ü”7‹m€GØ €GˆIÑÜ˜“>ò (ˆð	(Ü˜# wÔ/ˆCÜ˜3¨Ô0ˆDØ—9‘9“;×%Ñ% g°hÐ%Ó?Ò?ð	(ð øô ò 	(Ø�v‰v˜Ñ#ÝÜ�H˜QŸV™V˜H B s¨3¨4 y kÐ2¸$Õ?Ü�J‰J�q˜7 Q™;‘×'Ñ'ûÜœ,¬Ð0ò 	(Ü�GœD ›G×,Ñ,Ð-¨R°°C°D°	¨{Ð;À4ÕHÜ�J‰J�q˜7 Q™;‘×'Ò'ûð	(ús*   ¤:A#Á#	D&Á,C Â ;C Ã D&ÃAD!Ä!D&c                 ó‚  — |xs t         }t        | d«      } |g d¢«      D ]  }|j                  «        Œ |j                  d«      D ]‡  }|j	                  d«      xs |j	                  d«      xs d}|rK|j                  d«      r|nt        ||«      }|j                  d|¬	«      }d
|_        |j                  |«       Œx|j                  «        Œ‰ |j                  d«      D ][  }dD ]  }	|	|j                  v sŒ||	= Œ t        |j                  «      D ](  }	|	j                  d«      s|	j                  d«      sŒ&||	= Œ* Œ] |j                  g d¢«      D ]  }|j                  «        Œ |j                  d«      D ]]  }|j	                  dd«      }
|
r4|
j                  d«      s#|
j                  d«      r|
nt        ||
«      |d<   ŒK|
sŒN|j                  «        Œ_ |j                  d«      D ]I  }|j                  d¬«      rŒ|j                  d«      rŒ(|j                  d«      rŒ:|j                  «        ŒK t        |«      S )Núhtml.parser)ÚscriptÚstyleÚiframeÚobjectÚembedÚformÚinputÚbuttonÚimgÚsrczdata-srcr   ÚhttpÚa©Úhrefu   æŸ¥çœ‹å›¾ç‰‡T)r1   ÚclassÚalignÚvalignÚborderÚcellpaddingÚcellspacingÚwidthÚheightÚbgcolorÚfaceÚcolorÚsizeÚlangÚdirÚ	setedariaÚtabindexÚrolezaria-zdata-)ÚdivÚspanÚfontÚcenterÚbÚstrongÚemÚiÚuÚsÚlabelr=   Ú
javascriptÚp©ÚstripÚtable)ÚBASEr	   Ú	decomposeÚfind_allÚgetÚ
startswithr   Únew_tagÚstringÚreplace_withÚattrsÚlistÚunwrapÚget_textÚfindÚstr)ÚhtmlÚbase_urlÚbaseÚsoupÚtr8   r9   Úabs_srcr;   Úattrr=   r[   s               r,   Ú
clean_htmlrt   1   s  € ØÒ”t€DÜ˜˜}Ó-€DÙÒ]Ó^ò ˆØ	�‰�ðà�}‰}˜UÓ#ò ˆØ�g‰g�e‹nÒ9 §¡¨
Ó 3Ò9°rˆÙØ Ÿ^™^¨FÔ3‘c¼ÀÀsÓ9KˆGØ—‘˜S w�Ó/ˆAØ%ˆAŒHØ×Ñ˜QÕà�M‰M�Oðð �]‰]˜4Ó ò ˆð6ò 	ˆDð �q—w‘wŠØ�d‘Gð		ô
 ˜Ÿ™“Mò 	ˆDØ�‰˜wÔ'¨4¯?©?¸7Õ+CØ�d‘Gñ	ðð �]‰]ÒiÓjò ˆØ	�‰�
ðà�]‰]˜3Óò ˆØ�u‰u�V˜RÓ ˆÙ˜Ÿ™¨Ô5Ø $§¡°Ô 7™¼WÀTÈ4Ó=PˆAˆfŠIÚØ�K‰K�Mðð �]‰]˜3Óò ˆØ�z‰z ˆzÕ%¨a¯f©f°W­oÀaÇfÁfÈSÅkØ�K‰K�Mðô ˆt‹9Ðó    c                 óX  — g }t        j                  d| t         j                  «      }|s|S g }	 t        j                  |j                  d«      «      }|slt        j                  d|j                  d«      «      D ]D  }|j                  |j                  d«      |j                  d«      |j                  d«      dœ«       ŒF |D ]”  }|j                  d«      xs dj                  «       }|j                  d	«      xs dj                  «       }|j                  d
«      xs dj                  «       }|sŒo|sŒr|j                  |t        t        |«      |dœ«       Œ– t        «       g }
}	|D ]/  }|d   |	vsŒ|	j                  |d   «       |
j                  |«       Œ1 |
S # t        $ r Y �ŒUw xY w)uA   JS å�˜é‡� list: return [ {docreltime, doctitle, docpuburl}, ... ]z4list:\s*\(function\(\)\{[^{]*return\s*(\[.*?\])\s*\}é   zY"docreltime":\s*\'([^\']*)\',\s*"doctitle":\s*\'([^\']*)\',\s*"docpuburl":\s*\'([^\']*)\'é   r   )Ú
docreltimeÚdoctitleÚ	docpuburlrz   r   r{   ry   )Útitler%   Údater%   )ÚreÚsearchÚSÚjsonÚloadsÚgroupÚ	ExceptionÚfinditerÚappendrb   r]   r   ÚLIST_URLÚsetÚadd)rm   ÚitemsÚmÚarrÚmmÚitr|   r%   r}   ÚseenÚouts              r,   Úparse_list_htmlr‘   V   sž  € à€EÜ
�	‰	ÐIÈ4ÔQS×QUÑQUÓV€AÙØˆØ
€CðÜ�j‰j˜Ÿ™ ›Ó$ˆñ ä—+‘+ÐzÐ|}÷  }Dñ  }Dð  EFó  }Gó  Hò 	gˆBØ�J‰J b§h¡h¨q£k¸r¿x¹xÈ»{ÐY[×YaÑYaÐbcÓYdÑeÕfð	gàò XˆØ—‘˜
Ó#Ò) r×0Ñ0Ó2ˆØ�v‰v�kÓ"Ò( b×/Ñ/Ó1ˆØ—‘�|Ó$Ò*¨×1Ñ1Ó3ˆÚ’SØ�L‰L 5´¼À3Ó1GÐQUÑVÕWðXô “�rˆ#€DØò ˆØˆe‰9˜DÒ Ø�H‰H�R˜‘YÔØ�J‰J�r�Nðð €Jøô# ò Úðús   ¯$F Æ	F)Æ(F)c                 ó  ‡— ddl m}  || d«      Šˆfd„} |d«      xs d} |d«      xs d} |d«      xs d}‰j                  d	d
¬«      xs( ‰j                  d	d¬«      xs ‰j                  d	d¬«      }d}g }	|rß|j                  dd¬«      D ]„  }
|
d   j	                  «       }t        j                  d|«      sŒ-|
j                  d¬«      xs d}|j                  d«      r|nt        ||«      }|	j                  ||f«       |
j                  «        Œ† t        t        |«      |«      }|	r.dj                  d„ |	D «       «      }|dz   |z   j                  «       }||r|d d nd|||	D ��cg c]
  \  }}||dœ‘Œ c}}dœS c c}}w )Nr   r   r/   c                 óÆ   •— ‰j                  dd| i¬«      xs# ‰j                  dd| j                  «       i¬«      }|r#|j                  d«      xs dj                  «       S dS )NÚmetaÚname)rg   Úcontentr   )rk   Úlowerrb   r]   )r•   r‹   rp   s     €r,   r”   zparse_detail_html.<locals>.metav   s_   ø€ Ø�I‰I�f V¨T NˆIÓ3Òf°t·y±yÀÐPVÐX\×XbÑXbÓXdÐOe°yÓ7fˆÙ34�—‘�iÓ Ò& B×-Ñ-Ó/Ð<¸"Ð<ru   ÚArticleTitler   ÚPubDateÚContentSourcerO   Ú
TRS_Editor)Úclass_Úarticle_areaÚzoom)Úidr;   Tr<   r=   zB\.(pdf|doc|docx|xls|xlsx|zip|rar|caj|wps|et|jpg|jpeg|png|gif|mp4)$r\   u   é™„ä»¶r:   c              3   ó4   K  — | ]  \  }}d |› d|› d�–— Œ y­w)z<p><a href="z">z</a></p>N© )Ú.0rq   Úfus      r,   ú	<genexpr>z$parse_detail_html.<locals>.<genexpr>‰   s#   è ø€ ÒTÁÀÀB˜l¨2¨$¨b°°°8Ô<ÑTùs   ‚ú
r   )ÚfileNameÚfileUrl)r|   Úpublish_dater–   ÚsourceÚattachments)Úbs4r	   rk   ra   r—   r~   r   rj   rc   r   r†   r`   rt   rl   Újoinr]   )rm   r%   r	   r”   r|   Úpubr©   rž   ÚbodyÚ	att_linksr;   Úhrq   r£   Úatt_prp   s                  @r,   Úparse_detail_htmlr²   s   s�  ø€ Ý!Ù˜˜}Ó-€Dô=ñ �Ó Ò& B€EÙ
ˆy‹/Ò
˜R€CÙ�/Ó"Ò( b€FØ�9‰9�U <ˆ9Ó0Òz°D·I±I¸eÈN°IÓ4[ÒzÐ_c×_hÑ_hÐinÐsyÐ_hÓ_z€DØ€DØ€IÙØ—‘˜s¨�Ó.ò 	ˆAØ�&‘	—‘Ó!ˆAÜ�y‰yÐ^Ð`aÕbØ—J‘J T�JÓ*Ò6¨h�ØŸ,™, vÔ.‘Q´G¸CÀ³O�Ø× Ñ  ! R Ô)Ø—‘•ð	ô œ#˜d›) SÓ)ˆÙØ—G‘GÑTÈ)ÔTÓTˆEØ˜4‘K %Ñ'×.Ñ.Ó0ˆDàÙ$'˜˜C˜R™¨RØØØDM×N¹5¸1¸b Q°2Ó6ÓNñð ùó
 Os   Å,Fc                  óÌ	  — t        j                  «       } | j                  dt        dd¬«       | j                  dt        d¬«       | j                  dd	¬
«       | j                  dt        d¬«       | j	                  «       }ddddddœ}t        |j                  dd¬«      }t        «       }t        j                  j                  |j                  «      rDt        |j                  d¬«      D ]*  }	 |j                  t        j                  |«      d   «       Œ, t        t         «      }|st#        dd¬«       y d}t%        j&                  d|«      }|rt        |j)                  d«      «      }|j*                  dkD  rt-        ||j*                  «      }t#        d|› �d¬«       g }	t/        |j0                  |dz   «      D ]®  }
|
dk(  rt         nt         › d|
› d�}t        |«      }|st#        d|
› d�d¬«        nwt3        |«      }|	j5                  |«       t#        d|
› dt7        |«      › dt7        |	«      › �d¬«       t9        j:                  t=        j>                  t@        tB        «      «       Œ° t7        |	«      |d<   t#        dt7        |	«      › d t7        |«      › d!�d¬«       |	D �cg c]  }|d"   |vsŒ|‘Œ }}t#        d#t7        |«      › �d¬«       tE        |d«      D �]»  \  }}t        |d"   «      }|sR|d$xx   dz  cc<   t#        d%|› d&t7        |«      › d'|d"   › �d¬«       |d$   |jF                  k\  rt#        d(d¬«        �nWŒitI        ||d"   «      }|d)   s|d)   |d)<   |d*   s|d+   |d*<   |d,   }t7        |«      d-k  r|d.xx   dz  cc<   |d)   |d*   ||d"   |d"   tJ        tL        t%        jN                  d/d0|«      jQ                  «       d d1 d|d2   |d2   |d3   d4d5d6d7œ}|jS                  t        jT                  |d8¬9«      d:z   «       |jW                  «        |d;xx   dz  cc<   |d<z  dk(  s|t7        |«      k(  r(t#        d%|› d&t7        |«      › d=|d;   › d>|d$   › �d¬«       t9        j:                  t=        j>                  t@        tB        «      «       �Œ¾ |jY                  «        t#        d?t        jT                  |d8¬9«      › �d¬«       y # t        $ r Y �Œòw xY wc c}w )@Nz--pagesr   u   0=å…¨é‡�)r#   ÚdefaultÚhelpz--start-pagerw   )r#   r´   z--outz/tmp/qzlc.jsonl)r´   z--max-detail-failé   )rŠ   Ú	detail_okÚdetail_failÚemptyÚskippedr;   r   )ÚencodingÚpage_urlu   é¦–åˆ—è¡¨é¡µæŠ“å�–å¤±è´¥Tr   éd   u   å…±\s*(\d+)\s*é¡µu
   æ€»é¡µæ•°=Úindex_z.htmu   é¡µu    æŠ“å�–å¤±è´¥, å�œæ­¢ç¿»é¡µz: u    æ�¡, ç´¯è®¡ rŠ   u   åˆ—è¡¨å®Œæˆ�: u    æ�¡ (å·²æŠ“è¿‡ ú)r%   u   å¾…æŠ“è¯¦æƒ…: r¸   u   è¯¦æƒ… ú/u   : æŠ“å�–å¤±è´¥ u   å¤±è´¥è¿‡å¤š, ä¸­æ­¢r|   r¨   r}   r–   r   r¹   z<[^>]+>ú éÈ   r©   rª   u   çŽ¯è¯„Úotherzcrawl_qzlc_hpysnzcspyjgk.py)r|   r¨   r–   r¼   Ú
source_urlÚ	site_nameÚ
group_nameÚsummaryÚ	date_rankÚauthorÚcontent_sourcerª   ÚcategoryÚindustryÚscript_nameF)Úensure_asciir¥   r·   é   z: ok=z fail=u   å®Œæˆ�: )-ÚargparseÚArgumentParserÚadd_argumentÚintÚ
parse_argsÚopenr�   rˆ   ÚosÚpathÚexistsr‰   r�   r‚   r„   r-   r‡   r   r~   r   rƒ   ÚpagesÚminr   Ú
start_pager‘   ÚextendÚlenr   r    ÚrandomÚuniformÚ	SLEEP_MINÚ	SLEEP_MAXÚ	enumerateÚmax_detail_failr²   Ú	SITE_NAMEÚGROUPÚsubr]   ÚwriteÚdumpsr   Úclose)ÚapÚargsÚstatsÚout_fpÚ	done_urlsÚlinerm   Úpages_totalr‹   Ú	all_itemsÚpgr%   r°   rŠ   rŽ   Ú	new_itemsÚidxÚdr–   Úrecs                       r,   Úmainr÷   ”   sœ  € Ü	×	 Ñ	 Ó	"€BØ‡O�O�I¤C°¸€OÔDØ‡O�O�N¬°a€OÔ8Ø‡O�O�GÐ%6€OÔ7Ø‡O�OÐ'¬c¸2€OÔ>Ø�=‰=‹?€Dà a¸ÀAÐRSÑT€EÜ�$—(‘(˜C¨'Ô2€FÜ“€IÜ	‡w�w‡~�~�d—h‘hÔÜ˜Ÿ™¨GÔ4ò 	ˆDðØ—‘œdŸj™j¨Ó.¨zÑ:Õ;ð	ô ”‹?€DÙÜÐ(°Õ5ØØ€KÜ
�	‰	Ð&¨Ó-€AÙÜ˜!Ÿ'™' !›*“oˆØ‡z�z�A‚~Ü˜+ t§z¡zÓ2ˆÜ	ˆJ�{�mÐ
$¨DÕ1à€IÜ�D—O‘O [°1¡_Ó5ò 	9ˆØ š'�h¬(¨°6¸"¸¸TÐ'BˆÜ�#‹JˆÙÜ�C˜�tÐ6Ð7¸tÕDÙÜ Ó"ˆØ×Ñ˜ÔÜ��B�4�rœ#˜e›*˜ ]´3°y³>Ð2BÐCÈ4ÕPÜ�
‰
”6—>‘>¤)¬YÓ7Õ8ð	9ô ˜“^€Eˆ'�NÜ	ˆNœ3˜y›>Ð*Ð*:¼3¸y»>Ð:JÈ!Ð
LÐTXÕYà'ÖF˜¨2¨e©9¸IÒ+E’ÐF€IÐFÜ	ˆNœ3˜y›>Ð*Ð
+°4Õ8Ü˜Y¨Ó*ó '9‰ˆˆRÜ�R˜‘YÓˆÙØ�-Ó  AÑ%Ó Ü�G˜C˜5 ¤# i£.Ð!1°ÀÀEÁÀÐLÐTXÕYØ�]Ñ# t×';Ñ';Ò;ÜÐ,°DÕ9ÚØÜ˜d B u¡IÓ.ˆØ�ŠzØ˜G™ˆAˆg‰JØ�Ò Ø " 6¡
ˆAˆnÑØ�I‘,ˆÜˆw‹<˜"ÒØ�'‹N˜aÑ‹Nà�w‘ZØ˜nÑ-ØØ˜5™	Ø˜U™)Ü"ÜÜ—v‘v˜j¨#¨wÓ7×=Ñ=Ó?ÀÀÐEØØ˜‘kØ ™kØ˜]Ñ+Ø ØØ8ñ
ˆð" 	�‰”T—Z‘Z °%Ô8¸4Ñ?Ô@Ø�‰ŒØˆkÓ˜aÑÓØ�‰8�qŠ=˜C¤3 y£>Ò1Ü�G˜C˜5 ¤# i£.Ð!1°°u¸[Ñ7IÐ6JÈ&ÐQVÐWdÑQeÐPfÐgÐosÕtÜ�
‰
”6—>‘>¤)¬YÓ7Ö8ðO'9ðP ‡L�L„NÜ	ˆH”T—Z‘Z °EÔ:Ð;Ð
<ÀDÖIøôQ ò Úðüò: Gs   Ã/'SÊ$S!Ê1S!Ó	SÓSÚ__main__)N)!Ú__doc__rÐ   r�   rÖ   r~   Úsysr   rÞ   Úurllib.requestr   r   Úurllib.errorr   r   Úurllib.parser   r«   r	   r_   r‡   rä   rå   ÚUAr   rà   rá   ÚMAX_FAILr-   rt   r‘   r²   r÷   r$   r¡   ru   r,   ú<module>r      sŸ   ðñ÷ 1× 0× 0Ó 0ß +ß ,Ý  Ý à €ØÐ=Ñ=€Ø?€	Ø€Øv€àØOØ'ñ€ð
  Ñ €	ˆ9Ø€ð  ¨°Qó ó&"òJò:òBWJðt ˆzÒÙ…Fð ru   