Ë
    X"|jÙ$  ã                   ó–  — d Z ddlZddlZddlZddlZddlZddlZddl	Z	ddl
Z
ddlZddlmZmZ dZedz   ZdZdZdZej(                  j+                  d	d
«      Zej(                  j+                  dd«      ZdZddddœZdZdadZ eej<                  «      D ]k  \  ZZ e jC                  d«      r	  e"e jG                  dd«      d   «      ZŒ4e dk(  sŒ:edz    e%ej<                  «      k  sŒS	  e"ej<                  edz      «      ZŒm edk\  rendZ&d"d„Z'd„ Z(d„ Z)d„ Z*d„ Z+d„ Z,d„ Z-d„ Z.d „ Z/e0d!k(  r e/«        yy# e$$ r Y Œ¨w xY w# e$$ r Y Œ³w xY w)#u²  
crawl_jiangxian_gsgg.py - ç»›åŽ¿å¼€å�‘åŒº-å…¬ç¤ºå…¬å‘Š
http://www.jiangxian.gov.cn/jxjjkfq/xwbd/gsgg/index.shtml
åˆ—è¡¨: div.list.b70 > ul > li > span.right(æ—¥æœŸ) + a[href=/doc/...]
åˆ†é¡µ: index_N.shtml (20 é¡µå…± 200 æ�¡, æ¯�é¡µ 10 æ�¡)
è¯¦æƒ…: /doc/YYYY/MM/DD/NNNNNN.shtml â†’ h2 + div.file_info(æ—¶é—´) + div#Zoom(æ­£æ–‡, å�«è¡¨æ ¼+uploadfilesé™„ä»¶)
æ³¨æ„�: åˆ—è¡¨æ ‡é¢˜å®Œæ•´(æ— æˆªæ–­), è¯¦æƒ…æ ‡é¢˜ä¼˜å…ˆ meta ArticleTitle
é    N)ÚBeautifulSoupÚCommentzhttp://www.jiangxian.gov.cnz/jxjjkfq/xwbd/gsgg/indexu   ç»›åŽ¿å¼€å�‘åŒº-å…¬ç¤ºå…¬å‘Šu   å±±è¥¿zcrawl_jiangxian_gsgg.pyÚDB_PATHz/root/search.dbÚ
JSONL_PATHÚ úutf-8zkMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36z?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8zzh-CN,zh;q=0.9)z
User-AgentÚAcceptzAccept-Languageg333333ó?g        é   z--pages=ú=z--pagesc                 ó’  — t        j                   «       t        z
  }|t        k  rt        j                  t        |z
  «       t        j                   «       at	        |«      D ]V  }	 t        j                  | t        |d¬«      }|j                  dk(  rd|_	        |c S 	 t        j                  d|dz  z   «       ŒX y # t        $ r Y Œ)w xY w)NF)ÚheadersÚtimeoutÚverifyéÈ   r   é   )ÚtimeÚ	_last_reqÚREQUEST_INTERVALÚsleepÚrangeÚrequestsÚgetÚHEADERSÚstatus_codeÚencodingÚ	Exception)ÚurlÚretriesr   ÚdtÚiÚrs         ú)/root/gov_crawler/crawl_jiangxian_gsgg.pyÚhttp_getr#   9   s°   € ä	�‰‹”yÑ	 €BØ	ÔÒÜ�
‰
Ô# bÑ(Ô)Ü—	‘	“€IÜ�7‹^ò ˆð	Ü—‘˜S¬'¸7È5ÔQˆAØ�}‰} Ò#Ø$�”
Ø’ð $ô
 	�
‰
�1�q˜1‘u‘9Õðð øô ò 	Ùð	ús   Á$4B:Â:	CÃCc                 ó  — | syt        j                  | «      } | j                  dd«      j                  dd«      j                  dd«      j                  dd«      } t        j                  dd| «      } | j                  «       S )Nr   u   â€‹u   â€Œu   â€�u   ï»¿ú\s+ú )Úhtml_libÚunescapeÚreplaceÚreÚsubÚstrip)Úts    r"   Úclean_titler.   K   so   € ÙØÜ×Ñ˜!Ó€AØ	�	‰	�(˜BÓ×'Ñ'¨°"Ó5×=Ñ=¸hÈÓK×SÑSÐT\Ð^`Óa€AÜ
�‰ˆv�s˜AÓ€AØ�7‰7‹9Ðó    c                 ó¢  — t         | dk(  rdnd| z  z   }t        |«      }|€g S |j                  }g }t        j                  d|t        j
                  «      D ]v  }|j                  d«      |j                  d«      t        |j                  d«      «      }}}t        j                  j                  t        |«      }	|j                  |	||f«       Œx |S )u0   æŠ“ä¸€é¡µåˆ—è¡¨, è¿”å›ž [(abs_url, title, date)]r
   z.shtmlz	_%d.shtmlzS<li>\s*<span class="right">(\d{4}-\d{2}-\d{2})</span>\s*<a href="([^"]+)">(.*?)</a>r   é   )ÚLIST_URLr#   Útextr*   ÚfinditerÚSÚgroupr.   ÚurllibÚparseÚurljoinÚBASE_URLÚappend)
Úpager   r!   Ú	html_textÚitemsÚmÚdateÚhrefÚtitleÚabs_urls
             r"   Ú
fetch_listrD   T   sÄ   € ä
 $¨!¢)‘h°9ÀÑ1DÑ
E€CÜ�‹€AØ€yØˆ	Ø—‘€IØ€EÜ�[‰[ÐoÐqzÔ|~÷  }Añ  }Aó  Bò -ˆØŸG™G A›J¨¯©°«
´KÀÇÁÈÃ
Ó4K�EˆdˆÜ—,‘,×&Ñ&¤x°Ó6ˆØ�‰�g˜u dÐ+Õ,ð-ð €Lr/   c                 ó  — t        | «      }|€y|j                  }t        |d«      }t        j                  d|«      }|rt        |j                  d«      «      nd}t        j                  d|«      }|r|j                  d«      nd}|s+t        j                  d|«      }|r|j                  d«      nd}|j                  d	d
¬«      xs |j                  d	d¬«      }	|	s||dfS |	j                  d„ ¬«      D ]  }
|
j                  «        Œ |||	fS )u-   è¯¦æƒ…é¡µ: è¿”å›ž (title, pubdate, zoom_soup)N)NNNzhtml.parserz+<meta name="ArticleTitle" content="([^"]*)"r
   r   z1<meta name="PubDate" content="(\d{4}-\d{2}-\d{2})u   æ—¶é—´ï¼š(\d{4}-\d{2}-\d{2})ÚdivÚZoom)ÚidÚzoomc                 ó"   — t        | t        «      S )N)Ú
isinstancer   )Úss    r"   ú<lambda>zparse_detail.<locals>.<lambda>t   s   € ¬J°q¼'Ó,B€ r/   )Ústring)
r#   r3   r   r*   Úsearchr.   r6   ÚfindÚfind_allÚextract)r   r!   r=   ÚsoupÚtmrB   ÚdmÚpubdateÚdm2rI   Úcs              r"   Úparse_detailrY   c   sû   € ä�‹€AØ€yØØ—‘€IÜ˜ MÓ2€DÜ	�‰ÐAÀ9Ó	M€BÙ(*ŒK˜Ÿ™ ›Ô$°€EÜ	�‰ÐGÈÓ	S€BÙˆb�h‰h�qŒk R€GÙÜ�i‰iÐ7¸ÓCˆÙ"%�#—)‘)˜A”,¨2ˆØ�9‰9�U˜vˆ9Ó&ÒE¨$¯)©)°E¸f¨)Ó*E€DÙØ�g˜tÐ#Ð#Ø�]‰]Ñ"Bˆ]ÓCò ˆØ	�	‰	�ðà�'˜4ÐÐr/   c                 ó>  — | €ddg fS | j                  g d¢«      D ]  }|j                  «        Œ t        | j                  d«      «      }g }| j                  dd¬«      D ]¸  }|d   j	                  «       }|j                  d	«      s|j                  d
«      r't        j                  j                  t        |«      |d<   d|v s$d|v s |j                  «       j                  d«      sŒ‡t        |j                  «       «      }|sŒ£|j                  |d   |f«       Œº | j                  dd¬«      D ]_  }|d   j	                  «       }	|	j                  d	«      s|	j                  d
«      sŒ9t        j                  j                  t        |	«      |d<   Œa t        | «      }
|
||fS )Nr   F)ÚscriptÚstyleÚiframeÚobjectÚtableÚaT)rA   rA   ú/ÚhttpÚuploadfilesÚdownload)z.pdfz.docz.docxz.xlsz.xlsxz.zipz.rarÚimg)Úsrcrf   )rQ   Ú	decomposeÚboolrP   r,   Ú
startswithr7   r8   r9   r:   ÚlowerÚendswithr.   Úget_textr;   Ústr)Ú	zoom_souprC   ÚtagÚ	has_tableÚattachmentsr`   ÚhÚtxtre   rL   Úcontents              r"   Úhtml_to_textru   y   s  € ØÐØ�5˜"ˆ}ÐØ×!Ñ!Ò"IÓJò ˆØ�‰�ðä�Y—^‘^ GÓ,Ó-€IØ€KØ×Ñ ¨$ÐÓ/ò 5ˆØˆf‰I�O‰OÓˆØ�<‰<˜Ô §¡¨VÔ 4ÜŸ™×,Ñ,¬X°qÓ9ˆAˆf‰IØ˜AÑ ¨q¡°A·G±G³I×4FÑ4Fð  HBõ  5CÜ˜aŸj™j›lÓ+ˆCÚØ×"Ñ" A f¡I¨sÐ#3Õ4ð5ð ×!Ñ! %¨TÐ!Ó2ò ;ˆØ�‰J×ÑÓˆØ�<‰<˜Ô §¡¨VÕ 4ÜŸ™×-Ñ-¬h¸Ó:ˆC�ŠJð;ô �)‹n€GØ�I˜{Ð*Ð*r/   c                 óš   — |s| S | j                  «       r| gng }|D ]  \  }}|j                  d|› d|› d�«       Œ dj                  |«      S )Nz<p><a href="z" target="_blank">z</a></p>z

)r,   r;   Újoin)rt   rq   ÚpartsrC   rs   s        r"   Úappend_attachmentsry   �   s[   € ÙØˆØ Ÿ™œˆW‰I¨b€EØ#ò N‰ˆ�Ø�‰�| G 9Ð,>¸s¸eÀ8ÐLÕMðNà�;‰;�uÓÐr/   c                 ó°   — 	 | j                  dt        f«      }|j                  «       D �ch c]  }|d   ’Œ	 c}S c c}w # t        $ r t	        «       cY S w xY w)Nz.SELECT page_url FROM gov_raw WHERE site_name=?r   )ÚexecuteÚ	SITE_NAMEÚfetchallr   Úset)ÚconnÚcurÚrows      r"   Úload_existing_urlsr‚   ™   sN   € ðØ�l‰lÐKÌiÈ\ÓZˆØ"%§,¡,£.Ö1˜3��A“Ò1Ð1ùÒ1øÜò Ü‹uŠðús   ‚)? «:·? º? ¿AÁAc                 óž  — | j                  d|t        f«      }|j                  «       ry	 d}	 ddlm}  ||«      }| j                  d|||||t        t        t        ||f
«      }|j                  dkD  ryt        j                  dd|«      }	t        j                  |	«      }	t        j                  d	d
|	«      j                  «       d d }	| j                  d|j                  |t        |	f«       yy# t
        $ r Y Œ¼w xY w# t        j                   $ r=}
dt#        |
«      v r*t%        j&                  d«       t)        | |||||«      cY d }
~
S ‚ d }
~
ww xY w)Nz7SELECT id FROM gov_raw WHERE page_url=? AND site_name=?FÚotherr   )Úclassify_industryz¨INSERT OR IGNORE INTO gov_raw (page_url, source_url, title, content, publish_date, site_name, group_name, script_name, has_table, industry) VALUES (?,?,?,?,?,?,?,?,?,?)ú<[^>]+>r   r%   r&   r   zTINSERT OR IGNORE INTO gov_search (rowid, title, site_name, summary) VALUES (?,?,?,?)TÚlockedr1   )r{   r|   ÚfetchoneÚcrawler_libr…   r   Ú
GROUP_NAMEÚSCRIPT_NAMEÚrowcountr*   r+   r'   r(   r,   Ú	lastrowidÚsqlite3ÚOperationalErrorrm   r   r   Ústore_record)r   r   rB   rt   r@   rp   r€   Úindustryr…   ÚsummaryÚes              r"   r�   r�   ¡   sF  € Ø
�,‰,ÐPÐSVÔXaÐRbÓ
c€CØ
‡|�|„~ØðØˆð	Ý5Ù(¨Ó/ˆHð �l‰lð+ð �#�u˜g t¬Y¼
ÄKÐQZÐ\dÐeó	
ˆð �<‰<˜!ÒÜ—f‘f˜Z¨¨WÓ5ˆGÜ×'Ñ'¨Ó0ˆGÜ—f‘f˜V S¨'Ó2×8Ñ8Ó:¸4¸CÐ@ˆGØ�L‰LØfØ—‘ ¤y°'Ð:ôð Øøô# ò 	Ùð	ûô$ ×#Ñ#ò Ø”s˜1“vÑÜ�J‰J�qŒMÜ  c¨5°'¸4ÀÓKÕKØûð	úsF   «C< ®C- ¼B/C< Ã-	C9Ã6C< Ã8C9Ã9C< Ã<EÄ1EÅ EÅEÅEc                  ó†  — d } t         sbt        j                  t        d¬«      } | j	                  d«       | j	                  d«       t        | «      }t        dt        |«      › d�d¬«       d	}d	}g }t        d
t        d
z   «      D �]†  }t        |«      }t        d|› dt        |«      › �d¬«       |st        dd¬«        �nM|D �]D  \  }}}	t         s
|v r|d
z  }Œt        |«      \  }
}}|€t        d|d d › �d¬«       |d
z  }ŒB|
s|}
|s|	}t        ||«      \  }}}t        ||«      }t        t        j                  dd|«      j!                  «       «      }|dk  rd|vrt        d|
d d › �d¬«       |d
z  }Œ¶t         rC|j#                  ||
|||t$        t&        t(        dœ«       t        d|
d d › d|› d�d¬«       |d
z  }Œÿt+        | ||
|||«      }|r/|d
z  }j-                  |«       t        d|
d d › d|› d�d¬«       �Œ@|d
z  }�ŒG �Œ‰ t         rmt/        t         dd¬«      5 }|D ]+  }|j1                  t3        j4                  |d¬«      dz   «       Œ- 	 d d d «       t        d t         › dt        |«      › d!�d¬«       | � | j7                  «        | j9                  «        t        d"|› d#|› �d¬«       y # 1 sw Y   Œ`xY w)$Né<   )r   zPRAGMA busy_timeout=60000zPRAGMA journal_mode=WALu
   å·²å…¥åº“ u    æ�¡, ç”¨äºŽåˆ—è¡¨çº§é¢„æŸ¥é‡�T)Úflushr   r
   z[list] page=z items=zEmpty page, stop paginationz  skip empty: é   r†   r   é
   z<img)Úpage_urlrB   rt   Úpublish_daterp   Ú	site_nameÚ
group_nameÚscript_namez
  JSONL + é(   z (ú)z  + Úwr   )r   F)Úensure_asciiú
zJSONL written: z rows)z[done] new=z skip=)r   rŽ   Úconnectr   r{   r‚   ÚprintÚlenr   Ú_PAGESrD   rY   ru   ry   r*   r+   r,   r;   r|   rŠ   r‹   r�   ÚaddÚopenÚwriteÚjsonÚdumpsÚcommitÚclose)r   ÚexistingÚ	new_countÚ
skip_countÚ
jsonl_rowsr<   r>   rC   rB   r@   ÚdtitleÚddaterI   rt   rp   ÚattsÚ	plain_lenÚokÚfr�   s                       r"   Úmainr¸   Ã   sð  € Ø€DÝÜ�‰œw°Ô3ˆØ�‰Ð0Ô1Ø�‰Ð.Ô/Ü% dÓ+ˆÜ�
œ3˜x›=˜/Ð)GÐHÐPTÕUà€IØ€JØ€Jä�aœ !™Ó$ó * ˆÜ˜4Ó ˆÜ�˜T˜F '¬#¨e«*¨Ð6¸dÕCÙÜÐ/°tÕ<ÚØ$)ó $	 Ñ ˆG�U˜DÝ '¨XÑ"5Ø˜a‘�
ØÜ".¨wÓ"7ÑˆF�E˜4Øˆ|Ü˜ u¨S¨b z lÐ3¸4Õ@Ø˜a‘�
ØÙØ�ÙØ�Ü'3°D¸'Ó'BÑ$ˆG�Y Ü(¨°$Ó7ˆGÜœBŸF™F :¨r°7Ó;×AÑAÓCÓDˆIØ˜2Š~ &°Ñ"7Ü˜ v¨c¨r { mÐ4¸DÕAØ˜a‘�
ØÝØ×!Ñ!Ø '°&ÀWØ$)¸	Ü!*¼*Ü#.ñ	#ô ô ˜
 6¨#¨2 ; -¨r°%°¸Ð:À$ÕGØ˜Q‘�	ØÜ˜d G¨V°W¸eÀYÓOˆBÙØ˜Q‘�	Ø—‘˜WÔ%Ü˜˜V C R˜[˜M¨¨E¨7°!Ð4¸D×Aà˜a‘’
òI$	 ð* õX Ü”*˜c¨GÔ4ð 	D¸Ø!ò D�Ø—‘œŸ
™
 3°UÔ;¸dÑBÕCñD÷	Dô 	�¤
˜|¨2¬c°*«oÐ->¸fÐEÈTÕRàÐØ�‰ŒØ�
‰
ŒÜ	ˆK˜	�{ &¨¨Ð
5¸TÖB÷	Dð 	Dús   È&1J7Ê7K Ú__main__)r1   r—   )1Ú__doc__ÚsysÚosr*   r   Úhtmlr'   Úurllib.parser7   rŽ   rª   r   Úbs4r   r   r:   r2   r|   rŠ   r‹   Úenvironr   r   r   ÚENCr   r   r   Ú
_MAX_PAGESÚ	enumerateÚargvr    r`   ri   ÚintÚsplitÚ
ValueErrorr¥   r¦   r#   r.   rD   rY   ru   ry   r‚   r�   r¸   Ú__name__© r/   r"   ú<module>rÊ      s—  ðñó Û 	Û 	Û Û Û Û Û ã ß &ð )€ØÐ0Ñ0€Ø*€	Ø€
Ø'€Ø
�*‰*�.‰.˜Ð$5Ó
6€Ø�Z‰Z�^‰^˜L¨"Ó-€
Ø€ð @ØOØ'ñ€ð Ð Ø€	à€
Ù�c—h‘hÓò 
�D€A€qØ‡|�|�JÔð	Ù˜QŸW™W S¨!›_¨QÑ/Ó0‰Jð 
ˆi‹˜A ™E¡C¨¯©£MÓ1ð	Ù˜SŸX™X a¨!¡e™_Ó-‰Jð
ð " Q’‰¨A€óò$òò ò,+ò.òòòDBCðJ ˆzÒÙ…Fð øðs ò 	Ùð	ûð
 ò 	Ùð	ús$   Â,D5Ã(E Ä5D=Ä<D=Å EÅE