ujK d Z ddlZddlZddlZddlZddlmZ ddlmZ ddlZddl m
Z
ej j dej j ej j e ddlmZ dZdZd Zd
Zd d iZd
Zd Zd Zd Zd Ze dk( r8 ej Z e e d ej e z
dd yy)u
宜宾天原集团-信息公示 (ybty.com/xxgs/) 爬虫
https://www.ybty.com/xxgs/
CMS: 静态HTML分页 ?page=N
规则: 前 5 页
N)datetime)urljoin)
BeautifulSoup)push_to_searchdbu 宜宾天原集团-信息公示zhttps://www.ybty.comzhttps://www.ybty.com/xxgs/ z
User-Agentz[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/125.0.0.0 Safari/537.36z#https://www.ybty.com/xxgs/?page={n}c t j | t d }d|_ |j S # t
$ r}t
d| Y d}~yd}~ww xY w)u 请求页面 )headerstimeoutzutf-8u ❌ 请求失败: N)requestsgetHEADERSencodingtext Exceptionprint)urlres $/root/gov_crawler/crawl_ybty_xxgs.py
fetch_pager ! sL LLgr :
vv
$QC()s .1 AA
Ac
g }t | d }|j ddd D ]) }|j dd j }|j d r|j d sGt
t | }|j d
d }|r|j d
nd}|j dd }|r|j d
nd} | rct j d| }
|
rK|
j d dt |
j d ddt |
j d d} |s|s|j ||| f , |S )uK
解析列表页，使用 BeautifulSoup
返回: [(title, url, date_str), ...]
结构:
html.parseralinkbT)class_hrefr z/xxgs/z.htmlh2titler striptimedatez (\d{4})\.(\d{1,2})\.(\d{1,2}) - 02d )r find_allr
r#
startswithendswithr LIST_URLfindget_textrematchgroupintappend) htmlitemssoupa_tagr full_url
title_elemr time_elemdate_strms r
parse_listr? , s?
E } -D s7 > 6yy$**,x(
g0F 8T* ZZWZ5
3=
##$#/2 JJvfJ5 5>9%%D%1B 98DA ggaj\3qwwqz?3*?qQWWQZ QT@UV X LL%84 5/62 L c & t | }|sdddS t |d }d}|j d }|r7|j d }t j
dd| j
}d}|j dd
}|r<|j d d g D ] }|j |j d
d }nP|j dd
}|r;|j d d g D ] }|j |j d
d }||dS )u
获取详情页内容
返回: {"content": "纯文本正文", "title": "标题"}
标题: 标签
正文: <div class="sView-body _pr">...</div>
r )contentr r r Tr" u. [-–—]宜宾天原集团股份有限公司$divzsView-body _prr! scriptstyle
) separatorr# z
sView-body) r r r/ r0 r1 subr# r+ decompose)r r6 r8 r title_tagrB body_divtags r fetch_detailrM W s' c?D ++ } -D
E '"I""".H"eTZZ\ Gyy'7y8H$$h%89 C MMO ##d$#? 99U<98 (((G)<=
''$d'CG //r@ c t dd t dt t dt d t d g } t dt dz D ] }|dk( rt }n t
j
dt | }t d| d | d
d d
t | }|s
t d nEt | }|s
t d n+t dt | d | j | t dd t dt | d t }g }| D ]0 \ }}}||vs |j | |j |||f 2 t dt | d g } t | }
t |d D ] \ } \ }}}t d| d|
d|d d dd d
t! | } | j# dd }
| j# d d }|
xs |}|rt% j& d d | }t |||||r|d d ndt d }| j | t d!| d" t) j* d# t dd t d$t | d% | s t d& y t d' t- | d( t dd t d)t | d* t d y )+NrF z2==================================================u 🏠 u 前 u 页r& z{n}u
📄 第 u 页 (z)... T)endflushu
❌ 无返回u 0 条u ✅ u 条u ──────────────────────────────────────────────────u 📊 列表总计: u 📊 去重后: z [/z] 2 z...r r rB z\n{3,}z
) site_namer r rB pub_datesummarytagsu ✅ []g ?u
📊 总计: u
条待推送u ⏭️ 无数据，跳过推送u
📤 推送至服务器... ybty_xxgsu ✅ 完成! 共 u 条已推送至服务器)r SITE_NAME MAX_PAGESranger. PAGE_URL_PATTERNreplacestrr r? lenextendsetaddr5 enumeraterM r
r1 rH r$ sleepr )all_list_itemspager r6 r7 seen_urls unique_itemsr r= all_entriestotalidetail detail_titlerB final_titleentrys r mainrr s Bvh- E)
GI;d
#$ VH NaQ ' % 19C"**5#d)<C
D6uD1s$G# / " 4 'N
SZL%& e$#%&
Bxj/ N 3 4D
9: IL . 8 sH i MM# X 6 78
S . /t
45 K E%.|Q%? ! !E3
A3awbs C0cF c" zz'2. **Y+ #+e ffY8G # -8 DS)b
5!
hZq!"
336
Bxj/ M#k*+=
9:
/0 (*[+. Bvh- S - ..G
HI VHr@ __main__u ⏱ 耗时: z.1fzs
) __doc__sysosr1 r$ r urllib.parser r bs4r pathinsertdirnameabspath__file__ crawler_libr r[ BASE_URLr. r\ r r^ r r? rM rr __name__t0r r@ r <module>r s 277??277??8#<= > ( - " (
o
9 (V&0RRj z BF Lr)#.c
23 r@