A j[ d Z ddlZddlZddlZddlZddlZddlZddlZddl Z ddl
Z
ddl Z ddl Z
ddlmZ ddlmZ ddlmZ ee j( j+ Z eedz ZdZdZd Z e j8 Z d
d iZ d d Z d
Z g dZ!d dZ" d dZ#d Z$d Z%d Z&d dZ'd Z(d Z)d dZ*d dZ+ d!dZ,d Z- G d d Z.y)"u6
base_crawler — 政府爬虫公共模块（佛冈模式 v3）
==============================================
所有新站爬虫从此模块 import，按佛冈模式自动处理：
- content = 原始HTML（保留 ![]()
等语义标签）
- summary = extract_plain_text(content) 纯文本 + 噪声过滤
- 内置 4 种列表页抓取模式 + 分页
- 内置 4 种详情页正文容器自动尝试
- 内置日期提取（URL/文本/列表）
- 内置附件链接提取与摘要追加
- 内置增量同步到服务器 + search_app 重启
用法:
from base_crawler import GovCrawler
class MyCrawler(GovCrawler):
def do_crawl(self):
# 模式A: API列表
raw = self.fetch_list_via_api(API_URL, page=1, dept_id=90)
for item in raw['data']['list']:
html = self.http_get(item['pub_url'])
detail = self.extract_detail(html)
self.store_item(item['title'], item['pub_url'],
detail['content'], item.get('rel_time','')[:10])
# 模式B: HTML列表
items = self.fetch_list_via_html(LIST_URL,
r'(.*?)')
for item in items:
html = self.http_get(item['url'])
detail = self.extract_detail(html)
self.store_item(item['title'], item['url'],
detail['content'], detail.get('date',''))
MyCrawler(site_name='站点名', domain='www.example.com',
db_name='site_results.db').run()
N)datetime)Path)urljoinzcrawler_results.dbzroot@1.94.217.116z/root/crawler_results.dbz/root/search.dbz
User-Agentz[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/125.0.0.0 Safari/537.36c p d}t d|dz D ]p } t j j | t }t j j ||t }|j j dd c S y# t $ r&}|}||k rt j d Y d}~d}~ww xY w) u 通用 HTTP GET，自动重试N )headerstimeoutcontextutf-8replace)errors) rangeurllibrequestRequestHEADERSurlopenCTXreaddecode Exceptiontimesleep)urlr retrylast_errattemptreqrespes !/root/gov_crawler/base_crawler.pyhttp_getr$ ? s HEAI& ..((g(>C>>))#w)LD99;%%gi%@ @ H%
1
s A+B B5 B00B5c 6 | s| S dD ]a }d|d d}d|d d}|| v s|| v s t j t j | dz t j | z d| } c t j d d| } t j d
d| } | S ) uH
移除页面中常见的CSS装饰区块（banner/header），
防止装饰性内容（banner图、面包屑导航等）混入正文提取。
支持的模式：
... (Jcms1 CMS)
...
...
))bannerr& )headerr' ) 主体r( zr u 结束-->z[\s\S]*? z8]*class="lmy_banner"[^>]*>[\s\S]*?\s*z/]*class="lmy_banner"[^>]*>[\s\S]*?)resubescape)htmlpair start_tagend_tags r# strip_banner_sectionr1 R s R ]47)9- a + D 66"))I.]*class="article-content\s+article-content-body"[^>]*id="zoomcon"[^>]*>(.*?)\s*]*class="article-(?:reldocuments|auxiliary|extended)"z\id="zoomcon"[^>]*>(.*?)\s*]*class="article-(?:reldocuments|auxiliary|extended)"u% (.*?)z']*id="?Zoom"?[^>]*>(.*?)z@]*class="article[^"]*"[^>]*>(.*?)\s*\s*z:(.*?)\s*
]*class="[^"]*content[^"]*"[^>]*>(.*?).*?
\s*.*?
\s*\s*flags: ...z(\d{4})-(\d{2})-(\d{2})r zI]*href="([^"]+\.(?:pdf|doc|docx|xls|xlsx|zip|rar))"[^>]*>([^<]+)r )namer zDhref="([^"]*virtual_attach_file[^"]*)"[^>]*>[^<]*<[^>]+>([^<]+\.pdf)z../..//z../r u
📎 rD z: )titlecontentdate attachmentssummary)r* r5 r6 r7 r8 Ir+ r=
clean_contentextract_body_via_p_tagslenfinditerappend
startswithjoinsplitextract_plain_text)r-
title_patterncontent_patternsstrip_metadata noise_linesrF tmrawrG rH dmrI amrD r rJ as r# extract_detailr^ s;
E
YY}dBII
6
HHQK%%'E YYMtUWUYUY
ZNPTVXVZVZ[BLdTVT]T]^B2D"))DB14CB
FF:r288A;7==?EFF,b%8>>@EFF+R7==?E 't-=
>CG
$ ffLG299G
%d+ 3x% &5kE)G D -t 4B xx{ K++ j &. RB (9(9(;BHHQK P Q R
++ S "$$
;B 88A;$$&D((1+##%C~~h'CHHSYYs^AB%7 88 &!"g S 9 : ; !+6G =Axw&WQvYKr!E(<< =
" r2 c L | syt j dd| t j t j z }t j dd|t j t j z }t j dd| }t | dkD r|dd dz }i t j
d | D ]$ }|j
d
|j < & t j d d| }r fd }t j d
|| }|j S )u
清洗原始HTML：保留语义标签（ ![]()
等），只去 script/style。
这是存到 content 列的格式。
r) z]*>.*?r@ z]*>.*?z\s*\s*
rB NrC z((]+)style="([^"]*max-width[^"]*)"r \s+style="[^"]*"c , | j d }j D ]n \ }}t || j z
dk s&d|d d j v s<|j d d| dz |j
d rdz c S dz c S |S ) Nr img
z/>z style="">)r7 itemsabsstartlowerrstripendswith)mtagposstyle
img_styless r# restore_img_stylez(clean_content..restore_img_style s ''!*C ( . . 0
j
UsQWWY'#-%3s8>>;K2K ::d+q.AAS\\Z^M_Tiiehii
j Jr2 z ]*/?>) r* r+ r6 rK rN rO r7 ri r8 )raw_htmlcleanedrm rr rq s @r# rL rL s
ff12xryyQSQUQU~VGff/WBIIbddNSGff.G字符
...
...
保留语义标签： ![]()
-
r) z]*>\s*z]*>(.*?)z\1r@ z.\s*]*>(.*?)\s*z\1z ]*align="[^"]*"[^>]*>z
z]*>"r` \n{3,}
)r* r+ r6 r8 )r- s r# clean_noisy_htmlry s
66*B 5D
66,eT KD
66CE[]aikirir sD
6612t 段落。
返回：拼接的HTML（含
标签）或空字符串
Fz]*>(.*?)
r? r) r z]*href="([^"]*.(?:pdf|docx?|xlsx?|zip|rar))"[^>]*>([^<]+)) r1 r* rO r6 r+ r7 r8 rN matchrP rR rK )
r- body
paragraphs
in_contentrm texthas_link html_contentr\ a_tags
r# rM rM : s) %DJJ
[[-tRYY
? *vvj"aggaj1779AGGAJ&4y1}X J xxVX\]xxKTR aggaj )!*" yy, ++ c #RTT+ -BHHQKEL( u , -
r2 c | syt j dd| }t j dd| }t j dd| }t j | }t j dd| }t j d d| }|j d
d }g d }|xs |}g }|j d D ]L }|j s|j
d 't fd
|D r<|j
N dj | }t j d d| }|j S )u
从HTML提取纯文本，保留段落结构，过滤噪声行。
自定义噪声：
extract_plain_text(html_content, noise_lines=['扫一扫', '浏览量：', 'Copyright'])
r) z rx z rv r? z[ \t]+ rw N ) u 扫一扫u 打印|u 关闭u 相关链接u 相关文档u 相关图片u 相关音频u 相关视频u 相关附件c 3 & K | ] }|v
y wN ).0nlss r# z%extract_plain_text..~ s 2Q"W2s ) r* r+ html_modunescaper8 rS rP anyrR )r rX r
DEFAULT_NOISE clean_linesliner s @r# rT rT c s
662FL ID
66,d +D
66*b$ 'D T "D
66)S$ 'D
66)VT *D ::< DM . KK
4 #
ZZ\ r "2k22 r " # 99[ !D
66)VT *D ::<r2 c @ t j d| }|r7|j d d|j d d|j d S t j d| }|r7|j d d|j d d|j d S y)u
从URL路径提取日期。
支持模式:
/2026/05/19/402155.html → 2026-05-19
/20260519/402155.html → 2026-05-19
_2026-05-19_ → 2026-05-19
z/(\d{4})/(\d{2})/(\d{2})/r -r z/(\d{4})(\d{2})(\d{2})/r) )r* r5 r7 )r r[ s r# extract_date_from_urlr s
/ 5B ((1+ a }Abhhqk];; -s 3B ((1+ a }Abhhqk];;
r2 c h t j d| }|rK|j d dt |j d ddt |j d dS t j d| }|r7|j d d|j d d|j d S y) u
从文本中提取第一个日期。
支持:
"2026年5月19日" → 2026-05-19
"2026-05-19" → 2026-05-19
"2026/05/19" → 2026-05-19
"2026.05.19" → 2026-05-19
u1 (\d{4})\s*年\s*(\d{1,2})\s*月\s*(\d{1,2})\s*日r r r 02dr z (\d{4})[-/.](\d{2})[-/.](\d{2})r) )r* r5 r7 int)r r[ s r# extract_date_from_textr s
G NB ((1+ aBHHQK 0 5Qs288A;7G6LMM 5t (.*?)',
exclude_titles=['法律声明', '隐私保护'],
)
)u 法律声明u 隐私保护u 网站声明u 关于我们u 联系我们r r? r) r http)rF r ) r$ setr* rO r6 r7 r8 r+ rQ r addrP ) list_url link_patternexclude_titlesr- rg seenrm hrefrF s r# fetch_list_via_htmlr s H D #w'wN E 5D
[[ tRYY
7 4wwqz !z2qwwqz288:D N " v&8T*D 4<
uT23 4 Lr2 c + K d}d}||k rg } |rPi |}
|
j |xs d| |
j d| t |fi |
} | nt | t r| ng } nL| rId| v r| j | n!d| vr |dkD r| j d d
| d n| } |r t
| | ng } nn)| sn&d }| |dz
}t j d
||k r|sg yyw)u`
模式C：分页抓取（自动翻页）。
HTML分页用法:
for items in fetch_list_paginated(
list_url='https://example.com/list_{page}.html',
link_pattern=r'(.*?)',
max_pages=20
):
for item in items:
...
API分页用法:
for items in fetch_list_paginated(
api_url='https://example.com/api/list',
page_param='page_index', page_size=20,
max_pages=100, dept_id=90
):
for item in items:
...
r Fr r Nz{page})r {rE _z.htmlT333333?)
setdefaultr r r formatrk r r r )
r r
page_paramr max_pagesr
api_kwargsr yielded_anyrg paramsrZ r s
r# fetch_list_paginatedr s 0
DK
)
#
^F j 2FD 9 k9 5$W77C{%c40CbE
08H0D(//t/,;>h;NSWZ[S[X__S)*!D67
?K'\:PRE
3/ )
2 s CC C c t j | }|j d |j d |j |j y)u 确保 DB 有所需的表结构PRAGMA journal_mode=WALuT
CREATE TABLE IF NOT EXISTS crawl_results (
id INTEGER PRIMARY KEY AUTOINCREMENT,
site_id INTEGER NOT NULL,
title TEXT NOT NULL,
url TEXT UNIQUE NOT NULL,
content TEXT,
publish_date TEXT,
summary TEXT,
domain TEXT,
category TEXT DEFAULT 'gov',
crawled_at TEXT DEFAULT (datetime('now','localtime')),
content_hash TEXT
);
CREATE INDEX IF NOT EXISTS idx_results_url ON crawl_results(url);
CREATE INDEX IF NOT EXISTS idx_results_domain ON crawl_results(domain);
CREATE INDEX IF NOT EXISTS idx_results_date ON crawl_results(publish_date);
CREATE INDEX IF NOT EXISTS idx_results_site ON crawl_results(site_id);
CREATE TABLE IF NOT EXISTS crawl_sites (
id INTEGER PRIMARY KEY AUTOINCREMENT,
name TEXT NOT NULL,
url TEXT NOT NULL,
domain TEXT,
crawl_method TEXT DEFAULT 'py_script',
crawl_script TEXT,
status TEXT DEFAULT '待爬取',
last_crawl_at TEXT,
total_crawled INTEGER DEFAULT 0,
enabled INTEGER DEFAULT 1,
created_at TEXT DEFAULT (datetime('now','localtime')),
updated_at TEXT DEFAULT (datetime('now','localtime'))
);
N)sqlite3connectexecute
executescriptcommitclose)db_pathconns r# init_dbr 1 sE ??7 #DLL*+ ! ! D KKMJJLr2 c
e Zd ZdZ ee Z ee Z ee Z ee Z ee Z ee
Z
ee Z ee Z ee
Z
ee Z ee Z ee Zd dZd Zd Zd Zd Zd
dZd Zd
Zd Zy)
GovCrawleru
政府站点爬虫基类（佛冈模式 v3）。
所有子类自动获得以下能力：
# 详情页
extract_detail() — 4种正文容器自动尝试 + 标题/日期/附件提取
clean_content() — HTML清洗（去script/style）
extract_plain_text() — HTML→纯文本 + 噪声过滤
clean_noisy_html() — 清洗论坛HTML（font/div align噪音）
# 列表页
fetch_list_via_api() — API JSON 模式
fetch_list_via_html() — HTML 链接提取模式
fetch_list_paginated() — 分页自动翻页（生成器）
# 日期
extract_date_from_url() — 从URL路径提取
extract_date_from_text() — 从文本中提取
# 数据处理
store_item() — 按 URL 去重存储
sync_to_server() — 增量同步到服务器 + 重启 search_app
http_get() — HTTP GET（自动重试）
Nc 8 || _ || _ || _ || _ d | _ dddd| _ t
t j d j | _
|| _ |r-t t |z | _ t | j y t | _ y )Nr )newskipr ) site_namedomainr site_idsession_statsr sysargvstem
_crawler_name
sync_delaystrBASE_DIRr r
DEFAULT_DB)selfr r r r db_namer s r# __init__zGovCrawler.__init__ s| " a8 !#((1+ . 3 3$ x' 12DL DLL !%DLr2 c t j | j }t j |_ |j d |S )Nr )r r r Row row_factoryr )r r s r# _get_dbzGovCrawler._get_db s2 t||,";; ./ r2 c | j } | j rB|j d| j f j }|r|d |j S |j d| j
f j }|r&|d | _ | j |j S |j d| j | j | j
d| j df }|j |j | _ | j |j S # |j w xY w)Nz%SELECT id FROM crawl_sites WHERE id=?idz=SELECT id FROM crawl_sites WHERE domain=? ORDER BY id LIMIT 1zdINSERT INTO crawl_sites (name, url, domain, crawl_method, crawl_script, status) VALUES (?,?,?,?,?,?) py_scriptu 待爬取) r r r fetchoner r r r r r lastrowid)r dbrowcurs r# ensure_sitezGovCrawler.ensure_site s
\\^ ||jj!H4<>@G ?@Gd--g6t<]beTXUXkhjG
[['-R//1
2
<
<
>
\\^ JJ- uc7=b$V[]_`
IIK !# E"a'" F#q(#
HHJ ' KK !Q & ! ! '
HHJs+ &BD8 8 E"E E% E""E% %E7c t dt d | j }|j d| j f j }|j
|s t d yd }g }|D ]j \ }}}}} |xs ddd }| xs ddd } |j d
|| d || d || d ||xs d d || d | j d
l |j d dj | }
ddl
} ddl } | j dd }
t |
d 5 }|j |
ddd t j ddd|
t d|
gdd t j d dd ddt d t" d |
d gddd!" } | j$ |
t j d dddd t d#|
gdd$ d%|j& v rGt d&t) | d' t j d dddd t d(gdd t d) yt d*|j* dd+ xs |j& dd+ y# 1 sw Y xY w),uE 增量同步本站点数据到服务器 search.db + 重启 search_appu
📤 同步到服务器 (z)...z`SELECT title, url, content, publish_date, summary FROM crawl_results WHERE site_id=? ORDER BY idu! ⏭️ 无数据，跳过同步Nc J | ydt | j dd z dz S )Nz''')r r )vs r# escz&GovCrawler.sync_to_server..esc s( yQ T22S8 8r2 r) i@ r ziINSERT OR IGNORE INTO gov_raw (title, page_url, content, publish_date, summary, site_name, tags) VALUES (,z,'u ','环评阶段');uC SELECT 1 /* noop: gov_search 由触发器维护, 无需 rebuild */;rv r z.sqlz/tmp)suffixdirwscpz-ozStrictHostKeyChecking=no:T )capture_outputr sshzConnectTimeout=10zsqlite3 z < z && echo OKx )r r r zrm -f rd OKu ✅ u 条同步成功z`pkill -f search_app; sleep 1; cd /root && nohup python3 search_app.py > /var/log/srch.log 2>&1 &u ✅ search_app 已重启u ✗ 同步失败: rb )print
SERVER_SSHr r r fetchallr rP r rR tempfileosmktempopenwrite
subprocessrunSERVER_SEARCH_DBunlinkstdoutrN stderr)r r rowsr sql_linesrF page_urlrG pub_daterJ sqlr r tmpfr s r# sync_to_serverzGovCrawler.sync_to_server s
+JWYGZF[[\]`ah]i\jjlmqm{m{l| }OP
^_ii " ooVo8
#s^ q
GGCL
D4cj\3%;P Q
D-t5OQ[()SE
=
? dC
#
D4d ? )*@ AH%H&$0 "L=WB :BCr2 r ) r r )NNFN)r r z data.list)NNr Nd r )/r6 r r* r r r r r- r r r sslurllib.requestr r pathlibr urllib.parser __file__parentresolver r r r SERVER_CRAWLER_DBr _create_unverified_contextr r r$ r1 r4 r= r^ rL ry rM rT r r r r r r r r r2 r# rC s $L d c c c c c > ( ( *
00
1
. $ %c$$& 3
&: 6 ?C59hV:<&R L&2 @ B BHEG4v'\~C ~Cr2