影刀RPA完全指南：个人知识库自动化——网文收藏、摘要与归档

影刀RPA完全指南个人知识库自动化——网文收藏、摘要与归档收藏夹吃灰是所有爱读书人的通病微信里收藏了两百篇文章浏览器书签几千条真想用的时候一条都找不到。我自己也一样直到两年前用影刀RPA搭了一套个人知识库流水线看到好文章丢进一个清单每天凌晨自动抓取正文、生成摘要、按主题归档进本地笔记库第二天早上摘要自动推到我面前。现在我的知识库三千多篇文章全部可搜可查找回一篇文章不超过十秒。这篇完整拆解这套系统用的是最普通的网页自动化加数据处理非技术出身照样能搭。系统设计收集、加工、归档三段式流水线先讲架构这套知识库自动化分三段各段解耦收集段——平时看到好文章把链接丢进一个收集箱我用的是本地txt加飞书表格双写加工段——每天凌晨自动读取链接清单抓正文、清洗、生成摘要、打主题标签归档段——按主题写入本地Markdown笔记库同步一份索引Excel摘要推送通知三段式的好处是任何时候断链都能定位问题段。设计上有一个关键决定加工段放在每天凌晨自动跑收集段随时手动。我最初试过边收边加工好文章抓正文时遇到反爬或者慢加载收集动作也跟着卡体验极差解耦后收集永远秒完成。主题标签表是整套系统的灵魂配置主题关键词规则归档目录RPA教程影刀、RPA、自动化D:\kb\rpa\电商运营转化率、SKU、直播D:\kb\ecom\效率工具笔记、工作流、AID:\kb\tools\环境搭建安装、插件与笔记库初始化影刀RPA从官网下载安装装完装浏览器插件并重启浏览器。客户端界面三块左指令面板、中流程画布、右指令详情面板参数都在右侧填。本地笔记库不需要额外软件就是一套目录结构加Markdown文件用任意编辑器都能看。初始化时我建了三件事主题目录树——按标签表建好各主题文件夹索引Excel——列头为日期、标题、主题、来源链接、文件路径收集箱txt——每行一个链接加工段消费后清空这套结构的好处是不锁定任何软件哪天换笔记工具Markdown文件直接迁移。元素定位四合一文章正文抓取的定位方案抓正文是加工段的核心不同站点的正文结构差异很大定位方案必须分四层兜底。第一层XPath覆盖大多数文章页# 捕获元素文章标题h1优先很多站标题只在h1里 //h1 | //*[contains(class,title)] # 换行写法按article语义标签找正文容器 //article | //*[idcontent] | //*[classarticle-content] # 参照物定位通过发表于文本找发布日期 //*[contains(text(),发表于)]/following-sibling::*[1] # 模糊匹配抓正文中包含指定小节标题的段落 //p[contains(text(),摘要)]第二层CSS选择器处理结构规整的站点article .content p一条选择器拿到全部正文段落简洁高效。XPath和CSS的选型原则再强调一次按文本语义找元素只能XPath纯结构定位CSS更快正文抓取场景里两者通常各占一半。第三层正则做文本清洗正文里的推广语、版权声明、广告插句用正则规则剔除连续空行合并成一个全角空格转半角。第四层图像识别兜底个别正文在Canvas里渲染的怪站点——极少遇到遇到就用区域截图加OCR指令读文字识别质量差点但聊胜于无。自动捕获正文容器有个实用技巧先试影刀RPA的捕获元素自动推荐橙色边框选中的区域对不对一眼可见不对再手动改XPath正文容器的class十有八九带content、article、text这类词正则试错比逐个网站硬调快。变量与数据类型文章对象与摘要结构一篇文章在系统里就是一个字典# 文章对象的字段设计article{url:https://...,# 唯一键去重依据title:文章标题,# 清洗后标题text:正文全文,# 清洗后正文summary:,# 生成的摘要topic:RPA教程,# 归档主题date:2026-09-27,# 收录日期}类型细节决定成败正文从页面取出来是字符串段落列表用文本分割按换行切分成列表标题进文件名前要把非法字符\/:*?|替换掉我用Python的re一行搞定不处理的话写文件直接报路径错误。JSON用在两个地方飞书表格读出来的数据是JSON结构转对象后取字段摘要生成走接口时请求和响应都是JSON转对象、取值、转文本三步走。字典取不存在的键报错接口字段缺失统一用get加默认值别让一条怪文章打断整晚批处理。流程控制批量加工的循环骨架与失败隔离加工段每晚处理几十条链接骨架是ForEach循环加逐条兜底# 伪代码批量加工主逻辑ForEach 链接in收集箱列表:# ForEach列表循环If 去重库中已存在(链接):继续下一次循环# 重复收藏直接跳过Try:打开网页(链接)等待元素出现(正文容器,超时20秒)article抓取正文()article[summary]生成摘要(article[text])article[topic]匹配主题(article[title]正文前500字)写入笔记库(article)去重库登记(链接)Catch 错误信息:打印日志(链接错误信息)失败清单追加(链接)# 明早人工补收Finally:关闭网页()三个控制要点【继续下一次循环】处理重复和抓取失败保持主循环干净Try-Catch在链接循环内一篇文章挂了不拖累整批Finally关网页防标签页堆积。我试过一次没做失败隔离第7篇文章反爬拦截导致整晚只归档了6篇剩下几十条第二天还要重跑从此每条链接自负盈亏。While条件循环用在正文翻页上——长文分成多页的站点判断下一页按钮class是否含disabled不含就点击翻页把后续页正文拼接进来。网页自动化正文等待、懒加载与登录墙网页自动化的几个难点在文章抓取场景里都有变体逐一给方案。异步正文等待很多站点正文是脚本渲染的打开网页立即抓取拿到的是空壳。统一【等待元素(web)】等正文容器出现超时20秒等待结果为False就记入失败清单。别用固定等待慢站点等到超时白费快站点又可能不够。懒加载长文部分平台文章往下滚才加载后续段落。用【滚动元素】滚一次抓一次比对文本长度无新增即停。偷懒办法是滚动到底后再统一抓取我实测后者失败率略高滚动分次抓更稳。登录墙少数站点看全文要登录。用独立Profile保持登录态流程开头判断登录元素存在与否不存在就跳过该站并记日志——不值得为几篇文章维护登录流程投入产出不划算。弹窗文章页的订阅弹窗、App引导弹窗很烦流程开头跑一遍标准五步判断弹窗关闭按钮存在→点击→确认消失→Esc兜底→继续。弹窗检查做成子流程各处复用。数据处理摘要生成与索引Excel维护摘要生成我走过两个阶段。早期用抽取式方案纯Python按句子位置和关键词密度挑前几句拼接零成本但生硬。后来接口能力开放后改成调用摘要服务正文发出去返回一段流畅摘要。核心链路是HTTP请求拿响应JSON转对象取字段失败时回退抽取式双保险保证每晚必出摘要。归档落地是文件写入加索引维护文件按日期_标题.md命名写入对应主题目录正文头部写元信息来源、日期、链接索引用【启动Excel】打开索引表【写入内容至Excel工作表】追加一行数据表格方案备选【数据表格导出】批量导出适合每周整理时用数据处理的老坑在这套流程里一个不落链接写入Excel变科学计数法——索引表用文本列格式日期写Excel少8小时——时间戳转文本再写正文里的特殊字符导致文件名报错——命名前清洗。这三个坑我各栽过一次写进流程注释里提醒自己。数据量大后我把索引同步进SQLite数据库指令连接、批量插入、关闭三步全文检索虽然做不了按主题和日期过滤足够找回九成文章。鼠标键盘图像与进阶技能抓取之外的增补手段正文抓取之外我用【键盘输入】处理阅读器类页面CtrlEnd直接滚到底触发懒加载比循环滚动省事部分阅读App的网页版要Ctrl加号放大后才好定位键盘组合键一步到位。进阶技能里最有价值的是HTTP请求直接抓正文很多文章页有对应的接口返回结构化正文【开始监听网页请求】→【跳转至新网址】→【获取网页请求结果】→【停止监听网页】拿到JSON后字段就是干净的段落列表跳过整个元素定位环节。我现在约六成文章走接口通道页面抓取做兜底整晚批处理的耗时砍掉一半。手机端文章用ADB方案兜底【连接手机】→【获取元素对象(手机)】配合【获取手机UI树】定位分享按钮操作完【断开手机连接】。只在收藏动作必须发生在手机时才用能复制链接的都用复制大法替代。系统联动每日摘要推送与定时执行每天早上7点加工段跑完执行段发一条晨报昨晚归档N篇按主题分组列出标题和一句话摘要。通道是飞书群机器人WebhookHTTP请求发文本消息我一个人用就发到自己的单人群。周报用【发送邮件】指令附件带上当周索引Excel。定时配置在客户端把应用设为周期执行每天凌晨2点跑加工段7点跑推送段两段分开触发互不牵连。计划任务的告警邮箱必须配置——凌晨流程静默失败过一周我才发现自那以后告警邮箱是我搭任何定时流程的第一步。电脑端设置里锁掉睡眠开机自动登录夜间任务才能稳。工程化规范与调试知识库的长期可维护性流程拆五个编号子流程01_读收集箱、02_抓取正文、03_生成摘要、04_归档写库、05_晨报推送。换摘要服务只改03换笔记库只改04半年里我动过两次归档方案主流程一行没改。调试三板斧固定使用怀疑指令右键加断点单步执行逐条过变量面板盯article字典的字段变化。新增一个抓取目标站点时先在断点模式单步跑通一条确认正文抓取和主题匹配都准再放开批量。每个子流程头部写职责注释抓取规则变更时在指令旁标注日期和原因半年后回溯为什么这么写一查便知。知识库系统一用两年流程代码反而越改越少——配置化的红利就在这里。易错速查表现象原因解法抓到的正文是空壳正文脚本渲染未完成等待正文容器元素出现再抓文件写入报路径错误标题含非法字符正则替换文件名特殊字符长文只有第一页后续段落懒加载滚动元素循环抓取至无新增| 索引链接变数字 | Excel自动转格式 | 设置格式设置为文本的列 || 凌晨流程失败无人知 | 未配告警 | 计划任务配置告警邮箱 |学习资源与延伸阅读官方文档的文件处理“监听网页请求”定时任务三章和这套知识库流水线直接相关建议先读。完整流程源码我放在代码仓库 home.linyan.cloud可以直接参考改造主题规则表换成你自己的分类收集箱接上你的收藏渠道当晚就能跑第一轮归档。#影刀RPA #RPA自动化 #知识管理 #数据采集 #Python作者林焱