如何为 Open Notebook 选择内容处理引擎并启用可选的 Docling 与本地 Crawl4AI【免费下载链接】open-notebookAn Open Source implementation of Notebook LM with more flexibility and features项目地址: https://gitcode.com/GitHub_Trending/op/open-notebook在 Open Notebook 中添加 Source文档、网页链接后系统会先提取文本再分块、向量化、入库。提取用什么方式完成由「内容处理引擎」决定在Settings → Content Processing里配置。默认引擎能应付大多数内容但遇到两类典型问题时默认配置不够用上传的 PDF 表格错乱、扫描版 PDF 或图片提取不出文字以及 JavaScript 渲染的网页链接提取结果为空。这两类问题分别对应两个可选的重组件Docling版式解析 OCR和本地 Crawl4AIChromium 渲染 JS 页面。由于这两个运行时间体量大——Docling 会拉取数百 MB 到数 GB 的机器学习组件Crawl4AI 自带一个 Chromium 浏览器——Open Notebook 的默认镜像刻意不预装它们而是通过环境变量按需在容器首次启动时自动安装下载内容缓存在数据卷/app/data上之后重启快速。本文基于仓库文档 content-processing-engines.md 和 environment-reference.md 说明如何为文档和 URL 两类 Source 选择合适的引擎以及如何启用、验证这两个可选运行时。先看懂引擎选项再决定改不改文档处理引擎Document Processing Engine控制上传文件PDF、Word、PowerPoint、EPUB 等如何转成文本共三个选项引擎作用取舍auto默认按文件类型自动选引擎Docling 已启用时复杂文档走 Docling其余走简单提取均衡绝大多数人的默认选择docling版式感知提取理解分栏、表格、标题与阅读顺序启用 OCR 时对扫描页跑 OCR。可选必须先启用 Docling最准确但更慢更重simple快速轻量提取完全跳过 Docling最快但丢失表格结构和版式无 OCR官方给出的选择依据是auto——没有特殊理由就留在 autodocling——表格、多栏版式或扫描 PDF 很重要且 auto 结果不干净时强制用它前提是 Docling 已启用simple——大批量干净、文本原生的文档速度比版式保真更重要时选用。URL 处理引擎URL Processing Engine控制网页链接如何抓取并转成文本。各站点差异很大有的是静态 HTML有的全靠 JavaScript 渲染有的在反爬保护后面所以提供多个引擎引擎作用依赖auto默认按顺序逐个尝试直到某个引擎返回可用内容无用已配置的引擎firecrawl托管抓取服务擅长 JavaScript、反爬和代理FIRECRAWL_API_KEY或自托管实例jinaJina AI Reader擅长把文章转成干净文本JINA_API_KEYcrawl4ai用本地 Chromium 浏览器渲染 JS 页面不需要 API key。可选必须先启用OPEN_NOTEBOOK_ENABLE_CRAWL4AItrue首次启动安装或CRAWL4AI_API_URL指向远程服务器simple基础 HTTP 抓取 BeautifulSoup 解析无auto模式下的回退顺序是固定的Firecrawl → Jina → Crawl4AI → simple (bs4)未配置比如没有 Firecrawl key或未启用比如 Crawl4AI 没装的引擎会被跳过。Firecrawl 和 Jina 排在前面因为最擅长难啃的站点Crawl4AI 负责兜住 API 服务漏掉的 JS 重页面前提是已启用simple是最后手段纯 HTTP 请求快且无依赖但会漏掉所有 JavaScript 渲染的内容单页应用和动态站点经常提取为空或残缺。需要强制指定引擎的场景持有 key 且希望稳定高质量提取、不想付本地渲染成本时选firecrawl/jina站点需要真浏览器但不想用付费 API 时选crawl4ai需已启用纯静态 HTML 站点想要最快、零依赖路径时选simple。在 Settings → Content Processing 中选择引擎进入Settings → Content Processing配置项包括Settings → Content Processing: - Document Processing Engine (for uploaded files) - URL Processing Engine (for web links) - Enable OCR (scanned PDFs and images)两个必须知道的边界改动只影响保存之后新添加的 Source。想让已有 Source 用新引擎重新提取需要重新添加该 Source。UI 只展示实际可用的引擎。后端有一个能力探测接口GET /api/capabilities实现见 api/routers/capabilities.py它报告的是 Docling / Crawl4AI 运行时实际是否已安装可导入而不是环境变量开关。Docling、本地 Crawl4AI 未安装完成前Settings 里对应选项和 OCR 开关显示为禁用状态安装进行中时也会如实显示 unavailable。OCR 开关补充说明默认开启但只有 Docling 启用后才有实际效果。OCR 只通过 Docling 运行处理扫描版 PDF 和图片源PNG、JPEG、TIFF、BMP。Docling 关闭时该开关在 Settings 中是禁用状态扫描 PDF 退回纯文本提取对纯图片页面基本得不到内容图片源则直接作为不支持的格式被拒绝参见 adding-sources.md 的 Unsupported file type 一节。启用 Docling文档引擎、OCR 与图片源Docling 通过环境变量OPEN_NOTEBOOK_ENABLE_DOCLING启用默认false。启用后首次启动容器时自动安装解锁三样东西启用项解锁内容OPEN_NOTEBOOK_ENABLE_DOCLINGtruedocling文档引擎、OCR 开关、图片源PNG/JPEG/TIFF/BMP在docker-compose.yml的open_notebook服务下配置。仓库自带的 docker-compose.yml 中已经留好了注释占位行把需要的行取消注释去掉行首#即可environment: # ...OPEN_NOTEBOOK_ENCRYPTION_KEY、SURREAL_* 等已有配置保持不变... # OPTIONAL: heavy extraction runtimes, installed on first startup when # enabled (downloads are cached on the ./notebook_data volume, so only the # first boot is slow). - OPEN_NOTEBOOK_ENABLE_DOCLINGtrue # Docling engine OCR image sources (large ML stack) # - OPEN_NOTEBOOK_ENABLE_CRAWL4AItrue # local Crawl4AI (bundles a Chromium browser) # - CRAWL4AI_API_URLhttp://crawl4ai:11235 # use a remote Crawl4AI server instead (no local install) volumes: - ./notebook_data:/app/data安装逻辑在容器入口脚本 scripts/docker-entrypoint.sh 中它把 extra 锁定到镜像内content-core的版本content-core[docling]版本在 api/worker/frontend 启动之前阻塞式完成安装并把UV_CACHE_DIR、PLAYWRIGHT_BROWSERS_PATH、HF_HOME指向/app/data卷第二次启动直接从缓存重装、不重复下载。设计细节见 ADR-007。改完环境变量后重启容器使入口脚本重新执行快速开始文档中docker compose restart用于重启全部服务docker compose up -d用于首次启动docker compose restart第一次启动会明显变慢Docling 会下载大型 ML 栈首次启动需要数分钟进度会明确打印到日志。入口脚本的关键日志引自 scripts/docker-entrypoint.sh[entrypoint] Installing Docling (first start; this pulls a large ML stack — several hundred MB to a few GB — and can take several minutes)... [entrypoint] Docling installed. The Docling engine, OCR and image sources are now available.失败时采用「降级而不崩溃」策略安装失败例如无网络会打印告警并继续启动应用Docling 引擎、OCR 和图片源仅报告为不可用[entrypoint] WARNING: Docling install FAILED. Booting without it — the Docling engine, OCR and image sources will be unavailable. Fix connectivity and restart to retry.启用本地 Crawl4AI让 JS 页面在本地浏览器渲染本地 Crawl4AI 通过OPEN_NOTEBOOK_ENABLE_CRAWL4AI启用默认false。启用后首次启动安装 Crawl4AI 包content-core[crawl4ai]content-core 版本并下载 Chromium 浏览器入口脚本日志标注约 150 MB解锁crawl4aiURL 引擎——用本地 Chromium 渲染 JS 页面不需要任何 API key。与 Docling 一样在docker-compose.yml中取消对应注释行- OPEN_NOTEBOOK_ENABLE_DOCLINGtrue # 如果文档引擎也需要 Docling - OPEN_NOTEBOOK_ENABLE_CRAWL4AItrue # local Crawl4AI (bundles a Chromium browser)然后docker compose restart。首次启动日志引自入口脚本[entrypoint] Installing Crawl4AI local runtime (first start; also downloads a Chromium browser ~150MB)... [entrypoint] Crawl4AI package installed. [entrypoint] Installing Chromium browser system libraries (one-time for this container)... [entrypoint] Chromium browser system libraries ready.注意两个实现细节Chromium 浏览器本体缓存在/app/data卷上第二次启动不重复下载但 Chromium 的 apt 系统库装在容器文件系统里每个新容器需要重装一次本地 Crawl4AI「可用」的判定是包和Chromium 浏览器同时存在见 open_notebook/utils/runtime_capabilities.py 的crawl4ai_local_ready()只装成包而浏览器下载失败时仍算不可用。可选分支指向远程 Crawl4AI 服务器不做本地安装如果不想在 Open Notebook 容器里装浏览器可以设CRAWL4AI_API_URL指向一个已部署的远程 Crawl4AI 服务器crawl4ai引擎直接走远程服务无需本地安装。仓库 docker-compose.yml 和 advanced.md 给出的示例值需替换为你自己的服务器地址CRAWL4AI_API_URLhttp://crawl4ai.example.com:11235入口脚本的逻辑是CRAWL4AI_API_URL一旦设置就跳过本地安装日志会打印CRAWL4AI_API_URL is set; using the remote Crawl4AI service (no local install).。environment-reference.md 也注明设置了CRAWL4AI_API_URL时本地OPEN_NOTEBOOK_ENABLE_CRAWL4AI不再需要。验证结果按顺序做三个检查全部通过才算启用成功1. 看 Settings 界面。打开Settings → Content Processing确认docling出现在文档引擎选项中、crawl4ai出现在 URL 引擎选项中且 OCR 开关处于可操作状态此前它们显示为禁用/unavailable。前端正是依据GET /api/capabilities的探测结果来放开这些选项的见 SettingsForm.tsx/settings/components/SettingsForm.tsx) 中doclingAvailable/crawl4aiAvailable的取值逻辑探测失败会按不可用处理不会虚报。2. 直接查能力接口。请求GET /api/capabilities返回字段与运行时真实状态一致以下为示例结果字段取自 api/routers/capabilities.py{ docling_available: true, crawl4ai_available: true, crawl4ai_remote_configured: false }crawl4ai_remote_configured只有在设置了CRAWL4AI_API_URL时为truecrawl4ai_available表示本地已就绪或远程已配置二者居其一。3. 用真实 Source 验证提取效果。在启用前提取失败的同一类内容上重新添加 Source表格/扫描 PDF 用 Docling 引擎或 auto重新提取JS 重的链接用 auto此时回退链会包含 Crawl4AI或直接强制crawl4ai。注意改动只对保存后新增的 Source 生效旧 Source 需要重新添加才会按新引擎重提取。常见问题与边界首次启动安装失败典型是无网络应用照常启动只是引擎报告为不可用、Settings 中选项保持禁用。修复网络后重启容器即可重试安装。离线/内网隔离部署首次启动安装需要网络可达 PyPI。文档明确建议如果到不了 PyPI就保持这两个开关关闭。链接提取为空多半是站点由 JS 渲染。auto 模式下配置 Firecrawl 或 Jina 的 key或启用 Crawl4AI也可以直接强制crawl4ai/firecrawl。Firecrawl 还有调优变量FIRECRAWL_API_URL指向自托管实例、CCORE_FIRECRAWL_PROXY、CCORE_FIRECRAWL_WAIT_FORJina 需要JINA_API_KEY完整列表见 environment-reference.md 的 Content Extraction 一节 和 advanced.md 的 Web Scraping Content Extraction 一节。干净文档处理偏慢把文档引擎设为simple和/或关闭 OCR可减少不必要的开销。引擎选择的兜底保护引擎选择会持久化到数据库比环境变量活得更久。处理 Source 的图在把引擎交给 content-core 前会用同一套运行时探测engine_runtime_missing()拦截指向缺失运行时的引擎名避免「选了一个其实没装上的引擎」导致提取直接失败且看不出真实原因。快速决策参考文档 content-processing-engines.md 的 Quick Reference 原样覆盖了最常见的四个症状整理如下文档提取质量差表格、分栏错乱 → 启用 Docling然后把 Document Engine 设为 docling 扫描 PDF 或图片提取为空 → 启用 Docling 并开启 Enable OCR引擎 auto 或 docling 网页链接为空或只提取了一半 → 站点大概率是 JS 重的 → auto 模式下配置 Firecrawl 或 Jina 的 key或启用 Crawl4AI → 也可以直接强制 crawl4ai / firecrawl 干净文档处理起来慢 → 把 Document Engine 设为 simple 和/或关闭 OCR完成上述步骤后判断标准是明确的GET /api/capabilities中相应字段为true、Settings → Content Processing 中对应引擎可选、重新添加的 Source 能提取出此前缺失的表格结构、扫描文字或 JS 渲染内容。若某台机器始终安装失败且无法联网保持开关关闭即可默认引擎auto simple仍覆盖文本 PDF、Office、EPUB 和静态 URL 的基础提取。【免费下载链接】open-notebookAn Open Source implementation of Notebook LM with more flexibility and features项目地址: https://gitcode.com/GitHub_Trending/op/open-notebook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
