网页爬虫后端AI 应用【免费下载链接】firecrawlThe web data API to search, scrape, and interact at scale. 项目地址https://gitcode.com/GitHub_Trending/fi/firecrawl点击查看免费下载导读本指南围绕开源仓库 examples/openai_swarm_firecrawl 中的示例项目展开讲解如何将 OpenAI Swarm 的多智能体编排能力与 Firecrawl 的网页抓取能力组合成一套「自动抓取网站 → 分析营销洞察 → 生成活动创意 → 产出营销文案」的完整 Agent 工作流。读完本文你将掌握五个智能体的职责划分与相互交接handoff机制、Firecrawl Python SDK 的抓取调用方式以及如何一键启动这套交互式营销分析演示。一、项目概览为什么需要「多智能体营销」传统的营销分析流程通常需要人工访问竞品或目标网站、通读内容、再手动撰写策略与文案耗时且难以规模化。本项目给出的答案是多智能体分工协作OpenAI Swarm负责智能体的定义、指令instructions注入与智能体之间的任务交接handoffFirecrawl负责把任意 URL 快速转成「LLM 就绪」的干净 Markdown 内容作为下游分析的真实数据源OpenAI Chat Completions负责内容理解、洞察提炼与文案生成。三个组件各司其职组成一条自动化的营销内容流水线这正是 Firecrawl 作为「Web Data API」在 Agent 场景下的典型应用。二、五个智能体及其职责划分项目 README 明确定义了五个智能体它们形成了「用户入口 → 数据采集 → 分析 → 创意 → 文案」的线性流水线智能体职责对应函数见 main.pyUser Interface用户界面管理所有与用户的交互引导用户提供待分析 URLhandoff_to_website_scraperWebsite Scraper网站抓取通过 Firecrawl API 提取干净、LLM 可读的内容scrape_website→handoff_to_analystAnalyst分析师审视网站内容输出营销策略洞察analyze_website_content→handoff_to_campaign_ideaCampaign Idea活动创意基于网站内容与目标受众生成创新的营销活动概念create_campaign_idea→handoff_to_copywriterCopywriter文案撰写基于内容与活动创意撰写营销文案generate_copy终点交接机制HandoffSwarm 的核心设计是「函数即工具、交接即返回 Agent」。在 main.py 中交接通过返回另一个 Agent 实例实现def handoff_to_copywriter(): Hand off the campaign idea to the copywriter agent. return copywriter_agent这种设计让流水线无需显式的控制流代码用户界面智能体拿到 URL 后调用handoff_to_website_scraper抓取智能体完成抓取后调用handoff_to_analyst依此类推直到文案智能体输出最终结果。每个智能体的instructions字段还限定了其行为边界如「Be concise」「Ask clarification questions if needed」保证交接过程不被跑题。三、环境准备依赖与密钥1. 安装依赖requirements.txt中仅声明了两个包见 requirements.txtfirecrawl-py openai在项目目录下执行pip install -r requirements.txt说明firecrawl-py即 Firecrawl 官方 Python SDK本仓库中的对应源码位于 apps/python-sdk/firecrawlopenai包同时提供 OpenAI 客户端与 Swarmfrom swarm import Agent/from swarm.repl import run_demo_loop。若 Swarm 未随 openai 一起安装可额外执行pip install swarm。2. 配置环境变量在项目根目录创建.env文件OPENAI_API_KEYyour_openai_api_key FIRECRAWL_API_KEYyour_firecrawl_api_key其中FIRECRAWL_API_KEY来自 Firecrawl 平台OPENAI_API_KEY来自 OpenAI 平台。脚本启动时会通过dotenv.load_dotenv()自动加载该文件见 main.py。四、核心代码深度解析1. 客户端初始化main.py 中同时初始化两个客户端app FirecrawlApp(api_keyos.getenv(FIRECRAWL_API_KEY)) client OpenAI(api_keyos.getenv(OPENAI_API_KEY))FirecrawlApp由firecrawl包导出OpenAI用于文本生成。两者都以环境变量为密钥来源避免密钥硬编码进代码。2. 网站抓取Firecrawl 的scrape_url抓取智能体的核心函数见 main.pydef scrape_website(url): Scrape a website using Firecrawl. scrape_status app.scrape_url( url, params{formats: [markdown]} ) return scrape_status关键点在于formats: [markdown]这会让 Firecrawl 将网页正文提取为结构化 Markdown天然适合喂给 LLM 分析。从本仓库 SDK 源码看scrape_url在 v2 客户端中是 V1 兼容别名内部等价于scrape()见 apps/python-sdk/firecrawl/v2/client.py#L398-L400因此你也可以写成app.scrape(url, params{formats: [markdown]})。更进阶的用法如同时返回原始 HTML、截图、提取结构化数据可参考 SDK 中formats支持的其它取值但本示例聚焦于 Markdown 输出保持管线简洁。3. 统一生成入口复用 OpenAI Chat Completions三个分析型智能体共享同一个生成函数见 main.pydef generate_completion(role, task, content): response client.chat.completions.create( modelgpt-4o-mini, messages[ {role: system, content: fYou are a {role}. {task}}, {role: user, content: content} ] ) return response.choices[0].message.content该函数通过 system 消息注入「角色 任务」把角色扮演marketing analyst / copywriter / marketing strategist参数化避免为每个智能体重复编写调用逻辑。默认使用gpt-4o-mini模型兼顾成本与质量可按需替换。4. 三个专业职能函数analyze_website_content(content)main.py以「marketing analyst」角色分析抓取到的网站内容返回{analysis: ...}create_campaign_idea(target_audience, goals)main.py以「marketing strategist」角色根据目标受众与目标生成活动创意返回{campaign_idea: ...}generate_copy(brief)main.py以「copywriter」角色基于 brief 撰写文案返回{copy: ...}。三者都以{字段: 内容}的字典形式返回结果便于 Swarm 将函数输出作为上下文传给模型继续推理。五、启动交互式演示在项目目录执行python main.py脚本入口通过run_demo_loop(user_interface_agent, streamTrue)见 main.py启动 Swarm 自带的交互式演示循环以流式streamTrue方式逐字输出回复以user_interface_agent作为会话起点它会先向用户索要一个待分析的网站 URL整个抓取 → 分析 → 创意 → 文案的流水线由 Swarm 运行时自动驱动无需人工干预。六、从示例到生产可扩展方向从源码结构看该示例是理解「Firecrawl × LLM Agent」最小闭环的最佳起点后续可按需演进数据格式升级将formats从[markdown]]扩展为[markdown, links, screenshot]为分析智能体补充页面链接与视觉信息任务类型扩展把scrape_url替换为crawl/map/search等 Firecrawl 其它能力对应 SDK 中的crawl()、map()、search()方法见 apps/python-sdk/firecrawl/v2/client.py即可从「单页分析」升级为「整站洞察」模型与提示词调优修改generate_completion中的模型名与各智能体的instructions适配不同预算与业务语气的营销场景异步化SDK 同时提供async版本见 apps/python-sdk/firecrawl/v2/client_async.py可在高并发抓取场景下提升吞吐。七、小结Swarm Firecrawl Marketing Agent用不到 110 行 Python 代码演示了「多智能体编排 网页数据抓取 LLM 内容生成」三类技术的无缝衔接五个智能体通过 handoff 形成明确流水线Firecrawl 负责把网页变成 LLM 可直接消费的 MarkdownOpenAI 则完成洞察、创意与文案的产出。无论是学习 Swarm 的交接机制还是探索 Firecrawl 作为 Agent 数据源的用法这个示例都是一份结构清晰、可直接运行的参考实现。赞分享网页爬虫后端AI 应用【免费下载链接】firecrawlThe web data API to search, scrape, and interact at scale. 项目地址https://gitcode.com/GitHub_Trending/fi/firecrawl点击查看免费下载相关推荐Ragas 评估 OpenAI Swarm 智能体实战构建多智能体客户支持系统并评测工具调用与目标达成Ragas 评估 OpenAI Swarm 智能体实战构建多智能体客户支持系统并评测工具调用与目标达成 本文是一份完整的端到端实战指南基于 OpenAI S人工智能大模型模型评测RAG用 mcp-agent 实现 OpenAI Swarm 多 Agent 编排航空公司客服 Swarm 实战解析用 mcp agent 实现 OpenAI Swarm 多 Agent 编排航空公司客服 Swarm 实战解析 本指南以 examples/workflows人工智能AI AgentAgent 框架MCP ClientsAgent 工作流swarms 多智能体选举模式实战用 Election Swarm 与 MajorityVoting 构建民主投票系统swarms 多智能体选举模式实战用 Election Swarm 与 MajorityVoting 构建民主投票系统 多智能体选举Election SwaAI AgentAgent 框架多智能体工具调用MCP 服务上一篇InternLM2-Reward模型详解构建高质量AI助手的评分引擎下一篇Alluxio项目本地运行指南从零开始搭建内存加速存储系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
