Sim 工作流异步执行压测指南用 Artillery 验证队列与并发隔离【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim本篇技术指南围绕 Sim 仓库内置的本地压测场景apps/sim/scripts/load/展开讲解如何针对POST /api/workflows/[id]/execute异步执行接口进行基线并发、队列冲击波与跨工作空间隔离三类压测。读完本文你将掌握各场景的默认参数、全部可调环境变量、底层准入控制Admission Gate的工作原理以及如何根据429/ETIMEDOUT结果调整压测强度。压测前置条件与环境准备这些 Artillery 场景是本地专用local-only的全部针对POST /api/workflows/[id]/execute的异步模式async mode进行施压。开始前需要满足三项要求本地运行应用使用仓库根目录package.json中定义的dev:full脚本启动完整开发环境同时拉起 App 与 Realtime 两个进程bun run dev:full仓库中还提供了dev:full:capped变体package.json可在需要限制本地资源时使用。有效的工作流 ID 与 API Key每个场景都需要传入目标工作流的WORKFLOW_ID以及对该工作流所在工作空间有执行权限的 API Key。默认目标地址所有场景默认请求http://localhost:3000可通过BASE_URL环境变量覆盖。默认压测速率是针对本地限流参数ADMISSION_GATE_MAX_INFLIGHT500调校的。该准入阀admission gate会限制每个 Pod的在途in-flight请求总数。补充底层实现准入阀的源码位于 apps/sim/lib/core/admission/gate.ts。它是一个纯进程内in-process原子计数器MAX_INFLIGHT通过Number.parseInt(env.ADMISSION_GATE_MAX_INFLIGHT ?? ) || 500解析默认值为 500。每个 Pod 维护自己的计数器因此 N 个 Pod 的聚合上限是N × MAX_INFLIGHT——源码注释明确建议“按每个 Pod 能承受的量来配置ADMISSION_GATE_MAX_INFLIGHT”。 在 apps/sim/app/api/workflows/[id]/execute/route.ts 中POST处理器会先调用tryAdmit()获取 Admission Ticket拿不到则直接返回admissionRejectedResponse()即 429拿到后在finally中调用ticket.release()归还名额。会话型请求带 cookie不经过准入阀而 API Key / 公开 API / 内部 JWT 调用都会受其约束。关于 429 响应可安全重试的准入失败当请求被准入阀拒绝时服务端返回的 429 响应体与Retry-After头由 apps/sim/lib/core/admission/transient-failure.ts 定义失败类别状态码code是否可自动重试Retry-After准入阀容量GATE_CAPACITY429ADMISSION_GATE_CAPACITY是5 秒计费方并发RESERVATION_CONCURRENCY429EXECUTION_CONCURRENCY_LIMIT是5 秒计费方余量不足PAYER_HEADROOM402EXECUTION_PAYER_HEADROOM_EXHAUSTED否—成员余量不足MEMBER_HEADROOM402EXECUTION_MEMBER_HEADROOM_EXHAUSTED否—基础设施过载INFRASTRUCTURE503SERVICE_OVERLOADED是5 秒classifyTransientAdmissionFailure()只把retryable true且 code 匹配的失败识别为“可安全重试的瞬态准入失败”这对理解压测中出现的 429/503 含义很有帮助429 通常意味着“再等等约 5 秒重试即可”而 402 表示余量类硬性拒绝不应盲目重试。场景一基线并发Baseline Concurrency该场景用于向单个工作流逐步加压观察正常的排队queueing行为。默认施压曲线起始2请求/秒爬坡至8请求/秒以8请求/秒保持20秒该曲线适合用于验证针对Free 工作空间并发数为 5的排队表现运行命令WORKFLOW_IDworkflow-id \ SIM_API_KEYapi-key \ bun run load:workflow:baseline可选环境变量均带默认值见 apps/sim/package.json变量默认值说明BASE_URLhttp://localhost:3000压测目标地址WARMUP_DURATION10爬坡阶段时长秒WARMUP_RATE2爬坡起始速率请求/秒PEAK_RATE8峰值速率请求/秒HOLD_DURATION20峰值保持时长秒更高套餐工作空间的本地起点ProPEAK_RATE20到40Team 或 EnterprisePEAK_RATE50到100YAML 结构解析场景配置位于 apps/sim/scripts/load/workflow-concurrency.yml。它定义了两个 phasebaseline-rampdurationWARMUP_DURATION、arrivalRateWARMUP_RATE、rampToPEAK_RATE和baseline-holddurationHOLD_DURATION、arrivalRatePEAK_RATE。请求体通过{{ $processEnvironment.WORKFLOW_ID }}、{{ $processEnvironment.SIM_API_KEY }}注入环境变量runId使用 Artillery 内建的{{ $uuid }}保证每次请求唯一。默认请求头包含content-type: application/json、x-api-key与x-execution-mode: async。场景二排队冲击波Queueing Waves该场景用于向同一工作空间中的单个工作流反复发送突发流量检验排队与吞吐的承受能力。默认施压曲线阶段速率时长Wave 16请求/秒10秒静默间隔1请求/秒5秒Wave 28请求/秒15秒静默间隔1请求/秒5秒Wave 310请求/秒20秒运行命令WORKFLOW_IDworkflow-id \ SIM_API_KEYapi-key \ bun run load:workflow:waves可选环境变量见 apps/sim/package.json变量默认值说明BASE_URLhttp://localhost:3000压测目标地址WAVE_ONE_DURATION10第一波时长秒WAVE_ONE_RATE6第一波速率请求/秒QUIET_DURATION5两波之间的静默时长秒WAVE_TWO_DURATION15第二波时长秒WAVE_TWO_RATE8第二波速率请求/秒WAVE_THREE_DURATION20第三波时长秒WAVE_THREE_RATE10第三波速率请求/秒YAML 结构解析apps/sim/scripts/load/workflow-waves.yml 定义了 5 个 phasewave-one、quiet-gap、wave-two、quiet-gap-two、wave-three。其中静默阶段用arrivalRate: 1保持极低流量而非完全归零便于观察队列在低负载窗口的消化能力。请求体除source与runId外还携带了waveProfile: single-workspace标记便于在服务端日志中区分不同压测场景的请求来源。场景三双工作空间隔离Two-Workspace Isolation该场景用于同时向来自不同工作空间的两个工作流发送混合流量对比观察一个工作空间承受队列压力时是否会对另一个工作空间产生可见影响。默认施压曲线总速率9请求/秒持续30秒权重分配8 : 1实际效果工作空间 A 承受重压同时工作空间 B 仍保持轻量流量运行命令WORKFLOW_ID_Aworkspace-a-workflow-id \ SIM_API_KEY_Aworkspace-a-api-key \ WORKFLOW_ID_Bworkspace-b-workflow-id \ SIM_API_KEY_Bworkspace-b-api-key \ bun run load:workflow:isolation注意该场景需要两组独立的工作流 ID 与 API Key分别对应工作空间 A 与 B。可选环境变量见 apps/sim/package.json变量默认值说明BASE_URLhttp://localhost:3000压测目标地址ISOLATION_DURATION30混合施压时长秒TOTAL_RATE9总请求速率请求/秒WORKSPACE_A_WEIGHT8工作空间 A 的流量权重WORKSPACE_B_WEIGHT1工作空间 B 的流量权重YAML 结构解析apps/sim/scripts/load/workflow-isolation.yml 定义了两个带weight的场景workspace-a-traffic默认权重 8与workspace-b-traffic默认权重 1Artillery 会按权重比例分配TOTAL_RATE的流量。两个场景各自通过独立的WORKFLOW_ID_A/SIM_API_KEY_A与WORKFLOW_ID_B/SIM_API_KEY_B环境变量注入目标与鉴权头并在请求体中以workspace: a/workspace: b标记来源。x-execution-mode: async位于config.defaults.headers两个场景共用。压测输出解读与调优建议Artillery 输出会展示请求计数与响应码分布对于本地快速验证通常已经足够。README 给出了两条核心判读经验看到 429 是预期行为在默认参数下当在途请求接近ADMISSION_GATE_MAX_INFLIGHT500时你会看到 429 响应。这正是准入阀按预期工作的信号——它把超过容量的请求挡在门外并让调用方稍后重试。429 或 ETIMEDOUT 过多时先降速如果本地压测出现大量429或ETIMEDOUT应先把速率调低再考虑延长持续时间而不是继续加大压力。这是一种稳健的“先验证正确性、再验证容量”的思路。从源码角度看这个建议与准入阀的进程内计数器设计一致tryAdmit()在inflight MAX_INFLIGHT时直接返回null路由随即返回 429apps/sim/app/api/workflows/[id]/execute/route.ts。本地开发机资源有限时降低PEAK_RATE等速率参数比单纯延长HOLD_DURATION更能稳定复现排队行为。附场景速查表场景命令别名目标默认速率典型观察点基线并发load:workflow:baselineload:workflow为其别名单工作流2 → 8 req/s保持 20s正常排队行为、Free 并发 5 下的表现排队冲击波load:workflow:waves单工作流同工作空间6 / 8 / 10 req/s 三波突发流量下的队列消化能力双工作空间隔离load:workflow:isolation两个工作空间的工作流9 req/s权重 8:1工作空间间的队列压力隔离三个场景的公共行为全部发送x-execution-mode: async请求头均通过bun run script调用 apps/sim/package.json 中定义的脚本底层由 Artillery 2.0.34 执行位于 apps/sim/scripts/load/ 的 YAML 场景文件$processEnvironment机制让所有可调参数都以环境变量形式注入无需修改任何配置文件即可完成多轮不同强度的压测。【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
