消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载Apache Pulsar 官方提供了一套基于 DC/OS数据中心操作系统的部署方案以 Marathon Application Group 的形式将 BookKeeper 存储层、Pulsar Broker 服务层以及 Prometheus/Grafana 监控层一键编排到 Mesos 集群中。本文以 Apache Pulsar 2.3.0 官方部署文档为骨架完整还原前置条件、命令行部署、GUI 验证、监控接入、生产消费端到端测试与卸载流程并结合仓库源码补充端口、镜像与底层组件原理帮助你在 DC/OS 1.9 集群上快速落地一套可运行的 Pulsar 集群。提示本文核心操作与命令继承自 deploy-dcos.md文中涉及的文件路径均以当前仓库根目录为基准。DC/OS 与 Apache Pulsar 的部署形态DC/OSDataCenter Operating System是一款基于 Apache Mesos 的分布式操作系统由 Mesosphere 创建并维护用于在数据中心规模上部署和管理应用程序与系统。Apache Pulsar 以 Marathon Application GroupMarathon 应用组的形式发布——应用组可以把多个相关应用当作一个可管理的集合统一运行这正是 Pulsar 集群多组件BookKeeper、Broker、监控协同部署的理想载体。关于镜像选择官方文档给出了一条重要建议如果希望在 Pulsar 部署中启用全部内置的 Pulsar IO 连接器应使用apachepulsar/pulsar-all镜像代替默认的apachepulsar/pulsar镜像。从当前仓库的 pulsar-all Dockerfile 可以看到实现方式它基于apachepulsar/pulsar:latest并把/connectors全部内置连接器与/offloaders分层存储卸载器两个目录合入镜像FROM busybox as pulsar-all ARG PULSAR_IO_DIR ARG PULSAR_OFFLOADER_TARBALL ADD ${PULSAR_IO_DIR} /connectors ADD ${PULSAR_OFFLOADER_TARBALL} / RUN mv /apache-pulsar-offloaders-*/offloaders /offloaders FROM apachepulsar/pulsar:latest COPY --frompulsar-all /connectors /pulsar/connectors COPY --frompulsar-all /offloaders /pulsar/offloaders两种镜像的定位在 docker/README.md 中有明确说明apachepulsar/pulsar包含运行一个完整 Pulsar 集群所需的全部组件apachepulsar/pulsar-all则在此基础上附加大量连接器与卸载器。具体连接器清单可参考 io-overview.md。前置条件在 DC/OS 上运行 Pulsar需要准备以下环境DC/OS 版本 1.9 或更高一个至少包含 3 个 agent 节点的 DC/OS 集群已安装 DC/OS CLI 工具获取PulsarGroups.json配置文件——该文件是本次部署的核心编排文件位于 Apache Pulsar 官方仓库的deployment/dcos/目录下随版本分支维护。获取该文件的方法$ curl -O https://raw.githubusercontent.com/apache/pulsar/master/deployment/dcos/PulsarGroups.json说明当前仓库副本的 deployment 目录下仅包含 kubernetes 与 terraform-ansible 两种部署方式PulsarGroups.json需从 Apache Pulsar 官方仓库对应版本分支获取后使用。DC/OS 托管的 Mesos 集群中每个节点至少需要满足资源最低要求CPU4 核内存4 GB总持久磁盘60 GB如果你所在集群的资源规格不同也可以直接修改PulsarGroups.json中的资源配置使其匹配 DC/OS 集群的实际容量。该文件内为每个 Marathon 应用bookie、broker、prometheus、grafana 等声明了cpus、mem、disk等资源约束部署前按需调整即可。使用 DC/OS 命令行部署 Pulsar完成准备后通过 DC/OS CLI 执行一条命令即可完成部署$ dcos marathon group add PulsarGroups.json该命令会以 Docker 容器实例的方式部署三个应用组它们共同构成一个完整的 Pulsar 集群BookKeeper 组3 个 bookie每个 agent 节点各 1 个另含 1 个 bookie recovery 自动恢复实例Pulsar Broker 组3 个 broker每个节点各 1 个另含 1 个 admin 实例监控组1 个 Prometheus 实例和 1 个 Grafana 实例。这里有一个 DC/OS 特有的便利DC/OS 自身已经运行了一套 ZooKeeper 集群地址为master.mesos:2181因此Pulsar 部署无需再单独安装或启动 ZooKeeper。Pulsar 的 broker 与 bookie 会直接复用这套内置 ZooKeeper 来存储元数据、完成服务发现。命令执行完毕后在浏览器中访问 DC/OS GUI本例为 http://m1.dcos点击Services标签页即可看到多个应用正在部署中。关于 DC/OS GUI 各版本的具体用法请参考你所部署版本的官方 GUI 文档本文以 1.9 版本示例为准。BookKeeper 组验证 bookie 集群状态在 GUI 的父级pulsar组中点击bookkeeper组即可查看 BookKeeper 集群的部署状态。此时 3 个 bookie 应显示为绿色表示已成功部署并正常运行。点击任意一个 bookie 实例可以查看更详细的信息例如该 bookie 的运行日志此外还可以通过 Exhibitor 直接查看 ZooKeeper 中 BookKeeper 的注册信息访问 http://m1.dcos/exhibitor本例中 3 个 bookie 均注册在available目录下。从 Pulsar 架构上看bookie 是 Apache BookKeeper 的存储服务器负责以 append-only ledger 的形式持久化消息参见术语表 reference-terminology.md 中 Bookie 与 Ledger 的定义。Pulsar 的消息可靠性正是建立在 bookie 的多副本持久化与自动恢复bookie recovery机制之上这也是为什么部署中要为每个 agent 节点额外安排一个 recovery 实例用于在 bookie 宕机后自动重建副本。Pulsar Broker 组验证 broker 集群状态与 BookKeeper 组类似点击brokers组查看 Pulsar broker 的运行状态同样可以点击每个 broker 实例查看详细信息与运行日志broker 集群信息同样可以通过 Web UI 在 ZooKeeper 中查看。本例中可以看到loadbalance和managed-ledgers目录已被创建——前者记录 broker 的负载均衡状态后者记录由 broker 管理的 ledger 元数据从源码视角看broker 是 Pulsar 集群中无状态的服务组件负责客户端接入与消息分发。其默认服务端口在 conf/broker.conf 中定义brokerServicePort6650 webServicePort8080其中 6650 是 broker 与客户端之间二进制协议dispatcher异步 TCP 服务的通信端口8080 是提供管理接口与 topic lookup 的 HTTPREST服务端口。DC/OS 部署教程中的客户端连接地址正是基于 6650 端口构造的pulsar://URL。监控组Prometheus 与 Grafanamonitory组由 Prometheus 和 Grafana 两个应用构成为整个 Pulsar 集群提供指标采集与可视化能力Prometheus点击prom实例可以获取 Prometheus 的访问端点本例为192.168.65.121:9090。访问该端点可看到 Prometheus 仪表盘其中 http://192.168.65.121:9090/targets 页面会列出当前被采集的所有 bookies 和 brokersGrafana点击grafana实例获取 Grafana 的访问端点本例为192.168.65.121:3000。访问该端点即可进入 Grafana 仪表盘关于 Prometheus 与 Grafana 与 Pulsar 的完整集成方式指标抓取配置、常用监控面板等可进一步参考同版本部署文档 deploy-monitoring.md。在 DC/OS 上运行消费者与生产者端到端验证集群部署完成后通过一个简单的 Java 消费者与生产者示例可以直观验证 Pulsar 在 DC/OS 上的消息收发链路。下载并准备 Pulsar Java 教程首先克隆官方文档配套的 Pulsar Java 教程仓库pulsar-java-tutorial该仓库包含一个简单的 Pulsar consumer 与 producer 示例$ git clone https://github.com/streamlio/pulsar-java-tutorial接下来需要修改两处代码修改 SERVICE_URL将ConsumerTutorial.java和ProducerTutorial.java中的SERVICE_URL从pulsar://localhost:6650改为pulsar://a1.dcos:6650。pulsar://a1.dcos:6650指向 broker 服务端点a1.dcos是运行 broker 的 DC/OS 客户端 agent 主机名各 broker 实例的端点详情可以从 DC/OS GUI 中获取也可以直接用该 client agent 的 IP 地址替换。调整消息数量将ProducerTutorial.java的 main 方法中消息数量从 10 改为 10000000一千万以便产生更多消息来观察吞吐与监控曲线。然后编译项目$ mvn clean package运行消费者与生产者分别执行以下命令启动 consumer 和 producer$ mvn exec:java -Dexec.mainClasstutorial.ConsumerTutorial$ mvn exec:java -Dexec.mainClasstutorial.ProducerTutorial此时可以通过 DC/OS GUI 看到 producer 持续生产消息、consumer 持续消费消息的过程从源码层面看consumer 与 producer 是 Pulsar 客户端 SDK 的核心入口对应 pulsar-client 模块中的Consumer/Producer接口与ConsumerImpl/ProducerImpl实现。示例中客户端通过pulsar://协议 URL 完成 topic lookup 与服务发现——broker 会动态告知客户端具体由哪个 broker 为对应 topic 提供服务这正是 Pulsar 多 broker 集群下客户端无需感知拓扑即可收发消息的关键机制参见术语表 reference-terminology.md 中 Topic Lookup 与 Service Discovery 的定义。查看 Grafana 指标输出在 producer 与 consumer 运行期间可以打开 Grafana 仪表盘查看实时的运行指标包括吞吐、延迟、积压等关键监控数据卸载 Pulsar你可以随时通过以下两种方式之一关闭并卸载 DC/OS 上的pulsar应用通过 DC/OS GUI在 Pulsar 组的最右侧选择Delete。通过命令行$ dcos marathon group remove /pulsar该命令会递归删除pulsar应用组下的全部子应用bookies、brokers、Prometheus、Grafana 及其容器实例完成集群的整体清理。总结与延伸阅读通过本文你可以看到Apache Pulsar 在 DC/OS 上的部署高度自动化一条dcos marathon group add命令即完成存储层、服务层、监控层三组应用的编排内置 ZooKeeper 的复用省去了元数据服务的独立部署GUI 与 Exhibitor 提供了直观的状态验证手段而 Prometheus Grafana 则让集群运行指标一目了然。如果你想继续深入部署时若需启用全部内置连接器参考 pulsar-all Dockerfile 与 docker/README.md 了解镜像构成或参阅 io-overview.md 查看连接器清单了解 broker/bookie 等核心概念参阅术语表 reference-terminology.md掌握 Prometheus 与 Grafana 的指标接入细节参阅 deploy-monitoring.md查看 broker 默认端口与服务配置参阅 conf/broker.conf。版本提示本文操作步骤与命令以 Apache Pulsar 2.3.0 版本文档为准若使用其他版本请以对应版本的官方部署文档与PulsarGroups.json文件为准。赞分享消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载相关推荐Apache Pulsar 在 DC/OS 上部署实战基于 Marathon 应用组的完整指南Apache Pulsar 在 DC/OS 上部署实战基于 Marathon 应用组的完整指南 Apache Pulsar 官方将整套集群封装为 DC/OS消息队列后端流处理在 DC/OS 上部署 Apache PulsarMarathon 应用组部署、验证与卸载实战在 DC/OS 上部署 Apache PulsarMarathon 应用组部署、验证与卸载实战 本文以 Apache Pulsar 官方文档中 DC/OS 部消息队列后端流处理Apache Pulsar 基于 Docker 部署多组件集群实战指南Apache Pulsar 基于 Docker 部署多组件集群实战指南 导读 本文面向希望在 Docker 环境中快速搭建 Apache Pulsar 集群的开消息队列后端流处理上一篇推荐开源神器ReProvision - 自动重签名iOS和tvOS应用下一篇2025年终极PS2模拟器使用指南PCSX2完整教程与优化技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
