Doris 高阶知识点物化视图实战指南一、核心概念两种物化视图Doris 提供两种类型的物化视图针对不同场景实现查询加速分别为同步物化视图Sync MV和异步物化视图Async MV。1.1 同步物化视图定义基于单表 SELECT 语句预计算并存储结果的特殊表由 Doris 自动维护数据写入时与基表保持强一致。核心特点实时同步基表数据变化时物化视图实时更新自动匹配查询时自动选择最优物化视图透明改写用户无需修改原有 SQL 即可命中加速1.2 异步物化视图定义通过预计算存储查询结果通过定期刷新保持最终一致性支持多表 JOIN 与复杂聚合。核心特点多表支持支持 JOIN、复杂聚合逻辑灵活刷新支持手动 / 定时 / 触发式三种刷新策略分区增量刷新仅刷新数据变化的分区大幅降低刷新开销二、快速上手实操指南2.1 同步物化视图创建与使用适用场景单表聚合查询加速例如销售明细表按门店快速聚合查询。步骤 1创建基表sqlCREATE TABLE sales_records ( record_id INT, seller_id INT, store_id INT, sale_date DATE, sale_amt BIGINT ) DISTRIBUTED BY HASH(record_id) BUCKETS 10; -- 插入测试数据 INSERT INTO sales_records VALUES (1, 101, 1, 2024-01-01, 100), (2, 102, 1, 2024-01-01, 200), (3, 101, 2, 2024-01-02, 150);步骤 2创建同步物化视图sql-- 按门店聚合销售额 CREATE MATERIALIZED VIEW store_amt AS SELECT store_id, SUM(sale_amt) AS total_amt FROM sales_records GROUP BY store_id;步骤 3查看物化视图构建状态sqlSHOW ALTER TABLE MATERIALIZED VIEW FROM test_db; -- State 为 FINISHED 表示构建成功步骤 4查询自动命中sql-- 原始查询无需修改自动使用物化视图加速 SELECT store_id, SUM(sale_amt) FROM sales_records GROUP BY store_id; -- 验证是否命中物化视图 EXPLAIN SELECT store_id, SUM(sale_amt) FROM sales_records GROUP BY store_id;执行计划末尾出现以下内容表示命中成功plaintextTABLE: test_db.sales_records, PREAGGREGATION: ON MaterializedViewRewriteSuccessAndChose: internal.test_db.sales_records.store_amt chose2.2 异步物化视图创建与使用适用场景多表 JOIN 复杂聚合可容忍一定数据延迟需要定期刷新。步骤 1创建异步物化视图sqlCREATE MATERIALIZED VIEW mv_sales_analysis BUILD IMMEDIATE -- 立即构建 REFRESH AUTO ON MANUAL -- 手动刷新模式 PARTITION BY date_trunc(day, sale_date) -- 按天分区支持分区增量刷新 DISTRIBUTED BY HASH(sale_date) BUCKETS 10 PROPERTIES ( replication_num 1, workload_group mv_group -- 资源隔离独立资源组 ) AS SELECT s.sale_date, s.store_id, o.customer_id, COUNT(*) as order_count, SUM(s.sale_amt) as total_amt FROM sales_records s JOIN orders o ON s.order_id o.order_id GROUP BY s.sale_date, s.store_id, o.customer_id;步骤 2手动刷新物化视图sql-- 全量刷新 REFRESH MATERIALIZED VIEW mv_sales_analysis; -- 分区增量刷新仅刷新指定时间范围的分区 REFRESH MATERIALIZED VIEW mv_sales_analysis PARTITION START (2024-01-01) END (2024-01-31);步骤 3设置定时刷新sql-- 每天凌晨 2 点自动刷新 CREATE MATERIALIZED VIEW mv_daily_sales BUILD IMMEDIATE REFRESH AUTO ON SCHEDULE EVERY 1 DAY STARTS 2024-01-01 02:00:00 AS SELECT ... ;三、刷新策略详解与选择3.1 异步物化视图三种刷新方式表格刷新方式适用场景优点缺点手动刷新报表系统、历史数据分析、大规模数据刷新完全控制刷新时机可避开业务高峰需要额外调度和容错机制定时刷新周期性监控、时间敏感度分级的报表数据延迟可预测刷新节奏稳定数据新鲜度有限触发式刷新基表变更频率低、多层物化视图的上层视图数据新鲜度高自动化程度高可能造成刷新风暴挤占系统资源3.2 刷新频率建议表格实际刷新耗时推荐刷新频率小于 15 秒≥ 5 分钟小于 10 分钟≥ 1 小时小于 1 小时≥ 1 天⚠️注意不建议将所有物化视图设置为高频定时刷新会导致系统资源持续被占用刷新作业相互竞争资源。四、透明改写自动命中原理4.1 什么是透明改写透明改写指查询时 Doris 自动分析 SQL 语义选择合适的物化视图改写执行计划全程无需用户修改查询语句。改写生效条件查询遵循 SPJG 模式SELECT-PROJECT-JOIN-GROUP-BY物化视图定义与查询逻辑语义兼容优化器基于成本CBO选择最优物化视图4.2 如何验证是否命中通过EXPLAIN命令查看执行计划末尾的物化视图信息sqlEXPLAIN SELECT l_shipdate, l_orderkey, count(*) FROM lineitem GROUP BY l_shipdate, l_orderkey;输出结果解读表格输出信息含义MaterializedViewRewriteSuccessAndChose透明改写成功且被 CBO 优化器选中执行MaterializedViewRewriteSuccessButNotChose改写成功但未被选中成本高于直接查基表MaterializedViewRewriteFail改写失败会列出具体失败原因五、适用场景与最佳实践5.1 同步物化视图适用场景表格场景说明示例加速聚合运算预计算 SUM/COUNT/BITMAP_UNION 等聚合按门店聚合销售额匹配不同前缀索引查询过滤列与基表索引不一致时按用户 ID 前缀索引查询预先过滤减少扫描通过 WHERE 条件提前过滤数据只查询近 30 天数据预计算复杂表达式提前计算复杂函数结果abs(k1)k21等表达式计算5.2 异步物化视图适用场景表格场景说明示例复杂聚合查询多表 JOIN 多层复杂聚合销售事实表 JOIN 多维度表报表生成固定时间点一致性快照每日经营报表、月度财务报表计算密集型分析包含复杂数学计算的分析客户生命周期价值计算数仓分层加速星型 / 雪花模型数仓加速事实表与多维度表关联查询湖仓加速外部表查询加速Hive/Iceberg 外表查询优化5.3 不推荐使用场景表格场景问题基表频繁更新刷新成本过高难以保持同步反而拖累写入性能简单查询物化视图的收益无法抵消刷新和维护成本需要实时数据异步 MV 存在数据延迟无法满足强实时要求源表数据量小优化效果不明显投入产出比低六、限制与注意事项6.1 同步物化视图限制details summary 点击查看同步物化视图详细限制/summary仅支持单表不支持 JOIN、HAVING、LIMIT、LATERAL VIEWSELECT 列表限制不能包含自增列、常量、重复表达式不能包含窗口函数不能包含 VARBINARY 类型列聚合函数限制必须作用于根表达式支持sum(a1)不支持sum(a)1聚合函数后不能有其他非聚合表达式支持SELECT x, sum(a)不支持SELECT sum(a), x列名冲突物化视图列名不能与基表或其他视图冲突可用col as xxx别名规避删除限制DELETE 条件列在物化视图中存在时需先删除对应物化视图导入性能单表上过多物化视图会拖慢数据导入速度Unique Key 模型仅用于改变列顺序不能做聚合不能直接查询同步物化视图不能被直接 SELECT 查询只能通过透明改写命中/details6.2 异步物化视图限制最终一致性无法实时同步存在数据延迟窗口函数查询包含窗口函数暂不支持透明改写多表限制物化视图包含的表数不能多于查询所涉及的表数集合操作包含 UNION ALL、LIMIT、ORDER BY、CROSS JOIN 可构建但不能用于透明改写七、监控与管理7.1 查看物化视图状态sql-- 查看数据库所有物化视图创建任务 SHOW ALTER TABLE MATERIALIZED VIEW FROM test_db; -- 查看异步物化视图刷新任务 SELECT * FROM tasks WHERE MvName mv_sales_analysis ORDER BY CreateTime DESC; -- 查看物化视图元数据 SELECT * FROM mv_infos(databasetest_db);7.2 资源管控sql-- 创建时指定 workload_group 实现资源隔离 CREATE MATERIALIZED VIEW mv1 ... PROPERTIES (workload_group mv_group); -- 通过 workload_group 限制物化视图资源使用避免影响线上业务八、实战案例电商销售分析8.1 业务需求每天分析数百万级订单数据需要按商品、时间、地区多维度统计要求查询秒级响应8.2 解决方案1. 创建异步物化视图多表 JOIN 多维聚合sqlCREATE MATERIALIZED VIEW mv_sales_daily BUILD IMMEDIATE REFRESH AUTO ON SCHEDULE EVERY 1 DAY STARTS 2024-01-01 02:00:00 PARTITION BY date_trunc(day, sale_date) DISTRIBUTED BY HASH(sale_date) BUCKETS 20 AS SELECT s.sale_date, p.product_id, p.category_id, r.region_id, COUNT(DISTINCT o.order_id) as order_cnt, SUM(o.amount) as total_amount FROM sales_detail s JOIN products p ON s.product_id p.product_id JOIN orders o ON s.order_id o.order_id JOIN regions r ON s.region_id r.region_id GROUP BY s.sale_date, p.product_id, p.category_id, r.region_id;2. 查询自动命中sqlSELECT sale_date, category_id, SUM(total_amount) as category_sales FROM mv_sales_daily WHERE sale_date 2024-01-01 GROUP BY sale_date, category_id;性能提升对比原始查询扫描数亿行明细数据耗时 30 秒使用物化视图直接读取预聚合结果响应 1 秒整体性能提升10 倍以上九、总结如何选择快速决策表表格特征推荐方案单表、固定维度聚合同步物化视图多表 JOIN、复杂逻辑异步物化视图需要强一致性同步物化视图可容忍最终一致性异步物化视图基表频繁更新慎用同步 MV或用异步 MV 手动刷新数据量大、查询复杂异步物化视图 分区增量刷新 核心原则先测后用生产环境使用前先在测试环境验证查询能否命中物化视图避免重复不要在同一张表上创建多个形态相似的物化视图可能导致改写冲突监控维护物化视图本质是增强的 ETL需要持续监控和日常维护资源隔离为物化视图刷新配置独立的 workload_group避免影响正常业务查询这份笔记涵盖了 Doris 物化视图的核心知识点包括创建、使用、刷新、监控、最佳实践等全流程内容。
