实时数据洞察在业务管理中的重要性无可替代。在滴滴内部，网约车实时看板是公司最关键的业务监控工具之一，包含着超过20个重要的业务指标，如实时呼叫量、冒泡数量和GMV等。这些实时看板数据对于业务、数据和运营团队至关重要，提供了即时见解，帮助我们更好地了解业务的状态和趋势。
通过实时监测这些数据，我们能够迅速应对市场波动，做出及时决策，例如：
然而，关键业务指标的计算通常需要大量的精确去重操作，尤其在高峰访问期间，这可能会对资源造成巨大压力，也是众多OLAP系统一直以来的挑战之一。为了平衡计算成本，许多系统牺牲了准确性，提供模糊去重的方法，这也是滴滴过去基于Druid的指标计算方案所采用的策略。
02
实时看板场景具有以下显著特点：
03
在结合业务特点和StarRocks的物化视图能力，我们设计了整个看板场景的加速优化链路。以下是设计的主要思路：
为了最大限度地降低去重操作对CPU的消耗、加速去重，我们的整体思路是：
接下来展开讲解每一部分是如何构建的。
StarRocks支持两种类型的去重方式：Hyper-loglog和BITMAP。对于需要精确去重的指标，我们使用BITMAP类型。
StarRocks内部采用了RoaringBITMAP的实现方式，字段类型要求在INT(64)位以内，并在数据连续性较好的情况下性能表现更佳。如果数据具有连续递增的特性，相较于完全随机的ID性能优势可达数倍以上。因此，滴滴在StarRocks中实现了高基数全局字典的功能。
这里利用到StarRocks主键模型表的部分列更新以及自增列功能。文档请见：
第二步：字典映射函数
我们实现了字典映射的函数dict_mapping，其入参包括字典表表名和主键值。它可以在计算时实时查询字典表，并返回生成的ID值。为了提高性能，我们使用了StarRocks的主键索引进行加速，相比于基于直接扫描，性能提升非常显著。这个函数目前已经贡献回社区，欢迎大家使用。
第三步：Flink数据写入
对Flink的flink-starrocks-connector进行改造，数据写入分为两步：
通过这一流程，实现了在StarRocks中的全局字典功能，用于高效处理需要精确去重的指标计算。这个优化方案显著提高了性能并降低了计算成本，使得处理高基数去重变得更加高效和可扩展。
在增量聚合层我们创建了同步物化视图。同步物化视图同样提供了基于BITMAP和HLL算法的去重方式。我们可以方便地利用BITMAP聚合函数来创建同步物化视图。同步物化视图创建完成后，后续查询语句中的子查询count(distinctorder_id)会被自动改写为bitmap_union_count(to_bitmap(order_id))以便查询命中物化视图。例如：
在上述过程中，需要创建的异步物化视图数量可以通过以下方式进行优化，以降低视图建设的成本：
通过以上优化策略，如果数据表中有M个可累加维度列和N个不可累加维度列，那么只需要创建2^(N-M)个异步物化视图，而不是2^N个。这样可以大幅减少视图数量的同时满足绝大多数查询条件的加速需求，降低了建设和维护的成本，提高了系统的可维护性和效率。
04
StarRocks提供了物化视图的透明加速功能，使用户可以无需手动选择使用哪张表，而是通过自动改写查询来实现加速，同时保持查询的语义一致性和性能提升。
假设有以下查询示例：
设计方案的核心在于权衡，而方案的成功关键在于综合性能的提升。对于看板类查询，其并发性非常高，但查询模式相对固定。大多数查询都是相似甚至重复的。因此，整体方案的思路在于在一定程度上牺牲灵活性，以保障查询性能的极致提升。相较于基于明细直接计算，基于StarRocks物化视图对业务监控看板进行加速优化的优点显而易见：
当前，线上通过物化视图支持了上百并发的精确去重查询，彻底解决了Druid仅能支持几十并发模糊去重的问题，相较于原有架构QPS提升了10倍。然而，方案也存在一些明显的不足之处，包括：
未来，我们会联合社区进一步优化物化视图，提高效率：
并且，社区也在研发更加高效的全局字典，通过将字典表直接缓存在BE/CN的内存上，以降低查询字典时的网络开销，以满足除精确去重之外的更多场景。
StarRocksFeatureGroup-MV：
扫码加入我们的“StarRocks物化视图用户小组”
StarRocks物化视图用户小组
关于StarRocks
金融：中信建投｜中原银行|申万宏源|平安银行|中欧财富
游戏：腾讯游戏｜波克城市｜欢聚集团｜37手游|游族网络
新经济：蔚来汽车｜理想汽车｜顺丰｜京东物流｜跨越速运|大润发｜华润万家｜TCL｜万物新生|百草味|多点DMALL|酷开科技
StarRocks技术内幕：极速湖仓神器：物化视图｜存算分离，兼顾降本与增效｜实时更新与极速查询如何兼得｜QueryCache，一招搞定高并发｜资源隔离｜大数据自动管理｜查询原理浅析