传统上,我们在Spark中都使用 COUNT(DISTINCT XXX) 来实现去重计数,但最近发现在StarRocks中有利用bitmap来实现更高效去重的方案。
参考:使用 Bitmap 实现精确去重 1. 两种去重计数方法对比在 StarRocks SQL 中,有两种主要的去重计数方法: 方法一:传统 COUNT(DISTINCT)COUNT(DISTINCT if(resource_type = 'Tr***ixContent', orderid, NULL))方法二:Bitmap 去重BITMAP_UNION_COUNT(to_bitmap(if(resource_type = 'Tr***ixConte…。
版权@|备案:粤IP*******|网站地图 地址: 备案号: 网站地图