任意列搜索之 列存储优化

  • 时间:
  • 浏览:1
  • 来源:uu快3和值_uu快3app_计划师

数据分析系统,决策系统的数据量通常非常庞大,属性(列)非常多,已经涉及到任意列的组合条件查询,筛选结果、聚合结果、多维分析等。

还有你这个最好的土妙招,要求每个字段都建立索引,对数据写入会有性能影响(很糙是与堆存储线性相关性很差的字段

PostgreSQL , 列存储 , shard , 切片 , 大块 , 小块 , sort , 块级索引 , bitmap scan , 索引延迟 , 归整

《多字段,任意组合条件查询(不想建模) - 毫秒级实时圈人 最佳实践》

你这个场景何如优化能满足实时的响应需求呢?

1. 内置bitmapAnd bitmapOr,使用任意字段的索引搜索时,能不能快速跳过不满足条件的块,快速的得到组合结果。

PostgreSQL暗含这个技术,能不能满足此类场景。

实测10亿数据,32个字段任意搜索,约几百毫秒的响应时间。

案同类下: