Pinot实时分布式的OLAP数据存储和分析系统
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括 Hadoop 和各类文件)和在线数据源(如 Kafka)中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。
Pinot 特别适合这样的数据分析场景:分析模型固定,数据只追加以及低延迟,以及分析结果可查询。
关键特性:
面向列的数据库,提供多种压缩模式,如运行长度、固定比特长度
可插入式的索引技术,包括可排序索引、Bitmap 索引和反向索引
可根据查询和段元数据对查询和执行进行优化
近乎实时的从 Kafka 获取数据,以及批量从 Hadoop 获取数据
类 SQL 的语言支持查询、聚合、过滤、分组、排序和去重
支持多值字段
水平伸缩以及容错
Pinot 非常使用用来查询时许数据以及大维度的数组。
Pinot 的组件架构:
Pinot 核心概念:
示例查询:
/*Total number of documents in the table*/select count(*) from baseballStats limit 0/*Top 5 run scorers of all time*/ select sum('runs') from baseballStats group by playerName top 5 limit 0/*Top 5 run scorers of the year 2000*/select sum('runs') from baseballStats where yearID=2000 group by playerName top 5 limit 0/*Top 10 run scorers after 2000*/select sum('runs') from baseballStats where yearID>=2000 group by playerName limit 0/*Select playerName,runs,homeRuns for 10 records from the table and order them by yearID*/select playerName,runs,homeRuns from baseballStats order by yearID limit 1
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 权威报告:中国移动5G网速最高 下行均值速率达355.31Mbps
- 金壮龙任工业和信息化部党组书记
- 徐州疫情最新消息今天
- “创新杯”决赛名单公布!原来这就是别人家的小孩
- 网申倒计时VS空宣直播城市专场!
- 欧拉全新发布 | 统信荣获“最佳实践伙伴”奖项
- 王晓初:共建共享700MHz频率 利好四家运营商
- 【大公司创新情报】激励更多女性加入科技创新,华为推“女性开发者计划”
- 先扫后拖?干活太累?清洁何须如此麻烦?
- B 站或代理《赛博朋克 2077》;三星有望发布 Galaxy Book Go 笔记本|Do早报
- 大火的 flomo 来了,微信里也能用
- B站发布公告:即日起将严格限制、审核、管理马保国相关视频内容;全国行政村4G覆盖率已超过98% |Do早报