
Greenplum公司介绍
在 PostgreSQL 的衍生生态中,Greenplum 是大数据分析领域的开创者。它基于 PostgreSQL 的内核,打造了全球最早的开源 MPP(大规模并行处理)数据仓库,解决了原生 PG 无法支撑 PB 级 OLAP 分析的痛点,同时完整保留了 PG 的生态与兼容,成为了大数据时代,企业数仓的核心标杆,也催生了整个 PG 数仓生态的发展。
创立初心:用 PG 打造低成本的大数据数仓
Greenplum 的故事,始于 2003 年,在硅谷的 San Mateo,Greenplum 公司正式成立。
彼时,大数据的浪潮正在萌芽,企业开始产生海量的业务数据,需要大规模的数据分析、商业智能来支撑决策,但当时的市场,数据仓库几乎被昂贵的商业一体机垄断,企业需要支付高昂的成本,才能搭建数仓,而普通的关系型数据库,无法支撑 PB 级数据的并行分析。
而 Greenplum 的团队,选择了 PostgreSQL 作为根基,他们相信,PG 成熟的 SQL 能力、生态,是最好的基础,他们只需要在 PG 的基础上,加入 MPP 的分布式架构,就可以打造一款低成本的、基于 x86 服务器的大数据数仓,让企业可以用普通的服务器,就可以支撑 PB 级的数据分析,不用再为昂贵的商业一体机买单。
二十年的发展:从商业到开源的进化
Greenplum 的发展,走过了二十年的历程,见证了整个大数据行业的变迁:
• 2003 年:Greenplum 公司正式成立,开始研发基于 PostgreSQL 的 MPP 数仓。
• 2006 年:Greenplum 推出了首款产品,基于 PostgreSQL 8.x 的内核,打造了 shared-nothing 的 MPP 架构,支持大规模的并行分析,迅速获得了企业客户的认可。
• 2010 年:Greenplum 被 EMC 收购,成为 EMC 大数据产品线的核心,帮助 EMC 布局大数据市场。
• 2012 年:EMC 拆分出 Pivotal Software,Greenplum 归入 Pivotal,更名为 Pivotal Greenplum Database,成为 Pivotal 的核心大数据产品。
• 2015 年:Pivotal 将 Greenplum 完全开源,采用 Apache 2.0 协议,向社区开放了所有的代码,这也让 Greenplum 迅速成为了最流行的开源数仓。
• 2019 年:Pivotal 被 VMware 收购,Greenplum 随之加入 VMware,之后被捐献给 CNCF,成为云原生大数据的核心项目。
• 2024 年:Broadcom 收购 VMware 之后,宣布商业版 Greenplum 逐步闭源,这也催生了社区的分叉项目 CloudberryDB,社区团队接过了开源维护的接力棒,继续推动 Greenplum 生态的开源发展。
架构创新:MPP 架构的 PG 数仓革命
Greenplum 的核心创新,是基于 PostgreSQL 的 shared-nothing MPP 架构,它彻底解决了 PG 的 OLAP 扩展痛点:
Greenplum 的集群,由多个 PostgreSQL 的实例组成,分为两种角色:
• Master 节点:这是整个集群的入口,它完整复用了 PostgreSQL 的 SQL 层,用户的连接、查询,和普通的 PostgreSQL 完全一样,Master 节点负责接收用户的查询,做查询的优化、调度,协调所有的节点并行工作。
• Segment 节点:每个 Segment 节点,都是一个独立的 PostgreSQL 实例,负责存储自己分片的数据,执行计算任务。数据会自动的分片到各个 Segment 节点,当用户执行查询的时候,所有的 Segment 节点会并行的处理自己的数据,最后由 Master 节点汇总结果,这让查询的性能,可以随着节点的增加,线性的提升。
同时,Greenplum 完全兼容 PostgreSQL 的所有 SQL 语法、驱动、工具与生态,用户不用学习新的语法,原来的 PG 应用、工具,都可以无缝的使用,它还加入了列存存储、高级压缩等 OLAP 的增强,将 PB 级数据的分析性能,提升了一个量级,完美适配了大数据数仓的需求。
生态的裂变:从 Greenplum 到整个数仓生态
Greenplum 的架构与思想,成为了整个 PG 数仓生态的源泉,很多厂商都基于 Greenplum,打造了自己的衍生产品:
• 阿里云的 AnalyticDB for PostgreSQL,就是基于 Greenplum 做的二次开发,优化了分布式的架构,加入了流计算、湖仓一体的能力,成为了阿里云的核心数仓产品,服务了全球大量的企业。
• 国内的很多国产数仓,比如恒生电子的 LightDB-AP,都是基于 Greenplum 的架构,做了金融场景的定制化增强,成为了国产数仓的重要选择。
而随着 AI 时代的到来,因为 Greenplum 完全兼容 PG 的生态,它天然的支持 pgvector 等 AI 扩展,用户可以在 Greenplum 上,直接处理大规模的向量数据,做 AI 的大数据分析,完美适配了 AI 时代的混合负载需求。
如今,Greenplum 已经成为了 MPP 数仓的标杆,它的架构,被无数的数仓产品借鉴,而它的实践,也证明了 PostgreSQL 的强大潜力:通过分布式的架构,PG 不仅可以支撑传统的事务,还可以支撑 PB 级的大数据分析,而这,也正是 PG 生态能够持续繁荣的核心原因。