Hadoop: 一个分布式系统基础架构,不仅运行在商用硬件系统,还可以轻松的集成结构化、半结构化数据集
MapReduce:是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,
都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。
Storm:用于处理高速大型数据流的分布式实时计算,为Apache Hadoop添加了可靠的实时处理功能,同时还增加了低延迟的仪表板和安全警报
Spark:最值得关注的大数据工具,是一个基于内存计算的开源的集群计算系统,用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍
R:用于统计分析的R语言,通过扩展R+Hadoop,可以在Hadoop集群上运行R代码
Mathout:将数据分析、分类以及筛选的算法引入Hadoop集群当中,轻松实现了大数据的分析挖掘工作
SAS:世界最老牌的数据分析和数据挖掘软件,凭借Visaul Analytics软件进入到大数据领域
SPSS:全球应用最广泛的统计分析软件,可用于统计学分析运行、数据挖掘、预测分析和决策支持
RapidMiner:范围广泛,包括各种数据艺术,能简化数据挖掘过程的设计和评价
Apache Drill:实现了Google's Dremel,有助于Hadoop用户实现更快的查询海量数据集的目的