hadoop主要的一些特点及相关领域发展状态

hadoop主要的一些特点
  扩容能力:能可靠地存储和处理千兆字节(PB)数据。
  成本低:可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
  高效率:通过分发数据,hadoop可以在数据所在的节点上并行地处理它们,这使得处理非常的快速。
  可靠性:hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署计算任务。

Hadoop在相关领域的发展状态
 Yahoo :34个集群,总数超过3万台机器,最大的集群是4000台左右,总存储容量超过100PB
 淘宝:单个集群规模2000台,实际存储数据超过17PB,日运行mapreduce job达6万个,开发团队240余人

Hadoop系统当前的状态
1、目前hadoop平台拥有布有36台机器。
2、每台机器的配置为:2C四核,32G,1T_RAID0*6,CentOS5.4 64bit。
3、其中35台为计算节点,共设280个cpu计算资源,存储容量175T

目前在hadoop上运行的项目
1、ddclick:
a.流量数据的存储与常用指标计算
2、研究开发组:
a.当首馆首流量(各专题单品)
b.专题页统计
c.首页轮转统计
d.推荐效果统计
e.当首所有链接分析
f.基础数据(浏览树等)生成
g.未设定时执行但随时可运行的任务:常见搜索引擎带来的流量订单统计;任意指定路径的流量收订情况;任意起始位置流量收订统计;等等
请使用浏览器的分享功能分享到微信等