数据备份；
根据当时（13年初）的评估：每天的备份压缩后数据有175T，需要传输到同城的一个分布式存储备份系统中；
大家知道这是什么概念吗？我们要求不影响正常的业务；要求在凌晨1-7 6个小时内完成备份+传输数据
21600秒内备份+压缩+传输1433600Gb数据
也就是说要求有67Gbps/s的网络带宽满负载跑6小时才能完成任务
带宽，数据完整性怎么保证？
但是除了你备份业务凌晨的时候还有大量的计算任务
深圳--三毛(22547202)  17:16:55
不能增量备份吗？每天增量都有这么大？
杭州-小白(380651310)  17:17:15
MySQL实现不了增量
深圳--三毛(22547202)  17:17:28
binlog
杭州-小白(380651310)  17:17:37
binlog也备份了
就是说 ， 单独备份 就弄了一个很大的备份中心，并且备份的数据是存储三份的
福建-笑到最后(529513481)  17:19:12
这个备份到hadoop不就至少3份吗？
设置好副本集数量
杭州-小白(380651310)  17:19:31
呵呵  你可以认为是hadoop ；
其实不是
公司自己写的东西
福建-笑到最后(529513481)  17:19:53
呵呵，这么高级
杭州-小白(380651310)  17:20:26
大家知道带宽每Gbps多少钱吗？
苏州-William(737597189)  17:21:24
毫无感觉
求数据
杭州-小白(380651310)  17:21:42
按公里和带宽算的
公里数我不清楚 但是当时按Gbps算是2WGbps
无锡-小勇(80001885)  17:23:00
那怎么解决的？很敢兴趣
杭州-小白(380651310)  17:23:08
砸钱啊
无锡-小勇(80001885)  17:23:24
具体点呢 哥
杭州-小白(380651310)  17:23:43
光带宽每个月就要几千万啊
无锡-小勇(80001885)  17:24:03
凌乱了
杭州-小白(380651310)  17:24:29
还有备份的服务器；
我们要求保留30天的备份；
30*175T*3
16PB数据
深圳--三毛(22547202)  17:27:23
那怎么办？
深圳-小新(759573919)  17:29:04
那怎么办？
杭州-小白(380651310)  17:29:08
300多台服务器 每台服务器的容量：16000GB/(2T*12*0.75）=900台NB服务器
5000w妥妥的没了；；；
杭州-小白(380651310)  17:30:19
兄弟们 单独备份的服务器就5000w妥妥的没了；；；
所以做云计算是非常烧钱的
深圳--三毛(22547202)  17:30:40
5000W真没了？
杭州-小白(380651310)  17:30:41
国内也没几个公司能做起来 是有原因的
东莞-大海(1594843480)  17:30:42

杭州-小白(380651310)  17:30:57
接下来采购数据库服务器；
那玩意儿更贵
1台我们是8w ， 当时采购1k台 是多少？
还有一大批app服务器； 
哈哈 不说钱的事情了 
压力很大
上海-莫小海(1621861384)  17:32:08
@杭州-小白 先把钱的事情说好了，咱继续说技术
北京-sqlercn(16844032)  17:32:18

深圳--晴天(370395917)  17:33:53
土豪
杭州-小白(380651310)  17:34:37
前端用到了 app服务器 有 ：
web 性能采集、任务管控，只能管控，api、openapi、proxy、drds、migrate、zk、lvs、rgw等等、
数数几百台也能数出来吧 ；
杭州-小白(380651310)  17:35:39
其中 rgw 一台大概是12w 、 rgw前端需要接lsw交换机
每台交换机也是60-70w吧 ； 而且一个集群就要2台以上交换机
北京-sqlercn(16844032)  17:36:20
这个是聚合分析那个?
福建-笑到最后(529513481)  17:36:24
交换机多少端口？
北京-no(854124669)  17:36:32
lsw交换机 = lan switch ?
杭州-小白(380651310)  17:36:48
这种交换机是用来跑路由协议的；
北京-no(854124669)  17:36:49
有那么贵？
哦，3层交换机
杭州-小白(380651310)  17:37:14
端口 一般是48口 但是只能放20台服务器（双A）
这种交换机不对服务器直接提供服务 
他和rgw跑路有协议 
rgw是一个转发服务器；
杭州-小白(380651310)  17:39:16
还有跨城数据同步 也要用到大量带宽 那个带宽可贵了 ；
说了半天 就是说： 云计算非常烧钱，而且是先烧钱再有收入
北京-no(854124669)  17:40:11
你们2个机房中间为什么不自己 搞根 光纤，连上呢？

也会那么贵吗？一次性投资。
杭州-小白(380651310)  17:40:17
国内现在提供商业云计算的 也就只有阿里云一家了吧 ， 起他基本都被搞死了 ；

光纤不是你说搞就搞的。
北京-打杂(5876006)  17:40:55
跨城光纤很贵
杭州-小白(380651310)  17:41:09
跨城光纤都只有租用的方法 
自己不能拉
北京-打杂(5876006)  17:41:13
icbc 北京到上海有一根629m的光纤
上海-莫小海(1621861384)  17:41:18
其它的像盛大的，估计就是钱投入太少了
所以死了
北京-打杂(5876006)  17:41:23
四大银行 其他的都没有
北京-no(854124669)  17:41:31
他是同城吧
北京-打杂(5876006)  17:41:37
北京到上海
杭州-小白(380651310)  17:41:48
同城的光纤 自己拉的有 但是也有很大的费用；
北京-打杂(5876006)  17:41:52
工行的数据中心 非常壮观
北京-no(854124669)  17:41:53
阿里云，就在杭州？
一个城市呗？2个机房？
深圳-打打杂(1169749007)  17:42:08
感觉好上流的感觉
杭州-小白(380651310)  17:42:13
而且你流量这么大， 你得买一大堆交换机、核心路由器 核心交换机
一般网络的架构：
核心路有，核心交换，汇聚交换，接入交换
核心的东西和汇聚的东西都是高大上 动不动几百万啥的
北京-no(854124669)  17:43:53
嗯，这个网络交换设备也要双冗余，
杭州-小白(380651310)  17:44:17
阿里的所有业务和设备都是双备或者三备的
我说的包括所有网络设备、服务器设备、安全设备，控制设备都是
还有网络线路 光纤线路 电力线路 等等都是
所以  成本压力巨大
北京-no(854124669)  17:46:47
嗯。这个阿里云，你们的业务也在上面？都在这个上面吗？
杭州-小白(380651310)  17:47:24
聚石塔（天猫的业务）、聚宝盆（金融项目）都在上面
深圳-CalvinStyle(253247539)  17:47:27
不能用有钱形容了

杭州-小白(380651310)  17:47:36
最出名的 余额宝就是聚宝盆下面的
余额宝知道吧；
北京-no(854124669)  17:47:52
知道。
深圳--三毛(22547202)  17:47:55
这5000台，平时负载是多少啊。
杭州-小白(380651310)  17:47:59
就泡在聚宝盆下面的集群；
深圳--三毛(22547202)  17:48:03
我怎么感觉用不了5000台啊。
北京-no(854124669)  17:48:11
天猫，淘宝。我还知道这2个也在了？
杭州-小白(380651310)  17:48:24
哥  5000台说的是odps集群 ， 不是数据库集群 
北京-no(854124669)  17:48:29
他有冗余呗
还出租呢。
深圳--三毛(22547202)  17:48:38
负载多高啊。
现在用了几成负载。我可能问得不专业。
北京-no(854124669)  17:50:38

哦，这个
杭州-小白(380651310)  17:53:47
哥；@深圳--三毛  你的问题很好；
首先云计算不是一下子就计算了， 他首先是一个计算服务
计算服务首先要有一对资源放在那里 ， 你买了这个服务才会分配资源给你
杭州-小白(380651310)  17:55:12
所以 你问的这个问题是针对于单机操作系统服务的时候有这个概念；
云计算里面这个概念并不重要；
但是：
为了提升单位面积的投入产出， 做了很多优化算法
然后 。。。 你懂得
杭州-小白(380651310)  17:56:16

今天就先说到这里； 改天在说技术层面的东西
北京-木木  17:56:42

深圳--三毛(22547202)  17:57:08
他怎么支撑大IO操作呢。比如我很大的记录在mysql中，我要处理
他CPU可以别人帮忙，但DATA可能只有一份在云里
北京-酱油帝(280433146)  17:58:02

深圳--三毛(22547202)  17:58:30
这问题我估计问砸了。
杭州-小白(380651310)  17:58:35
你这个是技术问题 ；
改天在说
深圳--三毛(22547202)  17:58:54
好。谢谢。
杭州-小白(380651310)  17:59:12

其实已经回答了你的问题
只是细节没说；
深圳-CalvinStyle(253247539)  17:59:30
小白狠是专业
深圳--三毛(22547202)  17:59:49
嗯。我不太懂。细节我想听听大IO是怎么支撑的。
北京-八宝旗(1784499492)  18:04:58

顺便说一句，酱油很帅气

北京-黑莓用户  18:05:59
亏了，没去
北京-八宝旗(1784499492)  18:06:18
下次你有时间了我请你两
北京-黑莓用户  18:06:45

上海-莫小海(1621861384)  18:08:59
@北京-八宝旗 
哈哈，外貌控？
北京-八宝旗(1784499492)  18:09:39
只是和我想象中的不一样
和酱油聊天能收获不少
不止是技术方面的
北京-黑莓用户  18:10:36
下班
北京-酱油帝(280433146)  18:10:37
哥们抬举我了
只是我的长相绝对颠覆你们任何人的想象
你们对我长相的想象都是错的
哇哈哈哈
杭州-小白(380651310)  18:11:36
哈哈 酱油是很厉害
北京-酱油帝(280433146)  18:11:45
我吹牛逼很厉害
杭州-小白(380651310)  18:11:47
想酱油致敬
\
北京-酱油帝(280433146)  18:12:20
白总什么时候内推mib去alibaba吧
这厮在群里搞的大伙都恐惧了
杭州-小白(380651310)  18:12:36
内推过几次；；；
他瞧不上咱；；；
北京-no(854124669)  18:12:46


0.75 意思是啥意思。使用率？
杭州-小白(380651310)  18:12:52
伤心啊 ；
磁盘不可能使用到100%吧？
北京-no(854124669)  18:13:19
哦。2T一块 * 12快？
杭州-小白(380651310)  18:13:21
还有磁盘有很多索引结构（元数据） 也会消耗很多空间
对
北京-no(854124669)  18:13:29
raid5？
杭州-小白(380651310)  18:13:35
不做raid
完全散列
北京-酱油帝(280433146)  18:13:48
小白刚才说的问题很靠谱，就这个备份的问题真心值得好好坐下来想一想@北京-八宝旗 ，因为面临大数据的时候这个带宽真心是tm的最贵的。
北京-no(854124669)  18:13:50
哦。有云了，就不用raid了？
杭州-小白(380651310)  18:14:01
我说的这个是备份系统
不是数据库服务器
北京-no(854124669)  18:14:12
嗯。
深圳-打打杂(1169749007)  18:14:16
运维要失业了？
以后都不用自己买机器了
北京-no(854124669)  18:14:44
很有可能，这么看，至少硬件都不用维护了。

杭州-小白(380651310)  18:14:45
只是自己不用运维机器了而已
该做的事情还得做
北京-no(854124669)  18:15:02
ibm云，不是说也要进入中国吗
杭州-小白(380651310)  18:15:22
这些听多了 都乏了
北京-no(854124669)  18:15:32
哦。好吧
杭州-小白(380651310)  18:15:38
之前不是亚马逊牛逼哄哄的 不也没冒啥泡。
北京-八宝旗(1784499492)  18:16:01
我先想想方案，目前还没碰到太大数据量的备份，希望之后有机会实践下
杭州-小白(380651310)  18:16:03
过段时间出来哄一嗓子 然后刷刷存在感
北京-no(854124669)  18:16:05
你们的阿里云，就在杭州了？
机房都是你们自建的？
杭州-小白(380651310)  18:16:16
如果亚马逊能做起来才是好事情
深圳-打打杂(1169749007)  18:16:54
你存在，我深深的脑海里。@杭州-小白 
杭州-小白(380651310)  18:17:07
@北京-no  阿里云在杭州 但不代表机房都在杭州
机房到处都有 ；
所以才有了异地数据同步 一致性 app状态机的问题嘛