一起技术成长
-
安瑞哥是码农
2022-10-30 22:28:51
-
数据库开发技术
-
原创
熟悉我的小伙伴都知道,作为一个职场老兵,我已经工作了整整10年之久,如果算上实习经验,截止到今天为止,有足足12年的职场经验。可能比较幸运,2012年,我从刚毕业的第一份工作中就接触到了大数据技术,当时我所在的是一个很大的数据仓库项目组,项目用到的技术是传统RDBMS + 大数据生态的组合。还记得最初我们的大数据集群是Hadoop1.x版本(因为当时只有1.x),主要的技术组件为HDFS1.x、MapReduce1.x、Hive0.x、HBASE0.x、Zookeeper1.x。
从现在来看,这个组合应该是一个最为朴素的大数据解决方案了,因为当时Hadoop的商业之路才刚刚开启,生态也都不太完善,bug非常多,我们当时应该算是最早一批使用开源Hadoop生态的商业公司了。当时我在项目中的角色为后端运维,负责确保整个数仓系统的各个服务、数据应用高效稳定的运行,对于当时的我来说每天的工作就是时刻留意各种系统告警的邮件,一旦有程序报错、报表数据有问题,就得第一时间去处理。
而这里面,最不让人省心的,就是这套Hadoop集群了,我印象最深的是,每次当集群提交的任务只要超过一定的数量(好像是1000左右),那么管理任务的主服务就特别容易因为负载过高而挂掉(当时这个主服务在1.x时候是没有负载均衡机制的)。因为当时是MapReduce1.x,还没有引入YARN,因此所有的任务调度与管理都只能让一个叫做JobTracker的服务来全权负责,当集群提交的任务越多,这个服务肩上的担子就越重,而一旦管理的任务量超过一定阈值,那么它就很容易歇菜。我作为一个救火的角色,参与了无数次因为当时的Hadoop生态不完善,技术成熟度不高带来的各种【坑爹】救场行动,我当时心想:这么操蛋的玩意,为什么要用它呢,嫌我们运维不够累吗?不过后来事实证明,这个累是非常值得的,我因此积累了一大段当时行业内大多数人都无法企及的对大数据技术的初始认知,和宝贵的实战经验。
很快,Hadoop2.x版本开始发行,YARN的加入,以及各种加强patch的推出,让我们对这个【风雨飘摇】的大数据集群又重拾了信心,项目组第一时间进行升级,成为了最早一批吃螃蟹的人。事实证明Hadoop2.x,是一次具有里程碑意义的版本改进,我们的运维工作量大大减少不说,任务的处理效率也有较大幅度的提升,以前那个像是被下过诅咒的1000任务限制,也不复存在。
很快,我们的大数据集群规模就从原来的100+数量,翻了一倍,而之前的DB2节点规模却在逐步萎缩,越来越多的数据业务被迁移到了Hadoop集群,且在随后的时间里,这两者的数量一直都保持着此消彼长的态势。当时我就意识到,Hadoop技术一定会成为未来数据解决方案的主流,于是果断自学起了Java,开始慢慢积累coding的基础,为后续转大数据开发做准备。在接下来的时间,我成功转型为大数据开发、架构、售前、项目经理、大数据平台负责人等角色,此处略去1万字(以后慢慢给大家展开讲)...
我是一个热爱分享的人,大家从我的视频、文章、私聊、以及讨论群中对大家问题的解答应该也能看出来,而且内容绝不会糊弄大家,所有大家问我的问题,无论技术也好、职场困惑也罢,我都会尽我所能地去回答。
而对于有些我不十分确定的知识点,为了不误导大家,我都会去进一步查资料求证,或者亲自动手做实验,为的就是给提问者一个尽可能严谨的答案。但是你要知道,目前做这些事情都是利用业余时间,主业还要带团队,解决各种生产问题。因此,精力确实有限,所以对于有些小伙伴的问题,我有时候就没能顾地上来回答,也请大家见谅。我知道,目前我提供的无论是视频也好、公众号文章也罢,或者讨论群,能提供的有效学习内容还是有限,对于部分真正想学大数据技术,想提高自己的职场竞争力的小伙伴,这些是远远不够的。
有很多小伙伴私信问我有没有付费课程,或者付费社群之类的,一开始我没有当回事,直接回答说没有,因为我最开始只是单纯的想分享下我这些年来对技术的总结和思考。但是随着问的人越来越多,我也在慢慢思考这个问题,有没有必要组建这样一个纯粹的学习环境,给那些真正渴望技术提高、知识进步的小伙伴一个良好的成长氛围。我想到了知识星球,我想把大家平时在讨论群里关心的、以及小伙伴在私下问我的问题,挑选一些有代表性的,全部将其放到星球里面,然后对这些具有代表性的问题做一个细致的、全面的、较为深入的解答。
争取让大家能够通过这些共性问题的回答,做到举一反三,对以后类似的疑问做到触类旁通,而不是简单的给与你一个敷衍的回答。对于星球的初期内容,我已经整理了约20个代表性问题,以及积累了诸多学习资料,相信目前已经沉淀的内容,都是对你的学习和工作有帮助的。
除此之外,星球的内容会进行日更,加入的小伙伴也可以随时在里面进行问题提问,或者回答其他小伙伴提出的,而你刚好可以解答的问题。
当然,这个星球是收费的,初期费用为99元/年,为了保证星球的内容得到有质量的持续更新,我会在后续投入更多的时间和精力进行运营,对于加入其中的小伙伴,会享受如下几点权益:
- 随时查看星球中已经存在的所有分享的历史内容和每天新分享的内容,以及学习资料下载;
- 随时提出关于大数据学习、面试、工作、职场等相关的问题,只要在我的认知范围内,都会得到专业、细致的解答;
- 不定期(争取每周)举行针对球友问题的专场直播,连麦答疑、模拟面试等等;
- 针对球友的面试辅导、简历修改、职业规范安排、程序员晋升路线等;
以上5点我暂时想到的,后续会根据球友的反馈,且在我的能力范围内,不断改善和增加大家关心的内容。
至于值不值,相信你体验过就知道了,就光现在我前期已经沉淀的内容,就足以值回票价,更何况你还有1整年的使用期,多的我不想多说什么。
因为是第一次尝试,说实话也不靠这个挣钱(跟我现在的工资比,我得饿死),纯粹是为了筛选同频的小伙伴,为了进一步聚焦一批真正愿意花时间、精力和金钱而学习的人,希望通过我提供的这样一种学习氛围,能够真正帮助你在大数据学习的道路上,更加的顺畅和便捷。
这个问题我其实思考了很久,现在对于大数据的学习有太多的方式,各种培训班、各种学习资料,文字的、视频的、免费的、付费的都有非常非常多。但是,有时候就是因为选择太多,各种学习方式和学习资料让学习者眼花缭乱,尤其是一些刚入行的新人,外加各种培训机构的夸大宣传、制造焦虑,更是让他们的学习不知措施,很多初学者都会陷入一种东一榔头、西一棒子的周期性迷茫中,时间跟钱都花了,但是技能却并没有得到实质性增长。
那么我就想通过构建这样一个知识社群的方式,来给大家在学习路上遇到的各种疑惑、问题、以及选择提供一些经验性的指导或者建议。希望透过我的回答,能够拨开你职业生涯中的一些迷雾,让你的技术学习之路走得更加稳健和自如。
有的小伙伴可能会担心问:那么之前的讨论群、文章以及视频还会花精力运营吗?当然会的,包括私信我问题的小伙伴,我还是会去回答,只不过我会把更多精力放在星球上,我会认为这批小伙伴对技术的渴望更加强烈。最后,附上我星球的二维码,期待各位小伙伴的加入,一起技术成长!
