帕累托最优与周志华老师《演化学习》一书

读《演化学习:理论与算法进展》,搞明白帕累托优化
  
    多目标优化目前是排序系统的标配。
      拿当下最火的视频推荐来说,我们一方面希望用户观看时间长,同时希望他们点赞、查看评论、写评论、给评论点赞、转发、分享,同时希望他点击作者头像、关注作者,这跟以前的视频点击率评价体系完全不同,有些视频用户只是好奇点进去,其实并不喜欢。这样一个多目标优化问题,目前有两个算法解决方向:一个是构建一个MMOE架构的算法,然后让模型尽量可以解耦表达每个目标,从而把每个单目标之间的冲突问题让模型“柔性”兼容,保证得到的解是满足多个目标的;还有一类解法就是阿里在RecSys 2019发表的帕累托算法,可以同时优化GMV和CTR,这一分支也衍生出了很多优化版本,例如Google Research, Brain Team发表的:Small Towers Make Big Differences。 
     帕累托优化跟一般的模型结构的算法优化不一样,我一直想从底向上彻底搞明白。但细究发现这一块是属于演化学习领域,很多资料都支离破碎。所幸,今天终于可以系统的学习一下演化学习了。因为周志华老师的《演化学习:理论与算法进展》一书即将正式出版了。拿到样书书稿的第一时间,我就认真读了一下帕累托最优这块的内容,终于对底层运行机制有了理论理解的基础。
        



书中演化学习分析方法、选择性继承算法、子集选择等内容非常精彩,

 

 

    来不及一一跟大家分享。把本书的序分享给大家:


 

 

 

二十年前,本书第一作者与合作者提出了一种选择性集成学习方法,对于一组学习器,该方法能产生出仅包含少量个体、泛化性能却超越全体学习器集成的模型.该工作使用了一种常见演化算法——遗传算法.本书一作以为,演化算法这种强大的优化工具应能在许多机器学习任务中发挥作用.但机器学习领域有强烈的理论偏好,而当时演化算法几乎纯粹是启发式:在不少情况下有效,但为何奏效、在何种条件下奏效却并不清楚,因此演化算法难以被主流机器学习界认可,相关论文甚至难以在机器学习主流渠道发表.本书一作被演化算法的应用成效鼓舞,相信其并非魔法” ,必能建立起相应理论基础,于是决心开展这个方向的研究. 2004,本书二作在一作指导下完成了关于选择性集成学习算法的本科毕业论文,到宁夏贫困地区支教一年后,成为一作的研究生加入该方向研究.他于2011年获博士学位,毕业论文有幸入选了全国百篇优秀博士学位论文和江苏省优秀博士学位论文.本书三作在2009年成为一作的研究生加入该方向研究,并于2015年获博士学位,毕业论文入选了中国人工智能学会优秀博士学位论文和江苏省优秀博士学位论文.本书主要内容就是三位作者在这个方向上过去二十年中主要工作的总结.全书由四部分组成.第一部分简要介绍演化学习,为分析运行时间复杂度逼近能力这两个核心理论问题作准备.第二部分给出用于推导运行时间界的两种通用方法,以及用于刻画逼近性能的一个通用框架,它们是获得后续章节中许多理论结果的工具.第三部分是关于演化过程关键因素对算法性能影响的一系列理论结果,包括交叉算子、解的表示、非精确适应度评估、种群的影响等.第四部分回到选择性集成这个促使作者关心演化算法的起点,给出了性能优越且有理论支撑的算法,并对机器学习中广泛存在的子集选择问题给出了一系列有逼近性能保障的演化学习算法.书中第二部分内容或可为有兴趣进一步探索演化学习理论基础的读者提供分析工具,第三部分内容或有助于读者进一步理解演化学习过程并为新算法设计提供启发,第四部分内容或可为一些现实机器学习任务提供新的算法方案.本书英文版在斯普林格出版社问世后,国内许多同行兴趣甚浓,强烈建议出中文版,人民邮电出版社贺瑞君编辑亦盛情邀请,于是作者在年初抗疫禁足期间勉力转著以飨读者.本书的出版要感谢作者的家人、朋友、合作者,以及斯普林格出版社常兰兰女士和阿尔弗雷德·霍夫曼先生的支持.因作者学识浅陋、时间仓促,本书内容错谬之处在所难免,且先著英文后转中文,难免因先入为主而致表达僵滞,敬请读者诸君见谅、赐正.


作者
20206月于南京


 



      最后,Agent的潜意识非常荣幸申请到了人民邮电出版社的样书名额,共6本。将免费赠送给粉丝朋友。
        

        
     领取方式:关注公众号,在本文后留言,留言点赞数超过10的同学的前6名,将免费包邮邮寄到家。到时请大家主动在公众号后台发送邮寄地址给公众号。
 

请使用浏览器的分享功能分享到微信等