机器学习之超参数
http://blog.sina.com.cn/s/blog_cfa68e330102ze63.html
学习器模型中一般有两种参数：
-
一种参数是可以从学习中得到
-
一种无法靠数据里面得到，只能靠人的经验来设定，这类参数就叫做超参数
超参数定义
超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。
-
定义关于模型的更高层次的概念，如复杂性或学习能力。
-
不能直接从标准模型培训过程中的数据中学习，需要预先定义。
-
可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定
超参数示例：
-
聚类中类的个数
-
话题模型中话题的数量
-
模型的学习速率
-
深层神经网络隐藏层数
-
迭代次数
-
每层神经元的个数
-
学习率 η
-
正则化参数
-
神经网络的层数
-
学习的回合数Epoch
-
小批量数据 minibatch 的大小
-
代价函数的选择
-
权重初始化的方法
-
。。。
超参数调节方法
-
网格搜索
-
随机搜索
-
贝叶斯优化
-
基于梯度的优化
-
遗传算法的实践