知道某个算法，和运用一个算法是两码事儿。

 

当你训练出数据后，发觉模型有太大误差，怎么办？

1）获取更多的数据。也许有用吧。

2）减少特征维度。你可以自己手动选择，也可以利用诸如PCA等数学方法。

3）获取更多的特征。当然这个方法很耗时，而且不一定有用。

4）添加多项式特征。你在抓救命稻草么？

5）构建属于你自己的，新的，更好的特征。有点儿冒险。

6）调整正则化参数lambuda。

以上方法的尝试有些碰运气，搞不好就是浪费大把时间。

machine learning diagonostic. 机器学习诊断。检查正确性，提升效率，节省调试时间。

一，评估假设

loss越小，不代表模型越好，有可能出现过拟合的现象。

正确的方法是：将数据分割为训练集和测试集。利用训练集训练数据，测试集进行测试求出测试集误差（test set error）

 

二，模型选择与训练验证测试集

如何选择正则化参数和多项式次数（模型选择）

尝试不同的正则化参数和多项式次数，选择在测试集上损失最小的model。这似乎可行，但都是针对测试集计算，无法验证泛化能力。

解决的方法就是划分出三个集合：训练集，验证集，和测试集。

利用验证集选择最佳的参数模型，之后再在测试集上计算泛化损失。

 

三，模型诊断：bias vs variance

过拟合和欠拟合的判断方法

绘制曲线

当d过小，有可能是欠拟合

当d过大，有可能是过拟合

对于欠拟合而言，验证集和训练集的loss均非常大

对于过拟合而言，训练集的loss很小，而验证集的loss很大。

 

四，正则化参数对欠拟合过拟合的平衡

lambuda很大的话，容易欠拟合，过小则容易过拟合。

如何选择？

设置一个正则化参数的选择范围，在验证集上计算每一个值所对应的loss的大小，选择最小的那个。

 

五，学习曲线

high bias:

Jcv和Jtrain在m很大的情况下，都很高。

此时，增加样本数将没有效果。因为模型本身出了问题。可能的问题是模型过于简单。

 

high variance:

Jcv和Jtrain之间间隔很大。

此时，增加训练样本数有可能会有很好的效果。

 

六、总结

1）获取更多样本：解决过拟合。欠拟合则不行。

2）更小的特征集：同上。

3）添加其他特征：解决欠拟合

4）添加多项式：解决欠拟合

5）减小lambuda: 解决欠拟合

6）增大Lambuda：解决过拟合