本文总结了《深度学习》中关于实践方法的要点，包括性能度量的选择，建立基准模型，判断是否需要更多数据，超参数调优策略以及调试技巧。讨论了如何根据任务选择合适模型，手动与自动调参方法，以及如何通过可视化和错误分析来改进模型。 全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
一 性能度量
确定目标，即使用什么误差度量，是必要的第一步，因为误差度量将指导接下来的所有工作。
训练数据的数量会因为各种原因受到限制。当目标是打造现实世界中最好的产品或服务时，我们通常需要收集更多的数据，但必须确定进一步减少误差的价值，并与收集更多数据的成本做权衡。数据收集会耗费时间、金钱，或带来人体痛苦（例如，收集人体医疗测试数据）。
除了需要考虑性能度量之外，另一个需要考虑的是度量的选择。
二、默认的基准模型
确定性能度量和目标后，任何实际应用的下一步是尽快建立一个合理的端到端的系统。
首先，根据数据的结构选择一类合适的模型。如果项目是以固定大小的向量作为输入的监督学习，那么可以使用全连接的前馈网络。如果输入有已知的拓扑结构（例如，输入是图像），那么可以使用卷积网络。
除非训练集包含数千万以及更多的样本，否则项目应该在一开始就包含一些温和的正则化。
如果我们的任务和另一个被广泛研究的任务相似，那么通过复制先前研究中已知性能良好的模型和算法，可能会得到很好的效果。甚至可以从该任务中复制一个训练好的模型。
三、决定是否收集更多数据
确定训练集上的性能是否可接受；也可以尝试调整学习率等超参数的措施来改进学习算法。在决定是否收集更多的数据时，也需要确定收集多少数据。
四、选择超参数
手动调整超参数：我们必须了解超参数、训练误差、泛化误差和计算资源（内存和运行时间）之间的关系。自动超参数优化算法：开发出封装学习算法的超参数优化算法，并选择其超参数，从而使用者不需要指定学习算法的超参数。网格搜索：当有三个或更少的超参数时。随机搜索：编程简单，使用更方便，能更快地收敛到超参数的良好取值。基于模型的超参数优化：可以转化为一个优化问题，决策变量是超参数，优化的代价是超参数训练出来的模型在验证集上的误差。五、调试策略
可视化计算中模型的行为视化最严重的错误根据训练和测试误差检测软件拟合极小的数据集比较反向传播导数和数值导数监控激活函数值和梯度的直方图六、实例：多位数字识别
书上写的很简单。
下一章传送门：花书读书笔记（十一）-应用
