深度学习调参有哪些技巧？

深度学习调参的常用技巧包括:
1. 网格搜索：给定参数的取值范围，暴力枚举所有可能的参数组合，找到最优解。
2. 随机搜索：在给定参数的取值范围内随机生成参数组合，找到最优解。
3. 使用预训练模型：使用在其他数据集上预先训练好的模型权重作为初始权重，进行迁移学习。
4. 动态调整学习率：使用学习率调度策略，如指数衰减或者使用算法如Adam，Adagrad等。
5. 贝叶斯优化：使用贝叶斯优化算法来选择最优参数。