调参汇总

发布时间 2023-05-16 18:09:18作者: 小小喽啰

什么网格搜索、贝叶斯调参,就不做赘述。

本次简单记录一下工作积累的调参经验。

n_estimators:和多个参数相互影响,比如learning_rate,一般来说,树越简单,n_estimators越大,树越复杂,n_estimators越小,简单对应的是树分得很粗糙,max_depth较小,min_child_weight较大。一般建议>=30

min_child_weight:即是树枝的样本数,值越大,越不容易过拟合,一般建议训练样本的5%。

max_depth:即是树的层数,一般建议2-5,越小越不容易过拟合。

scale_pos_weight:1-10都OK,常用1-3。

其余的参数调整无多大意义,使用常用的即可。

主要调整的参数是n_estimators,min_child_weight,调整的衡量指标是训练集测试集oot的ks的值以及差值。

一、