梯度提升决策树的迭代次数设多少合适?

用梯度提升决策树做门店销量回归。参数里迭代次数默认 100,学习率 0.01,最大深度那栏默认没勾、写着 3。上次把迭代次数拉到 800,训练集拟合得挺漂亮,验证集反而变差。这几个参数之间该怎么配合。

5 个赞

迭代次数和拟合程度是这么条关系:太小欠拟合,太大过拟合,范围 1 到 1000。我一般把学习率留在 0.01 附近,再小幅加迭代次数,盯着验证集指标什么时候开始回落就停。最大深度不勾时按 3 层算,勾上能填 1 到 1000;最小样本数管的是子树还往不往下分,默认 10。分类任务损失函数只有 deviance,回归任务才有 ls、lad、huber、quantile 四种。