想在助睿AI里用 LightGBM 跑一版分类,打开参数发现有 GBDT、DART、GOSS、RF 四种学习器,树的数量默认才 10。这几个怎么区分?
9 个赞
四个选项对应不同的提升策略:GBDT 是传统梯度提升决策树(默认)、DART 引入了 dropout、GOSS 按梯度做单边采样、RF 是随机森林那一路。树的数量能填 1 到 1000,默认 10,官方说明里也写了太小欠拟合、太大过拟合,我一般从几十开始试;学习率默认 0.1,范围 0.01 到 1;抽样率默认也是 0.1,小于 1 时会随机抽部分数据,能提速也能压过拟合。最大深度和最大叶子数默认不勾,需要限复杂度时再开。