用Bagging优化模型的过程：

1、对于要使用的弱模型（比如线性分类器、岭回归），通过交叉验证的方式找到弱模型本身的最好超参数；

2、然后用这个带着最好超参数的弱模型去构建强模型；

3、对强模型也是通过交叉验证的方式找到强模型的最好超参数（比如弱模型的数量）

对于Bagging、RandomForest、Boosting这些组合算法，默认是用的弱模型是决策树，但是可以通过base_estimator参数调整。

 

np.linspace() 创建等比数列，生成(start,stop)区间指定元素个数num的list，均匀分布

np.logspace() log分布间距生成list

np.arange() 生成(start,stop)区间指定步长step的list

 

numpy库：常用基本

https://www.cnblogs.com/smallpi/p/4550361.html

scikit-learn 中文文档

http://cwiki.apachecn.org/display/sklearn/Index

http://sklearn.apachecn.org/#/ （需要FQ）

模型评估: 量化预测的质量

https://blog.csdn.net/marsjhao/article/details/78678276

 

30分钟学会用scikit-learn的基本回归方法（线性、决策树、SVM、KNN）和集成方法（随机森林，Adaboost和GBRT）

https://blog.csdn.net/u010900574/article/details/52666291

 

很值得看的特征选择 方法

https://www.cnblogs.com/stevenlk/p/6543628.html

XGboost数据比赛实战之调参篇

https://blog.csdn.net/sinat_35512245/article/details/79700029

Scikit中的特征选择，XGboost进行回归预测，模型优化的完整过程

https://blog.csdn.net/sinat_35512245/article/details/79668363

 

  make_classification，make_circles和make_moons

 常用算法 的基本sklearn命令：