之前介绍了随机森林、极端随机森林以及深度森林的原理，本次介绍一下相关的代码本次实验全部使用糖尿病数据集数据导入import pandas as pdtrain = pd.read_csv("/Users/admin/Desktop/database/diabetes/diabetes_train.txt",header=None,index_col=False)test = pd.read_csv("/Users/admin/Desktop/database/diabetes/diabetes_t

前言先做单位根检验，看变量序列是否平稳序列，若平稳，可构造回归模型等经典计量经济学模型；若非平稳，进行差分当进行到第i次差分时序列平稳，则服从i阶单整（注意趋势、截距不同情况选择，根据P值和原假设判定）。若所有检验序列均服从同阶单整，可构造VAR模型，做协整检验（注意滞后期的选择），判断模型内部变量间是否存在协整关系，即是否存在长期均衡关系。如果有，则可以构造VEC模型或者进行Granger因果检验，检验变量之间“谁引起谁变化”，即因果关系。一、平稳性问题1、单位根检验是序列的平稳性检验，如

问题我们已知HMM模型的参数λ=(A,B,Π)\lambda =(A,B,\Pi)λ=(A,B,Π)。其中????是隐藏状态转移概率的矩阵，????是观测状态生成概率的矩阵， Π\PiΠ是隐藏状态的初始概率分布。同时我们也已经得到了观测序列O={o1,o2,……,oT}O= \begin{Bmatrix} o_1,o_2,……,o_T \end{Bmatrix}O={o1​,o2​,……,oT​​},现在我们要求观测序列????在模型????下出现的条件概率P(O∣λ)P(O|\lambda)P(O∣λ)

算法输入：隐马尔可夫模型λ\lambdaλ,观测序列O；输出：观测序列概率P(O∣λ)P(O|\lambda)P(O∣λ)βT(i)=1,i=1,2,……,N\beta_T(i)=1,i=1,2,……,NβT​(i)=1,i=1,2,……,N对t=T−1,T−2,……,1t=T-1,T-2,……,1t=T−1,T−2,……,1βt(i)=∑j=1Naijbj(ot+1)βt+1(j),i=1,2,……,N\beta_t(i)=\sum_{j=1}^Na_{ij}b_j(o_{t+1})\beta

学习算法隐马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是值有观测序列，可以分别由监督学习和无监督学习实现。监督学习建设已知训练数据包含S个长度相同的观测序列和对应的状态序列{(O1,I1),(O2,I2),……,(OS,IS)}\begin{Bmatrix} (O_1,I_1),(O_2,I_2),……,(O_S,I_S) \end{Bmatrix}{(O1​,I1​),(O2​,I2​),……,(OS​,IS​)​}，那么可以利用极大似然估计法来估计隐马尔可夫模型的参数。具体方法

基础概率图模型（PGM/probabilistic graphical model）是一种用于学习带有依赖（dependency）的模型的强大框架。概率图模型（或简称图模型）在形式上是由图结构组成的。图的每个节点（node）都关联了一个随机变量，而图的边（edge）则被用于编码这些随机变量之间的关系。概率图模型可以简单的理解为“概率+结构”，即利用图模型来结构化各变量的概率并有效、清晰的描述变量间的相互依赖关系，同时还能进行高效的推理，因此在机器学习中概率图模型是一种应用广泛的方法。根据图是有向的还.

1、scikit-learn GBDT类库概述在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参数，第二类是弱学习器即CART回归树的重要参数。2、boosting框架参数GradientBoosting

引入通过概率图模型我们得到了定义的联合概率分布，通过联合概率分布我们一般可以计算变量的边际概率分布（积分或求和消去其他变量）和条件概率分布（概率的乘法公式），其中计算条件概率分布的过程即对应推断任务。在推断任务中我们是假定图结构固定已知，然而有一类问题则需要我们从数据出发而推断图本身，即结构学习（structure learning）。一般图结构学习均采用贪心搜索的策略，即定义⼀个可能结构的空间和用于对每个结构评分的度量，通过评分奖励精度高的结构，同时对结构的复杂度做出惩罚，然后添加或移除少量边进行下一

背景频率角度–>优化问题回归问题：model:f(w)=WTxf(w)=W^Txf(w)=WTx策略：loss function:L(W)=∑i=1N∣∣WTxi−yi∣∣2L(W)=\sum_{i=1}^N||W^Tx_i-y_i||^2L(W)=∑i=1N​∣∣WTxi​−yi​∣∣2,D=(xi,yi)D=(x_i,y_i)D=(xi​,yi​),w=arg  minL(w)w=arg \,\,minL(w)w=argminL(w)–无约束优化算法：1. 解析解 ∂L∂w=0\fra

手写定义数据Hidden_states = ("box 1", "box 2", "box 3") # 隐状态集合Observations_states = ('red', 'white', 'red') # 观测状态集合Start_probability = {'box 1': 0.2, 'box 2': 0.4, 'box 3': 0.4} # 初始状态Hidden_transition_probability = { # 隐马尔可夫链中从当前盒子转移到其他盒子的概率 'box 1

随机森林再介绍随机森林之前有必要介绍下集成算法的一些理论集成学习算法本身不算一种单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。可以说是集百家之所长，能在机器学习算法中拥有较高的准确率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前常见的集成学习算法主要有2种：基于Bagging的算法和基于Boosting的算法，基于Bagging的代表算法有随机森林，而基于Boosting的代表算法则有Adaboost、GBDT、XGBOOST等。Bagging和Boosting都

预测算法主要有两种：近似算法维特比算法近似算法近似算法的思想是，在每个时刻t选择在该时刻最有可能出现的状态it∗i_t^*it∗​,从而得到一个状态序列I∗=(i1∗,i2∗,…,iT∗)I^*=(i_1^*,i_2^*,…,i_T^*)I∗=(i1∗​,i2∗​,…,iT∗​),将它作为预测的结果。给定隐马尔可夫模型λ\lambdaλ和观测序列O，在时刻t处于状态qiq_iqi​的概率γt(i)\gamma_t(i)γt​(i)是γt(i)=αt(i)βt(i)P(O∣λ)=αt(i)βt

单高斯模型高斯模型是一种常用的变量分布模型，一维高斯分布的概率密度函数如下：f(x)=12πσexp(−(x−μ)22σ2)f(x)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})f(x)=2π​σ1​exp(−2σ2(x−μ)2​)μ\muμ和σ2\sigma^2σ2分别是高斯分布的均值和方差。似然函数可写为：P(x∣θ)=∏i=1N[12πσexp(−(xi−μ)22σ2)]P(x|\theta)=\prod_{i=1}

一、聚类算法1、kmeans定义：K-means算法，也被称为K-均值或K-平均算法，是一种广泛使用的聚类算法。K-means算法是基于相似性的无监督的算法，通过比较样本之间的相似性，将较为相似的样本划分到同一类别中。思想：事先确定常数K，常数K意味着最终的聚类类别数，首先随机选定初始点为质心，并通过计算每一个样本与质心之间的相似度(这里为欧式距离)，将样本点归到最相似的类中，接着，重新计算每个类的质心(即为类中心)，重复这样的过程，知道质心不再改变，最终就确定了每个样本所属的类别以及每个类的质心

自动机器学习（AutoML） 旨在通过让一些通用步骤 (如数据预处理、模型选择和调整超参数) 自动化，来简化机器学习中生成模型的过程。AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，多臂老虎机（multi-armed bandit），进化算法，还有比较新的强化学习。当我们提起AutoML时，我们更多地是说自动化数据准备（即数据的预处理，数据的生成和选择）和模型训练（模型选择和超参数调优）。

特征选择是在数据分析和建模中最常用的特征降维手段。过程简单粗暴，即映射函数直接将不重要的特征删除，不过这样会造成特征信息的丢失，不利于模型的精度。当然，由于数据分析以抓住主要影响因子为主，变量越少越有利于分析，因此特征选择常用语统计分析模型中；在超高维数据分析或者建模预处理中也会经常使用。特征是否发散：如果一个特征不发散，也就是方差接近0，这就说明样本在这个特征上基本没差异，这个特征对于样本区分没有作用。特征与目标的相关性：与目标的相关性越高，特征应该优先选择。

在机器学习原理中讲过机器学习的基本流程，其中很重要的一个环节就是特征工程。

ARIMA模型(Autoregressive Integrated Moving Average model)，差分整合移动平均自回归模型，又称整合移动平均自回归模型，时间序列预测分析方法之一。ARIMA(p,d,q)={AR(p),p阶自回归MA(q),q阶滑动平均d,平稳时的差分阶数AR(p), & \text{p阶自回归} \\MA(q), & \text{q阶滑动平均} \\d,& \text{平稳时的差分阶数} \\ARI。