方法一：三分套三分（两个变量x和y的单峰函数，二维的三分法求解）#include<bits/stdc++.h>using namespace std;int n;double xx[1005],yy[1005],w[1005];double lx,rx,ly,ry;double dis(double x1,double y1,double x2,double y2){ return sqrt((x1-x2)*(x1-x2)+(y1-y2)*(y1-y2));}dou

3 支持向量回归SVR使用支持向量机算法不仅能解决分类问题，还能解决回归问题。3.1 解决的目标支持向量回归所要解决的问题是：对于给定如下的的训练数据集，D={(x1,y1),(x2,y2) ...,(xm,ym)},yi∈RD=\{(\boldsymbol x_1,y_1),(\boldsymbol x_2,y_2) \,...,(\boldsymbol x_m,y_m)\},y_i \in \mathbb{R}D={(x1​,y1​),(x2​,y2​)...,(xm​,ym​)},yi​∈

4 实例：使用SVM完成人脸分类任务SVM的功能十分强大，除了能完成线性分类任务，还能完成非线性分类任务； 除了能完成二分类任务，还能完成多分类任务。下面将使用SVM完成一个较为复杂的多分类任务：LFW数据集人脸分类任务。 该实战中一步步演示了使用SVM做人脸分类任务的流程，并且涉及到了sklearn中一些模型评估的方法。4.1 数据集的下载这里用的是Wild数据集。由于网络问题，直接在程序中加载数据集的速度很慢，所以要先将数据集下载到本地。下载链接为：http://vis-www.cs.umass

2 非线性SVM2.1 SVM问题的对偶化在介绍非线性SVM之前，有必要先来看一下什么是SVM问题的对偶化，目的是：如何通过对偶化将线性SVM与非线性SVM联系起来；对偶问题是如何简化问题的求解的。2.1.1 对偶的概念大多数问题可以从两个角度来看待：Primal Problem（原问题）Dual Problem（对偶问题）而对偶问题中有一个非常重要的性质——强对偶性，它是指：对偶问题的解即为原问题的解，两者的解相互等价。所以，当原问题的求解过于复杂时，我们可以绕个圈子：先求对偶问

1 线性SVM1.1 优化的目标线性SVM的优化目标，用一句话来概括就是：最大化间隔，同时尽可能减少分类错误。下面首先从图片展示的角度来对这句话进行解释。1.2 直观展示假设有红色和蓝色两类样本（如下图所示），其中蓝色表示正样本（标签为1），红色表示负样本（标签为-1）。SVM要做的，就是找到一个合适的边界，使得该边界能够较好地将两类样本分开。寻找边界的直观过程如下：如果想要画出一条边界将红蓝两类样本分开，实际上有非常多种画法：这就出现了一个问题：到底要选哪一条？哪条是最优的分法？对此，我们

文章目录6 GBDT回归算法6.1 概述6.2 算法具体步骤6.3 sklearn中的GradientBoosting分类算法6.3.1 原型6.3.2 常用参数6.3.3 常用属性6.3.4 常用方法6.4 实例5：探索不同回归损失函数对GBDT回归模型拟合效果的影响6.4.1 创建数据集6.4.2 定义与拟合使用不同损失函数的GBDT回归模型6 GBDT回归算法6.1 概述GBDT不仅可以应用于分类任务，它在回归任务中也有很好的表现。GBDT回归算法的原理与二分类算法很相似，最大的区别在于目标函数

1.7 LightGBM1.7.1 概述前面我们介绍了AdaBoost和GBDT这两种Boosting方法，它们已经在很多问题上发挥了强大的威力，也已经具有较好效率。但是，如今的数据集正在朝着样本数越来越巨大，特征维度也越来越高的方向发展，此时这两种传统的Boosting方法在效率和可扩展性上已经不能满足现在的需求了。主要原因是：传统的Boosting算法中的基学习器需要通过对所有样本点的每一个特征都进行扫描来计算信息增益，进而找到最佳的分割点，这在样本数和特征数巨大的情况下会相当耗时。为了解决传统Bo

2 Bagging2.1 概述前面我们介绍了集成学习中的一大类算法——Boosting算法，它利用基学习器之间的相关性，通过串行地生成多个新的基学习器，获得最终的强学习器，是一种非常具有代表性的“串行集成方法”。而集成学习方法中还有另一大类算法——Bagging算法，它利用的是基学习器之间的独立性，通过结合多个相互独立的基学习器，从整体上显著减小拟合的误差，是一种非常具有代表性的“并行集成方法”。本节就将对Bagging方法进行详细的介绍。2.2 算法介绍Bagging的全称为Bootstrap A

1.5 GBDT二分类算法1.5.1 概述前面我们介绍了AdaBoost的基本原理，并举了几个实例对AdaBoost的使用做了一些演示。简单来说，AdaBoost的大体思想就是：根据每个弱学习器的预测误差为每个弱学习器赋予不同的权重，并以上一个弱学习器的权重为依据更新数据集样本分布的权重（尤其是不断加大上一轮弱学习器预测错误的样本的权重），通过不断循环这一过程，最终得到一个在所有样本上均有较高预测准确率的强学习器，实现了串行提升整体拟合效果的目的。而Boosting系列算法中还有另一个非常具有代表性的算

文章目录4 AdaBoost回归算法4.1 概要4.2 算法步骤4.3 sklearn中的AdaBoost回归4.3.1 原型4.3.2 参数4.3.3 属性4.3.4 常用方法4.4 实例3：使用AdaBoostRegressor完成回归任务4.4.1 数据集的创建与可视化4.4.2 不同参数的AdaBoost回归器拟合效果对比4 AdaBoost回归算法4.1 概要AdaBoost算法不仅可以用于分类任务，还可以用于回归任务。由于回归预测得到的结果是连续数值，如股票价格，由于股票价格走势曲线是连续

文章目录1 摘要2 将决策树用于分类任务2.1 数据集的加载与模型训练2.2 决策树可视化工具的使用2.3 决策边界的绘制2.4 数学原理2.4.1 决策树分割的标准（度量不纯度的指标）2.4.2 三种分割标准的区别2.4.3 使用CART算法训练用于分类任务的决策树2.4.4 算法复杂度2.5 超参数2.5.1 常用超参数2.5.2 调参3 将决策树用于回归任务3.1 回归决策树的训练及拟合3.2 使用CART算法训练回归决策树1 摘要决策树可用于解决分类任务、回归任务甚至多输出任务。决策树是随机

1 Boosting方法1.1 引言从小到大，我们的父母和老师经常教导我们，“团结就是力量”、“众人拾柴火焰高”，“三个臭皮匠，顶个诸葛亮”。小时候我们可能不能完全理解这些话的意思，但是随着年龄的增长，我们渐渐体会到了团队合作的重要性，也渐渐加深了对这些话的理解。非常幸运的是，有很多科学家参透了这些道理，并将它们应用到了机器学习领域。他们发现：将多个预测准确率不怎么高的基础机器学习模型结合成一个混合的模型，往往可以取得更高的准确率。他们将这些表现较差的基础机器学习模型称为“weak learner“（

文章目录1 模块函数1.1 模块函数1.2 导入1.2.1 import moudle1.2.2 import module as alias1.2.3 from module import function1.2.4 from module import function as alias2 自定义函数2.1 定义函数2.2 设置docstring2.3 函数调用2.4 返回值2.5 形参2.5...

文章目录1.字符串(1)定义(2)特性(3)转义(4)常用操作A.插入连接B.去除空白C.长度D.unicode编码2.序列(1)序列(2)特点A.索引B.切片C.迭代D.拆包赋值E.重复运算1.字符串(1)定义可以使用单引号,双引号,三引号定义字符串.x = '123'x = "123"x = '''123'''x = ''' 123 456 '''三引号可以跨行使用....

1.赋值语句(1)作用:定义+赋值(2)复合与链式赋值a = b = 2a *= 2(3)特殊类型的赋值序列的赋值:a,b,c = (1,2,3)print(a,b,c)变量交换:a,b = b,a不需要额外的temp变量.2.注释以#开头的行即为注释.3.运算符(1)算术运算符(2)关系运算符(3)赋值运算符(4)逻辑运算符(5)位运算符(6)集合运...

文章目录1 函数1.1 函数的分类1.2 函数与方法1.3 函数也是对象1.4 注意事项2 内置函数2.1 查看帮助2.2 数学函数2.2.1 abs2.2.2 max/min2.2.3 pow2.2.4 round2.3 类型转换函数2.4 其他函数2.4.1 type()2.4.2 isinstance()2.4.3 dir()2.4.4 len()2.4.5 range()2.4.6 cal...

文章目录1.list(1)定义方法(2)下标(3)切片(4)反向遍历A.[::-1]B.使用内置函数reversed()C.使用列表方法.reverse()(5)列表推导式(6)列表的常用函数A.extend()B.append()C.insert()D.pop()E.remove()F.len()G.sorted()与sort()H.enumerate()I.zip()2.元组(1)定义方法(2...