1. 直线和线段 假设 \(x_1\ne x_2\) 是 \(\mathbf{R}^n\) 空间（n维欧氏空间）中的两个点，直线 \[y=\theta x_1 + (1-\theta)x_2 \]是穿过 \(x_1\) 和 \(x_2\) 的直线，\(\theta\in \mathbf{R}\) 。若满足 \(\theta\in(0,1)\) ，则 \(y\) 为连接 \(x_1,x_2\) 的线段上的一点。 2. 仿射集(af
1. 仿射集 Affine Sets 1）定义 定义1：\(x_1, x_2\)为集合\(C\subseteq \mathbb{R}^n\)中的任意两点，如果穿过\(x_1,x_2\)的直线仍在\(C\)内，那么\(C\)为仿射集。 定义2：对于任意\(x_1,x_2\in C\)，\(\theta\in \mathbb{R}\)，如果 \(\theta x_1+(1-\theta)x_2\in C\)，那么\(C\)为仿射集。 2）
学习人工智能，数学是最重要的一部分，本科期间我学习了高数，线代以及概率论还有离散数学，但是在人工智能方面还有一门凸优化未学，故以此做学习记录。 最优化问题 基本形式 简述：最优化问题就是一定条件下，求目标函数的最优值 数学描述： 分类 最优化问题按照有无约束条件，可以分为有约束和无
仿射集 定义 等价定义：线性方程组的解集\(C=\{x \mid A x=b\}\)是仿射集，对应的子空间是\(A\)的化零空间 理解 仿射集内任意两点的所在的直线也在仿射集内 仿射集内多个点的仿射组合\(\theta_{1} x_{1}+\cdots+\theta_{k} x_{k},\theta_{1}+\cdots+\theta_{k}=1\)也在放
凸数据集 如果一个数据集D是凸的，那么对于其中任意的两点x,y∈D，θ∈R, 0≤θ≤1,则 θ x + ( 1 − θ ) y ∈ D 表达式θx+(1−θ)y被称作点x , y 的 凸性组合(convex combination) 简单来说，数据集D中任意两点的连线上的点，也会在数据集D内，那么数据集D就是一个凸集。 如下图，左
1、交集 Intersection 若 S 1 , S 2 S_1,S_2
凸优化（一）绪论与凸集 也可以前往 我的博客 查看原文 参考： Stanford《convex optimization》中科大 凌青 凸优化 优化问题 优化问题：从一系列可行解集合中，寻找出最优的元素 优化问题的形式： mini
1. 凸函数的定义 1.1 凸函数的几何解释 所谓凸函数，其实指的是下凸函数，从几何意义上看，凸函数就是任意两点之间的弦（即这两点构成的线段）都在该函数图像（此处是指这两点之间的函数图像，而非全部的函数图像）的上方。 2. 凸函数的一阶特征 2.1 一阶特征的几何解释 在凸函数任何点画
机器学习数学基础--凸优化 1.计算几何是研究什么的？2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？**在计算几何理论中（或凸集中）的表达式****在初中数学中的表达式****两者对比** 3.凸集是什么？ 直线是凸集吗？是
文章目录 前言 仿射集、凸集、凸锥仿射集定义如何从k=2推广到k=3性质 仿射集的相关子空间性质 仿射包定义性质 凸集定义性质 凸包定义 凸锥锥凸锥的定义凸锥组合凸锥包 几种重要的凸集 前言 x
也即是从几何上给线性规划问题的概念给一个具体的说明。 连接x1,x2的线段，如果包括x1,x2端点则称为闭线段，不包括则称为开线段。 数学上表述为，任取线段内部的某一点x，如果能写出/描述出这点x的轨迹或其坐标变化的规律， 就可以。为了做到这一点，我们设想有x1,x2,分别有以x1,x2
没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二次
目录 一、计算几何理论中的表达式二、凸集是什么？ 直线是凸集吗？是仿射集吗？三、三维空间中的一个平面，如何表达？四、更高维度的“超平面”，如何表达？五、凸函数、Hessian Matrix六、什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？ 计算几何是研究什
目录 一、计算几何是研究什么的？二、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的三、凸集是什么？ 直线是凸集吗？是仿射集吗？四、三维空间中的一个平面，如何表达？五、更高维度的“超平面”，如何表达？六、什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别
选做作业，供愿意多巩固一下机器学习基础的同学使用。 1、计算几何是研究什么的？ 2、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？(按自己的体会) 3、凸集是什么？ 直线是凸集吗？是仿射集吗？ 4、三维空间中的一个平面，
目录标题 1、计算几何是研究什么的？2、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？(按自己的体会)3、凸集是什么？ 直线是凸集吗？是仿射集吗？4、三维空间中的一个平面，如何表达？5、更高维度的“超平面”，如何表达？6、
PART1 凸集 1.凸集 1.仿射 仿射集（Affine set）定义： 通过x1和x2的直线可以参数化描述为θx1 + (1-θ) x2, θ∈R,此直线就是一个仿射的 注：线性方程的解集是仿射集合，同时任何仿射集合都可以表示成线性方程的解集。 仿射组合定义： 扩展：如果C是仿射的，其中任意点组成的仿射组合仍在
课程目录 AI问题和程序的类比 优化问题的表示方法 需要做到闭着眼睛也能写XD 预训练（例如ImageNet pretrainning, word2vector等）是为了找到更好的初始化点，因为初始化对local optimal影响很大。 非凸函数->凸函数 凸集定义 凸集性质 凸函数定义 范数公
水平集 1)Some level sets of a function f are shown below. The curve labeled 1 shows,etc Which of the following properties could f have? 由图像可看出f(x)的下水平集是凸集，故函数是拟凸函数，但不能由下水平集是凸集而判断函数是凸函数还是凹函数。而函数上水平
4.2 凸优化 标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化 4.2.1 标准形式的凸优化问题 是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。 也可以写成 重要性质：凸优化问题的可行集也是凸集。 证明：可行集是满足不等式约束和等
3.4 拟凸函数 定义及例子基本性质可微拟凸函数 定义及例子 定义 函数称为拟凸函数，如果其定义域和所有下水平集，都是凸集。 如果f(x)是拟凸函数，则-f(x)是拟凹函数。拟凹函数：每个上水平集均为凸集。如果一个函数既是拟凸函数又是拟凹函数，其为拟线性函数。 如上图，，两个下水平集均为
2.5 分离与支撑超平面 超平面分离定理支撑超平面 超平面分离定理 假设C和D是两个不相交的凸集，即，那么存在和b，使得 为集合C和D的分离超平面。 支撑超平面定理 支撑超平面：假设集合，是其边界bdC上的一点，如果，并且，则超平面为集合C在点处的支撑超平面。 支撑超平面定理：如果集合C是凸集，
2.6 对偶锥与广义不等式 对偶锥广义不等式的对偶对偶不等式定义的最小元和极小元 对偶锥 锥K的对偶锥是集合 如上图左图的y是K的对偶锥的一个元素，右图z不是K的对偶锥的元素，几何上看当且仅当-y是K在原点的一个支撑超平面的法向量。 广义不等式的对偶 如果K是正常锥，则K可导出一个
2.2重要例子 1 空集、单点集、都是的仿射 2 任意直线都是仿射 3 一条线段是凸的，但不是仿射 4 射线是凸的，但不是仿射 5 任何子空间都是仿射的、凸锥 超平面与半空间 超平面 数学上超平面是具有下列形式的集合: 从上式看出，超平面其实是线性方程的解空间。从几何上看，超平面其实是
第二章凸集 主要内容: 仿射集合和凸集重要例子保凸运算广义不等式分离和支撑超平面对偶锥与广义不等式 2.1仿射集合和凸集 仿射集合 仿射集合：集合中任意两个不同点的直线仍然在集合中，那么称集合是仿射集合。 如上图，对于，取不同的可以得到不同的点，这些点构成了经过的直线。 如果
