上交 2020春 研究生课程 b站徐志钦
1、认识/表达某类问题为凸优化问题 2、变成解决一定规模的问题 3、优化解分析
1、凸集，凸函数，优化问题 2、例子以及应用 3、算法 课本《convex optimization》download
介绍1、数学中表达优化问题 2、最小二乘和线性规划 3、凸优化4、例子5、非线性优化问题6、解决：凸优化{（Zi，yi） } i = 1 N \}^N_{i=1} }i=1N
h(z)= ( ∑ j = 1 M a j σ （ w j z + b j ） ) \displaystyle \left( \sum_{j=1}^M a_j σ（w_jz+b_j）\right) (j=1∑Majσ（wjz+bj）)
σ（z）=max(0,z)
ReLU两层神经网络 目标：希望输出能与采样一致，尽量靠近
f0(x) = 1 N \frac1N N1 ∑ j = 1 N ( h ( z j ) − y j ) 2 \sum_{j=1}^N{(h(z_j)-y_j)^2} ∑j=1N(h(zj)−yj)2
x = {（aj,wj,bi） } j = 1 M \}^M_{j=1} }j=1M
设n=3M min f0(x) R n R^n Rn → \rightarrow →R 限制subject to fj（x） ≤ \leq ≤ b j b_j bj j=1,2,……，m
x : optimization 变量 f0 ： 目标函数 fi ： contrant function 限制条件 optimal solution x* ： f0 最小，并且x满足限制条件 例子 资产组合： 变量 ： 每个资产上的投资额 限制 ： 预算 ，max/min， min return 最小回报 目标 ： 最低风险 设备尺寸设计： 变量 ： 长、宽 限制 ： 工艺精度 ， 工程时间 ， 最大占用面积 目标 ： 功耗最小 数据拟合： h（x) = ax+b 变量 ： 参数 限制 ： 参数范围 ， 先验知识（如：变量的某种范数大于某种数） 目标 ： 拟合准确
一般优化问题： ①很难解 ②长时间 解的最优性（次优解） 例外： ①least-square problam. 最小二乘问题 ②线性规划 ③凸优化问题
A ∈ \in ∈ R k × n R^{k\times n} Rk×n k ： 样本数 n ： 特征数 x ∈ \in ∈ R k × 1 R^{k\times 1} Rk×1 变量 b ∈ \in ∈ R k × 1 R^{k\times 1} Rk×1 观测值 A= （ a 1 , a 2 , … … , a n ） （a_1,a_2,……,a_n） （a1,a2,……,an）
