定义
取区间 I⊆R 与一个定义在 I 上的实值函数 f,若
∀x,y∈I,∀t∈[0,1]: f(tx+(1−t)y)≤tf(x)+(1−t)f(y)
则称 f 是定义在区间 I 上的 凸函数 (Convex Function)「凸関数」。
从几何学上,这意味着任意函数上两点连成的线段都在函数图像的上方,也就是高中数学中所说的向下凸出的函数
引理
令区间 I⊆R 与一个定义在 I 上的实值函数 f,令 f 可以 2 阶微分,且恒有 f′′(x)≥0,则
∀x0∈I: f(x)≥f(x0)+f′(x0)(x−x0)
证明(暂时省略)
- 该结论的几何意义是:函数图像在任意一点处都在该点的切线的上方
命题
令区间 I⊆R 与一个定义在 I 上的实值函数 f,令 f 可以 2 阶微分,且恒有 f′′(x)≥0
则对于有限个点 x1,x2,…,xn∈I 与任意非负实数 t1,t2,…,tn 满足 k=1∑ntk=1,有
f(k=1∑ntkxk)≤k=1∑ntkf(xk)
证明(暂时省略)
不难看出,上述结论中 n=2 正是凸函数的定义,因此有以下重要引理
引理
定义在区间上,具有非负的二阶微分的函数一定是凸函数
证明
上一结论中取 n=2 即可
□
# 均值不等式
令 f(x):=−lnx,则 f′′(x)=x21≥0,因此 f 是凸函数
取 x1,x2,…,xn∈(0,+∞) 与任意非负实数 t1=t2=⋯=tn=n1,有
ln(n1k=1∑nxk)≥n1k=1∑nlnxk
整理一下不等式可以得到非常常用的均值不等式
n1k=1∑nxk≥nk=1∏nxk
等号成立当且仅当 x1=x2=⋯=xn。
在这里
- n1k=1∑nxk 称为 x1,x2,…,xn 的算术平均数 (Arithmetic Mean),通常记为 An
- nk=1∏nxk 称为 x1,x2,…,xn 的几何平均数 (Geometric Mean),通常记为 Gn
因此该不等式通常也被叫做 AM-GM 不等式
此外,还有
- nk=1∏nxk 称为 x1,x2,…,xn 的调和平均数 (Harmonic Mean),通常记为 Hn
- n1k=1∑nxk 称为 x1,x2,…,xn 的二次平均数 (Quadratic Mean),通常记为 Qn
不同的平均数具备不同的意义,我们可以继续推导不等式
最终得到关系
Hn≤Gn≤An≤Qn
等号成立当且仅当 x1=x2=⋯=xn。
# Young 不等式
在考虑函数 f(x):=ex,由于 f′′(x)=ex≥0,因此 f 是凸函数。
因此,对于 x,y∈R 与 λ∈[0,1],有
eλx+(1−λ)y≤λex+(1−λ)ey
取 p,q>1 满足 p1+q1=1,通过改写 λ=p1 与 1−λ=q1,有
epx+qy≤p1ex+q1ey
由于 x,y∈R 是任意的,因此 a:=epx 与 b:=eqy 可以覆盖到所有的正数。
因此得到对于任意 a,b>0 与 p,q>1 满足 p1+q1=1,有
ab≤pap+qbq
等号成立当且仅当 ap=bq
该不等式称为 Young 不等式
由 Young 不等式可以得到以下 Holder 不等式
∣∣∣∣∣∣k=1∑nakbk∣∣∣∣∣∣≤(k=1∑n∣ak∣p)p1(k=1∑n∣bk∣q)q1,(p,q>1, p1+q1=1)
在 p=q=2 的时候,Holder 不等式退化为非常常用的 Cauchy–Schwarz 不等式
∣∣∣∣∣∣k=1∑nakbk∣∣∣∣∣∣≤k=1∑nak2k=1∑nbk2
继续推导可以得到 Minkowski 不等式
(k=1∑n∣ak+bk∣p)p1≤(k=1∑n∣ak∣p)p1+(k=1∑n∣bk∣p)p1,(p≥1)
# Jensen 不等式
定理 Jensen 不等式
令凸函数 f:[a,b]→R 与正实值函数 φ:[a,b]→(0,+∞),那么
f(∫abφ(x)dx1∫abxφ(x)dx)≤∫abφ(x)dx1∫abf(x)φ(x)dx
证明(暂时省略)