定义
取区间 IRI \subseteq \mathbb R 与一个定义在 II 上的实值函数 ff,若

x,yI,t[0,1]: f(tx+(1t)y)tf(x)+(1t)f(y){}^\forall x,y \in I, {}^\forall t \in [0, 1]:\ f(tx + (1-t)y) \leq t f(x) + (1-t) f(y)

则称 ff 是定义在区间 II 上的 凸函数 (Convex Function)「凸関数」

从几何学上,这意味着任意函数上两点连成的线段都在函数图像的上方,也就是高中数学中所说的向下凸出的函数

引理
令区间 IRI \subseteq \mathbb R 与一个定义在 II 上的实值函数 ff,令 ff 可以 22 阶微分,且恒有 f(x)0f''(x) \geq 0,则

x0I: f(x)f(x0)+f(x0)(xx0){}^\forall x_0 \in I:\ f(x) \geq f(x_0) + f'(x_0)(x - x_0)

证明(暂时省略)
  • 该结论的几何意义是:函数图像在任意一点处都在该点的切线的上方

命题
令区间 IRI \subseteq \mathbb R 与一个定义在 II 上的实值函数 ff,令 ff 可以 22 阶微分,且恒有 f(x)0f''(x) \geq 0
则对于有限个点 x1,x2,,xnIx_1, x_2, \ldots, x_n \in I 与任意非负实数 t1,t2,,tnt_1, t_2, \ldots, t_n 满足 k=1ntk=1\displaystyle\sum_{k=1}^n t_k = 1,有

f(k=1ntkxk)k=1ntkf(xk)f\left(\sum_{k=1}^n t_k x_k\right) \leq \sum_{k=1}^n t_k f(x_k)

证明(暂时省略)

不难看出,上述结论中 n=2n=2 正是凸函数的定义,因此有以下重要引理

引理
定义在区间上,具有非负的二阶微分的函数一定是凸函数

证明

上一结论中取 n=2n=2 即可
\square

# 均值不等式

f(x):=lnxf(x) := -\ln x,则 f(x)=1x20f''(x) = \dfrac{1}{x^2} \geq 0,因此 ff 是凸函数
x1,x2,,xn(0,+)x_1, x_2, \ldots, x_n \in (0, +\infty) 与任意非负实数 t1=t2==tn=1nt_1 = t_2 = \cdots = t_n = \dfrac{1}{n},有

ln(1nk=1nxk)1nk=1nlnxk\ln\left(\frac{1}{n} \sum_{k=1}^n x_k\right) \geq \frac{1}{n} \sum_{k=1}^n \ln x_k

整理一下不等式可以得到非常常用的均值不等式

1nk=1nxkk=1nxkn\frac{1}{n} \sum_{k=1}^n x_k \geq \sqrt[n]{\prod_{k=1}^n x_k}

等号成立当且仅当 x1=x2==xnx_1 = x_2 = \cdots = x_n

在这里

  • 1nk=1nxk\dfrac{1}{n} \displaystyle\sum_{k=1}^n x_k 称为 x1,x2,,xnx_1, x_2, \ldots, x_n算术平均数 (Arithmetic Mean),通常记为 AnA_n
  • k=1nxkn\sqrt[n]{\displaystyle\prod_{k=1}^n x_k} 称为 x1,x2,,xnx_1, x_2, \ldots, x_n几何平均数 (Geometric Mean),通常记为 GnG_n

因此该不等式通常也被叫做 AM-GM 不等式

此外,还有

  • k=1nxkn\displaystyle\sqrt[n]{\prod_{k=1}^n x_k} 称为 x1,x2,,xnx_1, x_2, \ldots, x_n调和平均数 (Harmonic Mean),通常记为 HnH_n
  • 1nk=1nxk\displaystyle\frac{1}{n} \sum_{k=1}^n x_k 称为 x1,x2,,xnx_1, x_2, \ldots, x_n二次平均数 (Quadratic Mean),通常记为 QnQ_n

不同的平均数具备不同的意义,我们可以继续推导不等式

最终得到关系

HnGnAnQnH_n \leq G_n \leq A_n \leq Q_n

等号成立当且仅当 x1=x2==xnx_1 = x_2 = \cdots = x_n

# Young 不等式

在考虑函数 f(x):=exf(x) := e^x,由于 f(x)=ex0f''(x) = e^x \geq 0,因此 ff 是凸函数。
因此,对于 x,yRx,y \in \mathbb Rλ[0,1]\lambda \in [0, 1],有

eλx+(1λ)yλex+(1λ)eye^{\lambda x + (1-\lambda) y} \leq \lambda e^x + (1-\lambda) e^y

p,q>1p,q \gt 1 满足 1p+1q=1\dfrac{1}{p} + \dfrac{1}{q} = 1,通过改写 λ=1p\lambda = \dfrac{1}{p}1λ=1q1-\lambda = \dfrac{1}{q},有

exp+yq1pex+1qeye^{\frac{x}{p} + \frac{y}{q}} \leq \frac{1}{p} e^x + \frac{1}{q} e^y

由于 x,yRx,y \in \mathbb R 是任意的,因此 a:=expa := e^\frac{x}{p}b:=eyqb := e^\frac{y}{q} 可以覆盖到所有的正数。
因此得到对于任意 a,b>0a,b \gt 0p,q>1p,q \gt 1 满足 1p+1q=1\dfrac{1}{p} + \dfrac{1}{q} = 1,有

abapp+bqqa b \leq \frac{a^p}{p} + \frac{b^q}{q}

等号成立当且仅当 ap=bqa^p = b^q

该不等式称为 Young 不等式

由 Young 不等式可以得到以下 Holder 不等式

k=1nakbk(k=1nakp)1p(k=1nbkq)1q,(p,q>1, 1p+1q=1)\left| \sum_{k=1}^n a_k b_k \right| \leq \left(\sum_{k=1}^n |a_k|^p\right)^{\frac{1}{p}} \left(\sum_{k=1}^n |b_k|^q\right)^{\frac{1}{q}},\quad (p,q \gt 1,\ \frac{1}{p} + \frac{1}{q} = 1)

p=q=2p = q = 2 的时候,Holder 不等式退化为非常常用的 Cauchy–Schwarz 不等式

k=1nakbkk=1nak2k=1nbk2\left| \sum_{k=1}^n a_k b_k \right| \leq \sqrt{\sum_{k=1}^n a_k^2} \sqrt{\sum_{k=1}^n b_k^2}

继续推导可以得到 Minkowski 不等式

(k=1nak+bkp)1p(k=1nakp)1p+(k=1nbkp)1p,(p1)\left(\sum_{k=1}^n |a_k + b_k|^p\right)^{\frac{1}{p}} \leq \left(\sum_{k=1}^n |a_k|^p\right)^{\frac{1}{p}} + \left(\sum_{k=1}^n |b_k|^p\right)^{\frac{1}{p}},\quad (p \geq 1)

# Jensen 不等式

定理 Jensen 不等式
令凸函数 f:[a,b]Rf:[a, b] \to \mathbb R 与正实值函数 φ:[a,b](0,+)\varphi: [a, b] \to (0, +\infty),那么

f(1abφ(x)dxabxφ(x)dx)1abφ(x)dxabf(x)φ(x)dxf\left( \frac{1}{\int_a^b \varphi(x) \, dx} \int_a^b x \varphi(x) \, dx \right) \leq \frac{1}{\int_a^b \varphi(x) \, dx} \int_a^b f(x) \varphi(x) \, dx

证明(暂时省略)