在Gan生成对抗神经网络中会用到Jensen不等式,因此做下记录。

Jensen不等式告诉我们:如果f ff是在区间[ a , b ] 上的凸函数(就是导数一直增长的函数,或者说是导数的导数大于0的函数),x 是随机变量,那么有:

也就是说函数f ff的期望大于等于期望的函数。

下面来看看怎么证明,我们假设x 1 , x 2 , . . . . . . x n都是区间[ a , b ]内的数,且x 1 ≤ x 2 ≤ , . . . . . . ≤ x n,则上式可以写成下面这个形式:

当n =1时,式子显然成立。

当n =2时,可以构造一个式子如下:

 

等式成立。

刚刚好满足n = 2 时的情况,有

等式成立!而且从证明的过程我们也可以看出,等于号只有在x 1 , x 2 , . . . . . . x n 都相等的情况下才能取得。