条件概率与卷积
[TOC]
在学习《convex optimization》第三章第5节时, 论证了 log-concave 对数凸函数的卷积仍旧是对数凸函数, 看到证明的过程突然觉得条件概率是不是就是卷积, 因此调查了一番, 还真是如此, 总结于下.
卷积的概念
函数 $f,g$ 的卷积定义 $f{*}g(n)$如下:
连续形式:
$$
f{*}g(n) = \int_{-\infty}^{\infty} f(\tau) g(n - \tau) d \tau
$$
离散形式:
$$
f{*}g(n) = \sum_{\tau = -\infty}^{\infty} f(\tau) g(n - \tau)
$$
卷积的形象化理解可以参考知乎回答.
其中也涉及到了投掷骰子的条件概率的例子. 如何从数学形式推导出来呢?
从条件概率到卷积
假设 $X$ 和 $Y$ 是离散型随机变量, 具有联合频率函数 $p(x,y)$, 令 $Z = X + Y$. 为计算 $Z$ 的频率函数, 利用当 $X = x, Y = z -x$ 时, $Z = z$. 因此 $Z$ 的概率是联合概率关于所有 $x$ 的和, 即:
$$
p_Z(z) = \sum_{x = - \infty}^{\infty} p(x,z-x)
$$
如果 $X$ 和 $Y$ 独立, 则 $p(x,y) = p_X(x) p_Y(y)$, 那么:
$$
p_Z(z) = \sum_{x = -\infty}^{\infty} p_X(x) p_Y(z - x)
$$
可以看出来这就是离散形式的卷积形式.
下面看连续情形:
概率 $p(x), p(y)$ 的获得, 无法通过离散量内积的形式得到, 必须由概率密度密度函数积分得到, 即:
$$
F_Z(z) = \iint_{R_z} f(x,y) dx dy = \int_{-\infty}^{\infty} \int_{-\infty}^{z -x}f(x, y) dy dx
$$
令 $y = v - x$, 变换积分得到:
$$
F_Z(z) = \int_{-\infty}^{\infty} \int_{-\infty}^{z}f(x, v - x) dv dx = \int_{-\infty}^{z} \int_{-\infty}^{\infty}f(x, v - x) dx dv
$$
若 $\int_{-\infty}^{\infty}f(x, z - x) dx$ 在点 $z$ 处连续, 对上面微分可得:
$$
f_Z(z) = \int_{-\infty}^{\infty} f(x, z - x) dx
$$
如果 $X$ 和 $Y$ 独立, 那么:
$$
f_Z(z) = \int_{-\infty}^{\infty} f_X(x) f_Y(z - x) dx
$$
可以看到这是连续形式下的卷积.
总结下来, 条件概率的计算其实就是卷积运算的一种具体应用.