百面读书笔记八

　　第8章 　采样
　　就是从特定的概率分布中抽取相应样本点的过程。采样在机器学习中有着非常重要的应用：它可以将复杂的分布简化为离散的样本点；可以用重采样对样本集进行调整以更好地适应后期的模型学习；可以用于随机模拟以进行复杂模型的近似求解或推理。另外，采样在数据可视化方面也有很多应用，可以帮助人们快速、直观地了解数据的结构和特性。
　　8.1 数据采样的原因？
　　因为我们在现实生活中，大多数数据都是庞大的，所以总体分布可能就包含了无数多的样本点，模型是无法对这些海量的数据进行直接建模的（至少目前而言），而且从效率上也不推荐。
　　因此，我们一般会从总体样本中抽取出一个子集来近似总体分布，这个子集被称为＂训练集＂，然后模型训练的目的就是最小化训练集上的损失函数，训练完成后，需要另一个数据集来评估模型，也被称为＂测试集＂。
　　采样的一些高级用法，比如对样本进行多次重采样，来估计统计量的偏差与方法，也可以对目标信息保留不变的情况下，不断改变样本的分布来适应模型训练与学习（经典的应用如解决样本不均衡的问题）。
　　8.2 常见的采样算法？
　　A 逆变换采样
　　有的时候一些分布不好直接采样，可以用函数转换法，如果存在随机变量x和u的变换关系：u=ϕ(x)，则它们的概率密度函数如下所示：
　　p(u)|ϕ′(x)|=p(x)
　　因此，如果从目标分布p(x)中不好采样x，可以构造一个变换u=ϕ(x)，使得从变换后地分布p(u)中采样u比较容易，这样可以通过对u进行采样然后通过反函数来间接得到x。如果是高维空间地随机变量,则ϕ′(x)对应Jacobian行列式。
　　而且，如果变换关系ϕ(·)是x的累积分布函数的话，则就是我们说的 逆变换采样（Inverse Transform Sampling）， 我们假设待采样的目标分布的概率密度函数为p(x), 它的累积分布函数为：
　　逆变换采样法的过程：
　　1. 从均匀分布U(0，1)产生一个随机数 Ui
　　2. 计算逆函数
　　来间接得到x
　　但并不是所有的目标分布的累积分布函数的逆函数都是可以求解的（or容易计算），这个时候逆变换采样法就不太适用，可以考虑拒绝采样（Rejection Sampling）和重要度采样（Importance Sampling）。
　　B 拒绝采样（Rejection Sampling）
　　拒绝采样，也被称为接受采样（Accept Sampling），对于目标分布p(x)，选取一个容易采样的参考分布q(x)，使得对于任意的x都有：
　　其采样过程如下：
　　1）从参考分布q(x)中随机抽取一个样本xi
　　2）从均匀分布U(0,1)产生一个随机ui
　　3）如果
　　，则接受样本xi，否则拒绝，一直重复1-3步骤，直到新产生的样本量满足要求。
　　其实，拒绝采样的关键就是为我们的目标分布p(x)选取一个合适的包络函数
　　，如下图所示的正态分布的函数：
　　可以知道，包络函数越＂紧＂，
　　的大小越接近，那么
　　就越接近1，那么更容易接受采样样本，这样子采样的效率就越高。
　　除了上面的形式，还有一种叫自适应拒绝采样（Adaptive Rejection Sampling），在目标分布是对数凹函数时，用分段的线性函数来做包络函数，如下图所示：
　　C 重要性采样（Importance Sampling）
　　还有一种采样方法，是计算函数f(x)在目标分布p(x)上的积分（函数期望），即：
　　我们先找一个比较容易抽样的参考分布q(x)，并令
　　则存在：
　　这里的w(x)我们可以理解为权重，我们就可以从参考分布q(x)中抽取N个样本xi，并且利用如下公式来估计E[f]：
　　下图就是重要性采样的示意图：
　　D 马尔科夫蒙特卡洛采样法
　　在高维空间中，拒绝采样和重要性采样很难寻找到合适参考分布，而且采样的效率是很低的，这个时候是可以考虑一下马尔科夫蒙特卡洛（Markov Chain Monte Carlo，MCMC）采样法。
　　MCMC采样法主要包括两个MC，即Monte Carlo和Markov Chain。Monte Carlo是指基于采样的数值型近似求解方法，Markov Chain则是用于采样，MCMC的基本思想是：针对待采样的目标分布，构造一个马尔科夫链，使得该马尔科夫链的平稳分布就是目标分布，然后从任何一个初始状态出发，沿着马尔科夫链进行状态转移，最终得到的状态转移序列会收敛到目标分布，由此得到目标分布的一系列样本。
　　MCMC有着不同的马尔科夫链（Markov Chain），不同的链对应不同的采样法，常见的两种就是Metropolis-Hastings采样法和吉布斯采样法。
　　8.3 如何编程实现均匀分布随机数生成器？
　　8.4 如何对高斯分布进行采样？
　　8.5 MCMC采样法如何得到相互独立的样本？
　　与一般的蒙特卡洛算法不同，MCMC采样法得到的样本序列中相邻的样本不是独立的，因为后一个样本是由前一个样本根据特定的转移概率得到的，或者有一定概率就是前一个样本。如果仅仅是采样，并不需要样本之间相互独立。如果确实需要产生独立同分布的样本，可以同时运行多条马尔可夫链，这样不同链上的样本是独立的；或者在同一条马尔可夫链上每隔若干个样本才选取一个，这样选取出来的样本也是近似独立的。
　　8.6 如何对贝叶斯网络进行采样？如果只需要考虑一部分变量的边缘分布，如何采样？如果网络中含有观测变量，又该如何采样？
　　8.7 对于二分类问题，当训练集中正负样本非常不均衡时，如何处理数据以更好地训练分类模型？