面筋读书笔记一

　　第一章 特征工程
　　特征工程旨在去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。
　　1.1 为什么要对数字类型的特征进行归一化？
　　对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内，以便进行分析。
　　最常用的方法主要有以下两种：
　　当然，数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5为例，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。
　　1.2 如何处理类别型特征？
　　序号编码（Ordinal Encoding）：常用于处理类别间具有大小关系的数据。如成绩高低。
　　独热编码（One-hot Encoding）：常用于处理类别间不具有大小关系的特征。例如血型。
　　对于类别取值较多的情况使用独热编码需要注意以下问题：
　　（1）使用稀疏向量来节省空间。在独热编码下，特征向量只有某一维取值为1，其他位置取值均为0。因此可以利用向量的稀疏表示有效地节省空间，并且目前大部分的算法均接受稀疏向量形式的输入。
　　（2）配合特征选择来降低维度。高维度特征会带来几方面的问题。一是在K近邻算法中，高维空间下两点之间的距离很难得到有效的衡量；二是在逻辑回归模型中，参数的数量会随着维度的增高而增加，容易引起过拟合问题；三是通常只有部分维度是对分类、预测有帮助，因此可以考虑配合特征选择来降低维度。
　　二进制编码（Binary Encoding）：先用序号编码给每个类别赋予一个类别ID，然后将类别ID对应的二进制编码作为结果。
　　1.3 什么是组合特征？如何处理高维组合特征？
　　为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征.
　　1.4 怎样有效地找到组合特征？
　　......
　　1.5 有哪些文本表示模型？它们各有什么优缺点？
　　词袋模型和N-gram模型：
　　主题模型：主题模型用于从文本库中发现有代表性的主题（得到每个主题上面词的分布特性），并且能够计算出每篇文章的主题分布。
　　词嵌入与深度学习模型：词嵌入是一类将词向量化的模型的统称，核心思想是将每个词都映射成低维
　　空间（通常K=50～300维）上的一个稠密向量（Dense Vector）。K维空间的每一维也可以看作一个隐含的主题，只不过不像主题模型中的主题那样直观。
　　1.6 Word2Vec是如何工作的？它和LDA有什么区别与联系？