谷歌最新机器学习术语表：MW的定义解释（下）

　　谷歌在不久前发布了机器学习术语表，本文主要列出MW的机器学习术语和TensorFlow专用术语的定义，与大家一起探讨学习。
　　AL部分参见谷歌最新机器学习术语表：AL的定义解释（上）
　　一、M
　　1。机器学习（machinelearning）
　　一种程序或系统，用于根据输入数据构建（训练）预测模型。这种系统会利用学到的模型根据从分布（训练该模型时使用的同一分布）中提取的新数据（以前从未见过的数据）进行实用的预测，机器学习还指与这些程序或系统相关的研究领域。
　　2。均方误差（MSE，MeanSquaredError）
　　每个样本的平均平方损失。MSE的计算方法是平方损失除以样本数，TensorFlowP显示的“训练损失”值和“测试损失”值都是MSE。
　　3。指标（metric）
　　您关心的一个数值。可能可以、也可能不可以直接在机器学习系统中得到优化，您的系统尝试优化的指标称为目标。
　　4。MetricsAPI（tf。metrics）
　　一种用于评估模型的TensorFlowAPI，例如：tf。metrics。用于确定模型的预测与标签匹配的频率。
　　在编写自定义E时，您可以调用MetricsAPI函数来指定应如何评估您的模型。
　　5。小批次（minibatch）
　　从训练或推断过程的一次迭代中一起运行的整批样本内随机选择的一小部分。小批次的规模通常介于10到1000之间，与基于完整的训练数据计算损失相比，基于小批次数据计算损失要高效得多。
　　6。小批次随机梯度下降法
　　一种采用小批次样本的梯度下降法，也就是说：小批次SGD会根据一小部分训练数据来估算梯度。VanillaSGD使用的小批次的规模为1。
　　7。ML
　　机器学习的缩写。
　　8。模型（model）
　　机器学习系统从训练数据学到的内容的表示形式。多含义术语，可以理解为下列两种相关含义之一：
　　一种TensorF图，用于表示预测计算结构。
　　该TensorFlow图的特定权重和偏差，通过训练决定。
　　9。模型训练（modeltraining）
　　确定最佳模型的过程。
　　10。动量（Momentum）
　　一种先进的梯度下降法，其中学习步长不仅取决于当前步长的导数，还取决于之前一步或多步的步长的导数。
　　动量涉及计算梯度，随时间而变化的指数级加权移动平均值，与物理学中的动量类似。动量有时可以防止学习过程被卡在局部最小的情况。
　　11。多类别分类（multiclassclassification）
　　区分两种以上类别的分类问题。
　　例如：枫树大约有128种，因此，确定枫树种类的模型就属于多类别模型。反之，仅将电子邮件分为两类（“垃圾邮件”和“非垃圾邮件”）的模型属于二元分类模型。
　　12。多项分类（multinomialclassification）
　　是多类别分类的同义词。
　　二、N
　　NaN陷阱（NaNtrap）
　　模型中的一个数字在训练期间变成NaN，这会导致模型中的很多或所有其他数字最终也会变成NaN。
　　NaN是“非数字”的缩写。
　　1。负类别（negativeclass）
　　在二元分类中，一种类别称为正类别，另一种类别称为负类别。正类别是我们要寻找的类别，负类别则是另一种可能性。
　　例如：在医学检查中，负类别可以是“非肿瘤”。在电子邮件分类器中，负类别可以是“非垃圾邮件”。另请参阅正类别。
　　2。神经网络（neuralnetwork）
　　一种模型，灵感来源于脑部结构，由多个层构成（至少有一个是隐藏层），每个层都包含简单相连的单元或神经元（具有非线性关系）。
　　3。神经元（neuron）
　　神经网络中的节点，通常是接收多个输入值并生成一个输出值。神经元通过将激活函数（非线性转换）应用于输入值的加权和来计算输出值。
　　4。节点（node）
　　多含义术语，可以理解为下列两种含义之一：
　　隐藏层中的神经元。
　　TensorF图中的操作。
　　5。标准化（normalization）
　　将实际的值区间转换为标准的值区间（通常为1到1或0到1）的过程。例如：假设某个特征的自然区间是800到6000，通过减法和除法运算，您可以将这些值标准化为位于1到1区间内。
　　另请参阅缩放。
　　6。数值数据（numericaldata）
　　用整数或实数表示的特征。例如：在房地产模型中，您可能会用数值数据表示房子大小（以平方英尺或平方米为单位）。
　　如果用数值数据表示特征，则可以表明特征的值相互之间具有数学关系，并且与标签可能也有数学关系；
　　如果用数值数据表示房子大小，则可以表明面积为200平方米的房子是面积为100平方米的房子的两倍。
　　此外，房子面积的平方米数可能与房价存在一定的数学关系。
　　并非所有整数数据都应表示成数值数据。例如：世界上某些地区的邮政编码是整数，但在模型中，不应将整数邮政编码表示成数值数据。
　　这是因为邮政编码20000在效力上并不是邮政编码10000的两倍（或一半）。
　　此外，虽然不同的邮政编码确实与不同的房地产价值有关，但我们也不能假设邮政编码为20000的房地产在价值上是邮政编码为10000的房地产的两倍。邮政编码应表示成分类数据。
　　数值特征有时称为连续特征。
　　7。Numpy
　　一个开放源代码数学库，在Python中提供高效的数组操作。P就建立在Numpy之上。
　　三、O
　　1。目标（objective）
　　算法尝试优化的指标。
　　2。离线推断（offlineinference）
　　生成一组预测，存储这些预测，然后根据需求检索这些预测。与在线推断相对。
　　3。onehot编码（onehotencoding）
　　一种稀疏向量，其中：
　　一个元素设为1。
　　所有其他元素均设为0。
　　onehot编码常用于表示拥有有限个可能值的字符串或标识符。
　　例如：假设某个指定的植物学数据集记录了15000个不同的物种，其中每个物种都用独一无二的字符串标识符来表示。在特征工程过程中，您可能需要将这些字符串标识符编码为onehot向量，向量的大小为15000。
　　4。一对多（onevs。all）
　　假设某个分类问题有N种可能的解决方案，一对多解决方案将包含N个单独的二元分类器一个二元分类器对应一种可能的结果。
　　例如：假设某个模型用于区分样本属于动物、蔬菜还是矿物，一对多解决方案将提供下列三个单独的二元分类器：
　　动物和非动物
　　蔬菜和非蔬菜
　　矿物和非矿物
　　5。在线推断（onlineinference）
　　根据需求生成预测。与离线推断相对。
　　6。操作（op，Operation）
　　TensorFlow图中的节点。在TensorFlow中，任何创建、操纵或销毁张量的过程都属于操作。例如：矩阵相乘就是一种操作，该操作以两个张量作为输入，并生成一个张量作为输出。
　　7。优化器（optimizer）
　　梯度下降法的一种具体实现。TensorFlow的优化器基类是tf。train。Optimizer，不同的优化器（tf。train。O的子类）会考虑如下概念：
　　动量（Momentum）
　　更新频率（AdaGADAptiveGRADAADAptivewithMRMSProp）
　　稀疏性正则化（Ftrl）
　　更复杂的计算方法（Proximal，等等）
　　甚至还包括NN驱动的优化器。
　　8。离群值（outlier）
　　与大多数其他值差别很大的值。在机器学习中，下列所有值都是离群值：
　　绝对值很高的权重。
　　与实际值相差很大的预测值。
　　值比平均值高大约3个标准偏差的输入数据。
　　离群值常常会导致模型训练出现问题。
　　9。输出层（outputlayer）
　　神经网络的“最后”一层，也是包含答案的层。
　　10。过拟合（overfitting）
　　创建的模型与训练数据过于匹配，以致于模型无法根据新数据做出正确的预测。
　　四、P
　　1。Pandas
　　面向列的数据分析API，很多机器学习框架（包括TensorFlow）都支持将Pandas数据结构作为输入。请参阅Pandas文档。
　　2。参数（parameter）
　　机器学习系统自行训练的模型的变量。例如：权重就是一种参数，它们的值是机器学习系统通过连续的训练迭代逐渐学习到的，与超参数相对。
　　3。参数服务器（PS，ParameterServer）
　　一种作业，负责在分布式设置中跟踪模型参数。
　　4。参数更新（parameterupdate）
　　在训练期间（通常是在梯度下降法的单次迭代中）调整模型参数的操作。
　　5。偏导数（partialderivative）
　　一种导数，除一个变量之外的所有变量都被视为常量。
　　例如：f（x，y）对x的偏导数就是f（x）的导数（即，使y保持恒定），f对x的偏导数仅关注x如何变化，而忽略公式中的所有其他变量。
　　6。分区策略（partitioningstrategy）
　　参数服务器中分割变量的算法。
　　7。性能（performance）
　　多含义术语，具有以下含义：
　　在软件工程中的传统含义。即：相应软件的运行速度有多快（或有多高效）？
　　在机器学习中的含义。在机器学习领域，性能旨在回答以下问题：相应模型的准确度有多高？即模型在预测方面的表现有多好？
　　8。困惑度（perplexity）
　　一种衡量指标，用于衡量模型能够多好地完成任务。
　　例如：假设任务是读取用户使用智能手机键盘输入字词时，输入的前几个字母，然后列出一组可能的完整字词。此任务的困惑度（P）是为了使列出的字词中包含用户尝试输入的实际字词，您需要提供的猜测项的个数。
　　困惑度与交叉熵的关系如下：
　　P2crossentropy
　　9。流水线（pipeline）
　　机器学习算法的基础架构。流水线包括：收集数据、将数据放入训练数据文件、训练一个或多个模型，以及将模型导出到生产环境。
　　10。正类别（positiveclass）
　　在二元分类中，两种可能的类别分别被标记为正类别和负类别。正类别结果是我们要测试的对象（不可否认的是，我们会同时测试这两种结果，但只关注正类别结果。）。
　　例如：在医学检查中，正类别可以是“肿瘤”。在电子邮件分类器中，正类别可以是“垃圾邮件”。
　　与负类别相对。
　　11。精确率（precision）
　　一种分类模型指标。精确率指模型正确预测正类别的频率，即：
　　12。预测（prediction）
　　模型在收到输入的样本后的输出。
　　13。预测偏差（predictionbias）
　　一个值，用于表明预测平均值与数据集中标签的平均值相差有多大。
　　14。预创建的Estimator（premadeEstimator）
　　其他人已建好的Estimator。TensorFlow提供了一些预创建的Estimator，包括：DNNClassifier、DNNR和LinearClassifier。
　　您可以按照这些说明构建自己预创建的Estimator。
　　15。预训练模型（pretrainedmodel）
　　已经过训练的模型或模型组件（例如嵌套）。有时，您需要将预训练的嵌套馈送到神经网络。在其他时候，您的模型将自行训练嵌套，而不依赖于预训练的嵌套。
　　16。先验信念（priorbelief）
　　在开始采用相应数据进行训练之前，您对这些数据抱有的信念。例如：L2正则化依赖的先验信念是权重应该很小且应以0为中心呈正态分布。
　　五、Q
　　1。队列（queue）
　　一种TensorF操作，用于实现队列数据结构。通常用于IO中。
　　六、R
　　1。等级（rank）
　　机器学习中的一个多含义术语，可以理解为下列含义之一：
　　张量中的维度数量。例如：标量等级为0、向量等级为1、矩阵等级为2。
　　在将类别从最高到最低进行排序的机器学习问题中，类别的顺序位置。例如：行为排序系统可以将狗狗的奖励从最高（牛排）到最低（枯萎的羽衣甘蓝）进行排序。
　　2。评分者（rater）
　　为样本提供标签的人，有时称为“注释者”。
　　3。召回率（recall）
　　一种分类模型指标，用于回答以下问题：在所有可能的正类别标签中，模型正确地识别出了多少个？即：
　　4。修正线性单元（ReLU，RectifiedLinearUnit）
　　一种激活函数，其规则如下：
　　如果输入为负数或0，则输出0。
　　如果输入为正数，则输出等于输入。
　　5。回归模型（regressionmodel）
　　一种模型，能够输出连续的值（通常为浮点值）。请与分类模型进行比较，分类模型输出离散值。例如：“黄花菜”或“虎皮百合”。
　　6。正则化（regularization）
　　对模型复杂度的惩罚。正则化有助于防止出现过拟合，包含以下类型：
　　L1正则化
　　L2正则化
　　丢弃正则化
　　早停法（这不是正式的正则化方法，但可以有效限制过拟合）
　　7。正则化率（regularizationrate）
　　一种标量值，以lambda表示，用于指定正则化函数的相对重要性。从下面简化的损失公式中可以看出正则化率的影响：
　　minimize（（regularizationfunction））
　　提高正则化率可以减少过拟合，但可能会使模型的准确率降低。
　　8。表示法（representation）
　　将数据映射到实用特征的过程。
　　9。受试者工作特征曲线（receiveroperatingcharacteristic，简称ROC曲线）
　　不同分类阈值下的真正例率和假正例率构成的曲线。另请参阅曲线下面积。
　　10。根目录（rootdirectory）
　　您指定的目录，用于托管多个模型的TensorFlow检查点和事件文件的子目录。
　　11。均方根误差（RMSE，RootMeanSquaredError）
　　均方误差的平方根。
　　七、S
　　1。SavedModel
　　保存和恢复TensorFlow模型时建议使用的格式。SavedModel是一种独立于语言且可恢复的序列化格式，使较高级别的系统和工具可以创建、使用和转换TensorFlow模型。
　　如需完整的详细信息，请参阅《TensorFlow编程人员指南》中的保存和恢复。
　　2。Saver
　　一种TensorFlow对象，负责保存模型检查点。
　　3。缩放（scaling）
　　特征工程中的一种常用做法，是对某个特征的值区间进行调整，使之与数据集中其他特征的值区间一致。
　　例如：假设您希望数据集中所有浮点特征的值都位于0到1区间内，如果某个特征的值位于0到500区间内，您就可以通过将每个值除以500来缩放该特征。
　　另请参阅标准化。
　　4。scikitlearn
　　一个热门的开放源代码机器学习平台。请访问www。scikitlearn。org。
　　5。半监督式学习（semisupervisedlearning）
　　训练模型时采用的数据中，某些训练样本有标签，而其他样本则没有标签。
　　半监督式学习采用的一种技术是推断无标签样本的标签，然后使用推断出的标签进行训练，以创建新模型。如果获得有标签样本需要高昂的成本，而无标签样本则有很多，那么半监督式学习将非常有用。
　　6。序列模型（sequencemodel）
　　一种模型，其输入具有序列依赖性。例如：根据之前观看过的一系列视频对观看的下一个视频进行预测。
　　7。会话（session）
　　维持TensorFlow程序中的状态（例如：变量）。
　　8。S型函数（sigmoidfunction）
　　一种函数，可将逻辑回归输出或多项回归输出（对数几率）映射到概率，以返回介于0到1之间的值。S型函数的公式如下：
　　在逻辑回归问题中，非常简单：
　　换句话说，S型函数可将转换为介于0到1之间的概率。
　　在某些神经网络中，S型函数可作为激活函数使用。
　　9。softmax
　　一种函数，可提供多类别分类模型中每个可能类别的概率。这些概率的总和正好为1。0。
　　例如：softmax可能会得出某个图像是狗、猫和马的概率分别是：0。9、0。08和0。02（也称为完整softmax）。
　　与候选采样相对。
　　10。稀疏特征（sparsefeature）
　　一种特征向量，其中的大多数值都为0或为空。
　　例如：某个向量包含一个为1的值和一百万个为0的值，则该向量就属于稀疏向量。
　　再举一个例子，搜索查询中的单词也可能属于稀疏特征在某种指定语言中有很多可能的单词，但在某个指定的查询中仅包含其中几个。
　　与密集特征相对。
　　11。平方合页损失函数（squaredhingeloss）
　　合页损失函数的平方。与常规合页损失函数相比，平方合页损失函数对离群值的惩罚更严厉。
　　12。平方损失函数（squaredloss）
　　在线性回归中使用的损失函数（也称为L2损失函数），该函数可计算模型为有标签样本预测的值和标签的实际值之差的平方。由于取平方值，因此该损失函数会放大不佳预测的影响。
　　也就是说，与L1损失函数相比，平方损失函数对离群值的反应更强烈。
　　13。静态模型（staticmodel）
　　离线训练的一种模型。
　　14。平稳性（stationarity）
　　数据集中数据的一种属性，表示数据分布在一个或多个维度保持不变。这种维度最常见的是时间，即表明平稳性的数据不随时间而变化。
　　例如：从9月到12月，表明平稳性的数据没有发生变化。
　　15。步（step）
　　对一个批次的向前和向后评估。
　　16。步长（stepsize）
　　是学习速率的同义词。
　　17。随机梯度下降法（SGD，stochasticgradientdescent）
　　批次规模为1的一种梯度下降法。换句话说，SGD依赖于从数据集中随机均匀选择的单个样本来计算每步的梯度估算值。
　　18。结构风险最小化（SRM，structuralriskminimization）
　　一种算法，用于平衡以下两个目标：
　　期望构建最具预测性的模型（例如损失最低）。
　　期望使模型尽可能简单（例如强大的正则化）。
　　例如：旨在将基于训练集的损失和正则化降至最低的模型函数，就是一种结构风险最小化算法。
　　如需更多信息，请参阅http：www。svms。orgsrm。
　　与经验风险最小化相对。
　　19。总结（summary）
　　在TensorFlow中的某一步计算出的一个值或一组值，通常用于在训练期间跟踪模型指标。
　　20。监督式机器学习（supervisedmachinelearning）
　　根据输入数据及其对应的标签来训练模型，监督式机器学习类似于学生通过研究一系列问题及其对应的答案来学习某个主题，在掌握了问题和答案之间的对应关系后，学生便可以回答关于同一主题的新问题（以前从未见过的问题）。
　　请与非监督式机器学习进行比较
　　21。合成特征（syntheticfeature）
　　一种特征，不在输入特征之列，而是从一个或多个输入特征衍生而来。合成特征包括以下类型：
　　将一个特征与其本身或其他特征相乘（称为特征组合）。
　　两个特征相除。
　　对连续特征进行分桶，以分为多个区间分箱。
　　通过标准化或缩放单独创建的特征不属于合成特征。
　　八、T
　　1。目标（target）
　　是标签的同义词。
　　2。时态数据（temporaldata）
　　在不同时间点记录的数据。例如：记录的一年中每一天的冬外套销量就属于时态数据。
　　3。张量（Tensor）
　　TensorFlow程序中的主要数据结构。张量是N维（其中N可能非常大）数据结构，最常见的是标量、向量或矩阵。张量的元素可以包含整数值、浮点值或字符串值。
　　4。张量处理单元（TPU，TensorProcessingUnit）
　　一种ASIC（应用专用集成电路），用于优化TensorFlow程序的性能。
　　5。张量等级（Tensorrank）
　　请参阅等级。
　　6。张量形状（Tensorshape）
　　张量在各种维度中包含的元素数。例如：张量〔5，10〕在一个维度中的形状为5，在另一个维度中的形状为10。
　　7。张量大小（Tensorsize）
　　张量包含的标量总数。例如：张量〔5，10〕的大小为50。
　　8。TensorBoard
　　一个信息中心，用于显示在执行一个或多个TensorFlow程序期间保存的摘要信息。
　　9。TensorFlow
　　一个大型的分布式机器学习平台。该术语还指TensorFlow堆栈中的基本API层，该层支持对数据流图进行一般计算。
　　虽然TensorFlow主要应用于机器学习领域，但也可用于需要使用数据流图进行数值计算的非机器学习任务。
　　10。TensorFlowPlayground
　　一款用于直观呈现不同的超参数对模型（主要是神经网络）训练的影响的程序。要试用TensorFlowPlayground，请前往http：playground。tensorflow。org。
　　11。TensorFlowServing
　　一个平台，用于将训练过的模型部署到生产环境。
　　12。测试集（testset）
　　数据集的子集，用于在模型经由验证集的初步验证之后测试模型。
　　与训练集和验证集相对。
　　13。tf。Example
　　一种标准的protobuffer，旨在描述用于机器学习模型训练或推断的输入数据。
　　14。时间序列分析（timeseriesanalysis）
　　机器学习和统计学的一个子领域，旨在分析时态数据。很多类型的机器学习问题都需要时间序列分析，其中包括：分类、聚类、预测和异常检测。
　　例如：您可以利用时间序列分析、根据历史销量数据预测未来每月的冬外套销量。
　　15。训练（training）
　　确定构成模型的理想参数的过程。
　　16。训练集（trainingset）
　　数据集的子集，用于训练模型。
　　与验证集和测试集相对。
　　17。转移学习（transferlearning）
　　将信息从一个机器学习任务转移到另一个机器学习任务。例如：
　　在多任务学习中，一个模型可以完成多项任务；
　　针对不同任务具有不同输出节点的深度模型，转移学习可能涉及，将知识从较简单任务的解决方案转移到较复杂的任务，或者将知识从数据较多的任务转移到数据较少的任务。
　　大多数机器学习系统都只能完成一项任务，转移学习是迈向人工智能的一小步，在人工智能中，单个程序可以完成多项任务。
　　18。真负例（TN，truenegative）
　　被模型正确地预测为负类别的样本。例如：模型推断出某封电子邮件不是垃圾邮件，而该电子邮件确实不是垃圾邮件。
　　真正例（TP，truepositive）
　　被模型正确地预测为正类别的样本。例如：模型推断出某封电子邮件是垃圾邮件，而该电子邮件确实是垃圾邮件。
　　19。真正例率（truepositiverate，简称TP率）
　　是召回率的同义词，即：
　　真正例率是ROC曲线的y轴。
　　九、U
　　1。无标签样本（unlabeledexample）
　　包含特征但没有标签的样本。无标签样本是用于进行推断的输入内容，在半监督式和非监督式学习中，无标签样本在训练期间被使用。
　　2。非监督式机器学习（unsupervisedmachinelearning）
　　训练模型，以找出数据集（通常是无标签数据集）中的模式。
　　非监督式机器学习最常见的用途是将数据分为不同的聚类，使相似的样本位于同一组中。
　　例如：非监督式机器学习算法可以根据音乐的各种属性将歌曲分为不同的聚类，所得聚类可以作为其他机器学习算法（例如音乐推荐服务）的输入。
　　在很难获取真标签的领域，聚类可能会非常有用；在反滥用和反欺诈等领域，聚类有助于人们更好地了解相关数据。
　　非监督式机器学习的另一个例子是主成分分析（PCA）。例如：通过对包含数百万购物车中物品的数据集进行主成分分析，可能会发现有柠檬的购物车中往往也有抗酸药。
　　请与监督式机器学习进行比较。
　　十、V
　　1。验证集（validationset）
　　数据集的一个子集，从训练集分离而来，用于调整超参数。
　　与训练集和测试集相对。
　　十一、W
　　1。权重（weight）
　　线性模型中特征的系数，或深度网络中的边，训练线性模型的目标是确定每个特征的理想权重。如果权重为0，则相应的特征对模型来说没有任何贡献。
　　2。宽度模型（widemodel）
　　一种线性模型，通常有很多稀疏输入特征。
　　我们之所以称之为“宽度模型”，是因为这是一种特殊类型的神经网络，其大量输入均直接与输出节点相连。与深度模型相比，宽度模型通常更易于调试和检查。
　　虽然宽度模型无法通过隐藏层来表示非线性关系，但可以利用特征组合、分桶等转换以不同的方式为非线性关系建模。
　　与深度模型相对。