Lettle
Lettle
发布于 2023-04-14 / 8 阅读 / 0 评论 / 0 点赞

机器学习-常用术语

A

A/B 测试 (A/B testing)

一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好,而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较,但也适用于任意有限数量的技术和衡量方式。

准确率 (Accuracy)

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义如下:

准确率 = 正确的样本数 / 样本总数

准确率正确的预测数样本总数在二元分类中,准确率的定义如下:

准确率 = (正例数+负例数) / 样本总数


激活函数 (Activation Function)

一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

AdaGrad

一种先进的梯度下降法,用于重新调整每个参数的梯度,以便有效地为每个参数指定独立的学习速率。

B

反向传播算法 (Back Propagation)

在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

基准 (Baseline)

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

批次 (Batch)

模型训练的一次迭代(即一次梯度更新)中使用的样本集。

批次大小 (Batch Size)

一个批次中的样本数。例如,SGD 的批次大小为 1,而小批次的大小通常介于 10 到 1000 之间。批次大小在训练和推断期间通常是固定的;不过,TensorFlow 允许使用动态批次大小。

偏差 (Bias)

距离原点的截距或偏移。偏差(也称为偏差项)在机器学习模型中用 bw0 表示。例如,在下面的公式中,偏差为

请勿与预测偏差混淆