这7个命令行工具你还没尝试过吗？

Weights &Biases图表跟踪验证集内各种具有不同参数的模型的性能。Y轴表示精度，X轴表示训练回合数。

Weights & Biases(W&B)是一家总部位于旧金山的公司，提供一系列能无缝融入现有或新项目的深度学习及机器学习工具。它主要是跟踪项目中模型变化的实时性能，简直太管用了。

我在做项目时，常常就追踪问题手足无措：何时进行了哪些更改?这些更改对项目的各种评估指标是否产生了正面或负面影响?而W&B能用以多种方式存储并可视化这些评估指标，其中最有效的就是图表和表格：
 

近，在为MAFAT的多普勒脉冲雷达分类挑战设计各种模型的时候，我发觉自己手动构建模型调试工具就是在浪费时间，而搭建集成(组合大多数分类策略的机器学习模型，搭对了就会带来极大效用)时尤为繁琐。

创建集成的问题就是，各种模型及分类都需要让策略奏效。这就意味着要训练更多的模型、进行更多的分析、了解更多关于整体精度及模型性能的参数。同样，这就要求我花更多的时间创建自己的调试工具和策略。

为了更好地利用时间和资源，我决定使用一系列可用的在线工具来调试和分析机器学习模型。测试了几个工具后，我成功缩减了清单：开发或改进机器学习模型时，每个数据科学家都应考虑这两个超赞的工具。

Weights & Biases
 

可以看到交叉导数6xy²实际上是相等的。先对x求导得到关于x的偏导数2xy³，再对y求导得到关于y的偏导数6xy²。对于x或y的每个一元子函数，对角元素都为fᵢ。

此类函数的拓展部分将讨论从ℝᵐ映射到ℝᵏ的多元函数的二阶导数的情况，可以将其视为一个二阶雅可比矩阵。这是一个从ℝᵐ到ℝᵏ*ᵐ*ᵐ的映射，即一个三维张量。与黑塞矩阵相似，为了求出雅可比矩阵的梯度(求二阶微分)，要对k x m矩阵的每一个元素微分，得到一个向量矩阵，即为一个张量。虽然不太可能要求面试者进行手动计算，但了解多元函数的高阶导数相当重要。
 

目前仅讨论了一阶导数求导，但在神经网络中，会经常讨论多元函数的高阶导数。其中一种特殊情况就是二阶导数，也被称为黑塞矩阵，用H(f)或∇ ²(微分算符的平方)表示。从ℝⁿ映射到ℝ的函数g的黑塞矩阵是从ℝⁿ到ℝⁿ*ⁿ的映射H(g)。

现在分析一下我们是如何将输出域从ℝ转化为ℝⁿ*ⁿ。一阶导数，即梯度∇g，是一个从ℝⁿ到ℝⁿ的映射，其导数是一个雅可比矩阵。因此，每一个子函数的导数∇gᵢ都由n个从ℝⁿ映射到ℝⁿ的函数组成。可以这样想，就好比是对展开成一个向量的梯度向量的每个元素都求导，从而变成向量中的向量，即为一个矩阵。

要计算黑塞矩阵，需要计算交叉导数，即先对x求导，再对y求导，反过来也可以。求交叉导数的顺序会不会影响结果，换句话说，黑塞矩阵是否对称。在这种情况下，函数f为二次连续可微函数(用符号²表示)，施瓦兹定理表明交叉导数是相等的，因此黑塞矩阵是对称的。一些不连续但可微的函数，不满足交叉导数等式。

构造函数的黑塞矩阵就相当于求一个标量函数的二阶偏导数。以f(x,y) = x²y³为例，计算结果如下：
 

雅可比矩阵在深度学习中的可解释性领域中有一个有趣用例，目的是为了理解神经网络的行为，并分析神经网络的输出层对输入的灵敏度。

雅可比矩阵有助于研究输入空间的变化对输出的影响，还可以用于理解神经网络中间层的概念。总之需要记住梯度是标量对向量的导数，雅可比矩阵是一个向量对另一个向量的导数。

导数5：多元输入函数的黑塞矩阵

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!