每个数据科学家都应了解的5个概念

上一节中已经提到从ℝᵐ映射到ℝ的函数的导数，是一个从ℝᵐ映射到ℝᵐ的梯度。但如果输出域也是多元的，即从ℝᵐ映射到ℝᵏ(k > 1)，那又当如何?

这种情况下，导数为雅可比矩阵。可以把梯度简单视为一个m x 1的特殊雅可比矩阵，此时m与变量个数相等。雅可比矩阵J(g)是一个从ℝᵐ到ℝᵏ*ᵐ的映射，其中函数g从ℝᵐ映射到ℝᵏ。这也就是说输出域的维数是k x m，即为一个k x m矩阵。换言之，在雅可比矩阵J(g)中，第i行表示函数gᵢ的梯度∇ gᵢ。

假设上述函数f(x, y) = [2x², x √y]从ℝ²映射到ℝ²，通过推导该函数的导数可以发现函数的输入和输出域都是多元的。在这种情况下，由于平方根函数在负数上没有定义，需要把y的定义域限定为ℝ⁺。输出雅可比矩阵的第一行就是函数1的导数，即∇ 2x²;第二行为函数2的导数，即∇ x √y。
 

到目前为止，前面讨论的函数导数都是从ℝ映射到ℝ的函数，即函数的定义域和值域都是实数。但机器学习本质上是矢量的，函数也是多元的。

下面这个例子最能阐释这种多元性：当神经网络的输入层大小为m和输出层大小为k时，即f(x) = g(Wᵀx + b)，此函数是线性映射Wᵀx(权阵W和输入向量x)和非线性映射g(激活函数)按元素组成的。一般情况下，该函数也可视作是从ℝᵐ到ℝᵏ的映射。

我们把k=1时的导数称为梯度。现在来计算以下从ℝ³映射到ℝ的三元函数：
 

注意这里是用乘积法则(uv)’=u’v+uv’来求指数xln(x)的导数。

通常情况下，面试官提问这个函数时不会告诉你函数定义域。如果面试官没有给定函数定义域，他可能是想测试一下你的数学敏锐度。这便是这个问题具有欺骗性的地方。没有限定定义域，xˣ既可以为正也可以为负。当x为负时，如(-0.9)^(-0.9)，结果为复数-1.05–0.34i。

一种解决方法是将该函数的定义域限定为ℤ⁻ ∪ ℝ⁺ ，但对于负数来说，函数依然不可微。因此，为了正确推导出复变指数函数xˣ的导数，只需要把该函数的定义域严格限定为正数即可。排除0是因为此时导数也为0，左右导数需相等，但在这种情况下，此条件是不成立的。因为左极限是没有定义的，函数在0处不可微，因此函数的定义域只能限定为正数。
 

这是个非常简单的例子，乍一看可能无关紧要，但它经常在面试开始前被面试官用来试探面试者的能力。如果你已经很久没有温习过导数了，那么很难确保自己能够迅速应对这些简单问题。虽然它不一定会让你得到这份工作，但如果你连这么一个基本问题都回答不上，那你肯定会失去这份工作。

导数2：底数为变量的复变指数
 

指数函数非常基础常见，而且非常有用。它是一个标准正函数。在实数ℝ中eˣ > 0，同时指数函数还有一个重要的性质，即e⁰ = 1。

另外，指数函数与对数函数互为反函数。指数函数也是最容易求导的函数之一，因为指数函数的导数就是其本身，即(eˣ)’ = eˣ。当指数与另一个函数组合形成一个复合函数时，复合函数的导数就变得更为复杂了。在这种情况下，应遵循链式法则来求导，f(g(x))的导数等于f’(g(x))⋅g’(x)，即：
 

Python中的各种数据库能帮助人们利用高级算法来完成一些简单步骤。例如包含了K近邻算法、K均值、决策树等算法的机器学习算法库Scikit-learn，或者Keras，都可以帮助人们构建神经网络架构，而不必了解卷积神经网络CNNs或是循环神经网络RNNs背后的细节。

然而，想要成为一名优秀的机器学习工程师需要的远不止这些。在面试时，面试官通常会问及如何从零开始实现K近邻算法、决策树，又或者如何导出线性回归、softmax反向传播方程的矩阵闭式解等问题。

本文将回顾一些微积分的基本概念助你准备面试，如一元和多元函数的导数、梯度、雅可比矩阵和黑塞矩阵。同时，本文还能为你深入研究机器学习、尤其是神经网络背后的数学运算打下良好的基础。这些概念将通过5个导数公式来展示，绝对是面试必备干货。

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!