独家 | 初学者的问题：在神经网络中应使用多少隐藏层/神经元？（附实例）

人工神经网络（ANNs）初学者可能会问这样的问题：

很高兴我们可以回答这些问题。首先要清楚，如果要解决的问题很复杂，回答这些问题可能会过于复杂。到本文结束时，您至少可以了解这些问题的答案，而且能够在简单的例子上进行测试。

ANN的灵感来自生物神经网络。在计算机科学中，它被简化表示为一组层级。而层级分为三类，即输入，隐藏和输出类。

确定输入和输出层的数量及其神经元的数量是最容易的部分。每一神经网络都有一个输入和一个输出层。输入层中的神经元数量等于正在处理的数据中输入变量的数量。输出层中的神经元数量等于与每个输入相关联的输出数量。但挑战在于确定隐藏层及其神经元的数量。

以下是一些指导，可以帮助了解分类问题中每个隐藏层的隐藏层数和神经元数：

为便于理解，请看以下实例：

实例一

让我们从一个两个类的分类问题的简单示例开始。如图1所示，每个示例都有两个输入和一个表示类标签的输出。它与XOR问题非常相似。

图1

第一个问题是是否需要隐藏层。确定是否需要隐藏层的规则如下：

在人工神经网络中，当且仅当数据必须非线性分离时，才需要隐藏层。

如图2所示，似乎这些类必须是非线性分离的。一条单线不能分离数据。因此，我们必须使用隐藏层以获得最佳决策边界。在这种情况下，我们可能仍然不使用隐藏层，但这会影响分类准确性。因此，最好使用隐藏层。

知道需要隐藏层之后，有两个重要问题需要回答，即：

按照前面的过程，第一步是绘制分割两个类的决策边界。如图2所示，有多个可能的决策边界正确地分割数据。我们将进一步讨论图2（a）中的那个。

图2

接下来是通过一组线进行表达决策边界。

使用一组线来表示决策边界的事实依据是：任何ANN都是使用单层感知器作为构建块构建的。单层感知器是一个线性分类器，它使用根据以下等式创建的线来分隔不同类：

y = w_1 * x_1 + w_2 * x_2 +⋯+ w_i * x_i + b

其中 x_i 是 输入，w_i 是其权重，b 是偏差，y 是输出。因为添加的每个隐藏神经元都会增加权重数量，且使用更多的隐藏神经元会增加复杂性，因此建议使用最少数量的隐藏神经元来完成任务。

回到我们的例子，说ANN是使用多个感知器网络构建的，就像说网络是使用多条线路构建的。

在这个例子中，决策边界被一组线代替。线从边界曲线改变方向的点开始。在这一点上，放置两条线，每条线在不同的方向上。

如图3所示，因为边界曲线只有一个点通过灰色圆圈改变方向，所以只需要两条线。换句话说，这里有两个单层感知器网络，每个感知器产生一条线。

图3

决策边界只需要两条线即可表示，这意味着第一个隐藏层将有两个隐藏的神经元。

到目前为止，我们有一个隐藏层，其包括有两个隐藏的神经元，每个隐藏的神经元可以被视为线性分类器，如图3中的线所示。这里将有两类输出，其中一类来自每一个分类器（即隐藏的神经元）。然而我们希望构建一个只能输出类标的分类器。因此，两个隐藏神经元的输出将合并为一个输出。换句话说，这两条线将由另一个神经元连接。结果如图4所示。

幸运的是，我们不需要添加另一个带有单个神经元的隐藏层来完成这项工作。输出层神经元将完成任务。其可将先前生成的两条线进行融合，使网络最终只有一个输出。

图4

知道隐藏层及其神经元的数量后，网络架构现已完成，如图5所示。

图5

实例二

另一个分类的例子如图6所示。与之前的例子类似，有两个分类，其中每个样本有两个输入和一个输出。区别在于决策边界。此示例的边界比前一个示例更复杂。

图6

根据最开始的指示，第一步是绘制决策边界。前述中使用的决策边界如图7（a）所示。

下一步是将决策边界分成一组线，每条线都可构建为像ANN感知器那样的模型。在绘制线之前，应该标记边界变化方向的点，如图7（b）所示。

图7

问题是需要多少条线？顶点和底点中的每一个将具有与它们相关联的两条线，总共4条线。中间点有两条线从其他点共享。要创建的线如图8所示。

因为第一个隐藏层将具有等于线数的隐藏层神经元，所以第一个隐藏层将具有4个神经元。换句话说，有4个分类器，每个分类器由单层感知器创建。目前，网络将生成4个输出，每个分类器一个。接下来是将这些分类器连接在一起，以使网络仅生成单个输出。换句话说，线条将通过其他隐藏层连接在一起来生成单独一条曲线。

模型设计者可以选择网络布局。一种可行的网络架构是构建具有两个隐藏神经元的第二隐藏层。第一个隐藏的神经元将连接前两条线，最后一个隐藏的神经元将连接最后两条线。第二个隐藏层的结果如图9所示。

到目前为止，这里有两条分开的曲线。因此，网络有两个输出。接下来是将这些曲线连接在一起从整个网络中获得单个输出。在这种情况下，输出层神经元可用于进行最终连接而非添加新的隐藏层。最终结果如图10所示。

图10

网络设计完成后，完整的网络架构如图11所示。

图11

原文发布时间为：2018-09-3

本文作者：Ahmed Gad

本文来自云栖社区合作伙伴“数据派THU”，了解相关信息可以关注“数据派THU”。