我目前正在学习一些关于神经网络的知识。我不能真正落后的一个问题是神经网络如何反映非线性行为。根据我的理解，不可能使用神经网络反映紧凑集内的非线性行为。
例如，如果我从this question获取函数：
y = x^2
我将使用具有单个输入和单个输出的神经网络，神经网络可以为每个紧凑集创建最好的[x0 ... xn]是从集合的一端到另一端的线性函数，如结束网内的所有计算都是线性的。
我对这个概念有一些误解吗？
人工神经网络对非线性行为建模的能力来自（通常）非线性激活函数。如果激活函数是线性的，那么训练网络的过程只是创建输入和输出数据的线性（或多线性）拟合的另一种方式。
神经网络中的激活函数恰好是带来非线性的部分。如果使用线性激活功能，则无法训练非线性模型（因此适合二次或其他非线性函数）。
我猜你感兴趣的那部分是通用近似定理，它说任何连续函数都可以用一个隐藏层的神经网络近似（你应用了一些关于激活函数的假设）。考虑到，这个定理没有说明这种网络的优化（它不能保证你可以用特定的算法训练这样的网络，但只有这样的网络存在）。此外，它没有说明你应该使用的神经元数量。
您可以查看以下链接，以获取更多详细信息：具有sigmoid激活功能的原始证明：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf
还有一个更友好的推导：http://mcneela.github.io/machine_learning/2017/03/21/Universal-Approximation-Theorem.html