统计学习方法BR-附录：希尔伯特空间、欧几里得空间和巴拿赫空间【存疑】

By arthur503 -- 03 Oct 2013

依然是看《统计学习方法》时看到的概念，貌似很有用的样子。

先写下自己疑问的问题吧：

* 希尔伯特空间是什么（定义）？ * 希尔伯特空间有什么用（性质）？ * 为什么要用希尔伯特空间（作用）？ * 什么情况下用希尔伯特空间（适用情况）？ * 使用希尔伯特空间有什么限制条件（限制）？ * 其他还有什么空间？

一、希尔伯特空间

在维基百科中，希尔伯特空间的定义为：

在数学领域，希尔伯特空间又叫完备的内积空间，是有限维欧几里得空间的一个推广，使之不局限于实的情形和有限的维数，但又不失完备性（而不像一般的欧几里得空间那样破坏了完备性）。与欧几里得空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引伸而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西列等价于收敛列，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式，而这也是泛函分析的核心概念之一。

希尔伯特空间是公设化数学和量子力学的关键性概念之一。

和看其他数学定义一样，看一个搞不懂的概念的时候至少冒出三个搞不懂的概念。除去之前查阅过的内积之外，此中还有：欧几里得空间、完备性、完备空间、内积空间、柯西列。其中欧几里得空间我们后面再讲，剩下的一个个看。

1. 完备性

维基百科中完备性的定义如下：

在数学及其相关领域中，一个对象具有完备性，即它不需要添加任何其他元素，这个对象也可称为完备的或完全的。更精确地，可以从多个不同的角度来描述这个定义，同时可以引入完备化这个概念。但是在不同的领域中，“完备”也有不同的含义，特别是在某些领域中，“完备化”的过程并不称为“完备化”，另有其他的表述，请参考代数闭域、紧化(compactification)或哥德尔不完备定理。

在不同的领域中，完备的含义也不同。和我们相关的含义如下：

一个度量空间或一致空间被称为“完备的”，如果其中的任何柯西列都收敛，请参看完备空间。

其中收敛是指在n趋近无穷时，元素的值无限趋近于一个确定的常数。另外，我们发现又出来了新的概念“度量空间”和“一致空间”，还有之前提到的“柯西列”，我们把这个新概念放入堆栈，继续查资料。

1 度量空间

维基百科中度量空间的描述如下：

在数学中，度量空间是一个集合，在其中可以定义在这个集合的元素之间的距离（叫做度量）的概念。

度量空间中最符合我们对于现实直观理解的是三维欧几里得空间。事实上，“度量”的概念就是对从欧几里得距离的四个周知的性质引发的欧几里得度量的推广。欧几里得度量定义了在两个点之间的距离为连接它们的直线的长度。

空间的几何性质依赖于所选择的度量，通过使用不同的度量我们可以构造有趣的非欧几里得几何，比如在广义相对论中用到的几何。

度量空间还引发拓扑性质如开集和闭集，这导致了对更抽象的拓扑空间的研究。

因此，可以将度量空间理解为可以定义元素间距离（即度量）的元素的集合。在欧几里得空间中，表示为两个点之间的距离，也就是他们之间连接直线的长度。度量空间的定义中，包含：

1. 非负性； 2. 不可区分者的同一性； 3. 对称性； 4. 三角不等式。

至于其余的概念，我们先不管。

2 一致空间

维基百科中，一致空间的描述如下：

在拓扑学这个数学领域里，一致空间是指带有一致结构的集合。一致空间是一个拓扑空间，有可以用来定义如完备性、一致连续及一致收敛等一致性质的附加结构。

一致结构和拓扑结构之间的概念区别在于，一致空间可以形式化有关于相对邻近性及点间临近性等特定概念。换句话说，“x 邻近于a 胜过y 邻近于b”之类的概念，在一致空间中是有意义的。而相对的，在一般拓扑空间内，给定集合A 和B，有意义的概念只有：点x 能“任意邻近”A（亦即在A 的闭包内）；或是和B相比，A 是x 的“较小邻域”，但点间邻近性和相对邻近性就不能只用拓扑结构来描述了。

一致空间广义化了度量空间和拓扑群，因此成为多数数学分析的根基。

唔，涉及到拓扑学的知识，好像很高深的样子。貌似不太容易搞懂，我们先不深究，只查一下拓扑空间。

1 拓扑空间

维基百科中的拓扑空间概念如下：

拓扑空间是一种数学结构，可以在上头形式化地定义出如收敛、连通、连续等概念。拓扑空间在现代数学的各个分支都有应用，是一个居于中心地位的、统一性的概念。拓扑空间有独立研究的价值，研究拓扑空间的数学分支称为拓扑学。

拓扑空间是一个集合 X 和其上定义的拓扑结构“τ”组成的二元组。其中“τ”包括开集，闭集，邻域，开核，闭包五个概念。“τ”可以用从这五个概念任一出发作出等价定义。最常见的定义是从开集开始。 X 的元素 x 通常称为拓扑空间 (X, τ)的点。

看起来拓扑空间是一个定义了拓扑结构的集合，这种拓扑结构有五种概念，分别为开基、闭集、邻域、开核、闭包。这样形成了一种可以在上面定义出收敛、连通、连续等概念的数学结构。

了解了拓扑结构，我们返回到一致空间。一致空间是一种拓扑结构，他是指带有一致结构的集合。那什么是一致结构呢？在一致空间的描述中，有一致结构的定义，包含五种性质，使得满足一致结构的二元组即为一致空间。

了解了度量空间和一致空间，我们在理解“完备性”的时候还缺一个“柯西列”，下面继续查资料。

3 柯西列

在维基百科中，柯西序列的描述如下：

在数学中，一个柯西列是指一个这样一个序列，它的元素随着序数的增加而愈发靠近。更确切地说，在去掉有限个元素后，可以使得余下的元素中任何两点间的距离的最大值不超过任意给定的正的常数。柯西列是以数学家奥古斯丁·路易·柯西的名字命名的。

柯西列的定义依赖于距离的定义，所以只有在度量空间中柯西列才有意义。在更一般的一致空间中，可以定义更为抽象的柯西滤子和柯西网。

一个重要性质是，在完备空间中，所有的柯西列都有极限，这就让人们可以在不求出这个极限（如果存在）的情况下，利用柯西列的判别法则证明该极限是存在的。柯西列在构造具有完备性的代数结构的过程中也有重要价值，如构造实数。

从直观上感受，像是随着序数的不断增加，新增的元素之间的间距越来越小（也就是越来越靠近），新增的两点的距离趋近于零（即在去掉有限个元素之后，最大值不超过任意给定的常数）。由于柯西列的定义依赖于距离的定义，因此只有在度量空间中才有意义（因为度量空间可以理解为定义了元素间距离（即度量）的元素的集合）。

柯西列的整体感觉上是一个极限的概念。

好了，了解了度量空间、一致空间和柯西列，我们可以来理解“完备性”了。在看一遍完备性的含义，如下：

一个度量空间或一致空间被称为“完备的”，如果其中的任何柯西列都收敛，请参看完备空间。

因此说“希尔伯特空间”是一个完备的内积空间，可以理解为希尔伯特空间是一个内积空间（即是一个度量空间或一致空间），在这个内积空间上，任何柯西列都收敛。

搞定了“完备性”，下面我们继续看“完备空间”。

2. 完备空间

在维基百科中，完备空间的定义如下：

完备空间或者完备度量空间是具有下述性质的空间：空间中的任何柯西序列都收敛在该空间之内。

直观上讲，一个空间完备就是指“没有孔”且“不缺皮”，两者都是某种“不缺点”。没有孔是指内部不缺点，不缺皮是指边界上不缺点。从这一点上讲，一个空间完备同一个集合的闭包是类似的。这一类似还体现在以下定理中：完备空间的闭子集是完备的。

这就很好理解了，就是空间中的任何柯西列都收敛在该空间自身之内，所以才说这个空间是完备的。

不过要注意的是，平时见到的空间中，实数空间是完备的。但是有理数空间不是完备的，因为2^1/2的有限位小数表示是一个柯西序列，但是其极限不在有理数空间内。【存疑：2^1/2是在有理数空间上的吗？】

好了，我们继续往下看内积空间。

3. 内积空间

内积即是点积，二者相同。在之前的一篇博客内积中，我们描述了内积的定义为：两个相同长度的向量之间对应元素乘积之和。特殊情况下，在3维以内的欧几里得空间中，他可以形象的解释为：两个向量的模以及他们家教的余弦的乘积，即a · b = |a||b|cosθ。

那么，内积空间是什么？在维基百科中内积空间的描述如下：

内积空间是数学中的线性代数里的基本概念，是增添了一个额外的结构的向量空间。这个额外的结构叫做内积或标量积。内积将一对向量与一个纯量连接起来，允许我们严格地谈论向量的“夹角”和“长度”，并进一步谈论向量的正交性。内积空间由欧几里得空间抽象而来（内积是点积的抽象），这是泛函分析讨论的课题。

内积空间有时也叫做准希尔伯特空间（pre-Hilbert space），因为由内积定义的距离完备化之后就会得到一个希尔伯特空间。

在早期的著作中，内积空间被称作酉空间，但这个词现在已经被淘汰了。在将内积空间称为酉空间的著作中，“内积空间”常指任意维（可数或不可数）的欧几里德空间。

好的，定义中需要用到“向量空间”和“纯量”，我们再回顾一下。

1 向量空间

向量空间在维基百科中的描述如下：

向量空间（或称线性空间）是现代数学中的一个基本概念。是线性代数研究的基本对象。

向量空间的一个直观模型是向量几何，几何上的向量及相关的运算即向量加法，标量乘法，以及对运算的一些限制如封闭性，结合律，已大致地描述了“向量空间”这个数学概念的直观形象。

在现代数学中，“向量”的概念不仅限于此，满足下列公理的任何数学对象都可被当作向量处理。譬如，实系数多项式的集合在定义适当的运算后构成向量空间，在代数上处理是方便的。单变元实函数的集合在定义适当的运算后，也构成向量空间，研究此类函数向量空间的数学分支称为泛函分析。

因此，可以看到，向量空间就是线性代数中所研究的向量几何问题，包括向量加法、标量乘法等。另外，“向量”的概念还可以继续往外扩展，包括函数的集合等等。

下面看一下“纯量”。

2 纯量（标量_物理学）

在维基百科中，只查到了“纯量”的物理学定义。标量的描述如下：

物理学中，标量（或作纯量）指在坐标变换下保持不变的物理量。例如，欧几里得空间中两点间的距离在坐标变换下保持不变，相对论四维时空中时空间隔在坐标变换下保持不变。以此相对的矢量，其分量在不同的坐标系中有不同的值，例如速度。

用通俗的说法，标量是只有大小，没有方向的量。（以此相对，矢量既有大小，又有方向。）

直观上的理解，就是我们所说的标量，或者一个不包含方向的数。

这样，理解了“向量空间”和“纯量”，我们认为内积空间就是增添了一个额外结构的向量空间。也就是说，对一个向量空间，定义一个额外的内积或标量积的结构，使得：一对向量与一个纯量连接起来，这样我们可以同时可以严格的谈论向量的“夹角”和“长度”，以及进一步的向量的“正交性”。这样的空间就是内积空间。

搞定了“内积空间”，又因为“柯西列”也在前面查到了，所以，我们可以来理解一下“希尔伯特空间”了。我们再重新看一下“希尔伯特空间”的定义：

在数学领域，希尔伯特空间又叫完备的内积空间，是有限维欧几里得空间的一个推广，使之不局限于实的情形和有限的维数，但又不失完备性（而不像一般的欧几里得空间那样破坏了完备性）。与欧几里得空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引伸而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西列等价于收敛列，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式，而这也是泛函分析的核心概念之一。

希尔伯特空间是公设化数学和量子力学的关键性概念之一。

也就是说，希尔伯特空间是一个完备的内积空间。这个内积空间指的是，希尔伯特空间是一个定义了内积的向量空间，使得：在这个向量空间中，我们可以将一对向量和一个纯量连接起来（也就是内积），同时可以讨论向量之间的“夹角”和“长度”，以及向量的“正交性”。完备指的是，在这个内积空间上，任何柯西列都是收敛的。其中，柯西列是随着序数的增加，新增的元素逐渐靠近，即新增的元素之间的间隔逐渐减小的序列。

看到这里，大概终于可以理解希尔伯特空间了。在维基百科希尔伯特空间的概念里，还提到了欧几里得空间以及巴拿赫空间，下面也简单的了解一下。当然其实还提到了序列空间、勒贝格空间和索伯列夫空间等，还用不到，我们就不管了。

二、欧几里得空间

维基百科中，欧几里得空间的描述如下：

约在公元前300年，古希腊数学家欧几里得建立了角和空间中距离之间联系的法则，现称为欧几里得几何。欧几里得首先开发了处理平面上二维物体的“平面几何”，他接着分析三维物体的“立体几何”，所有欧几里得的公理被编排到几何原本。

这些数学空间可以被扩展来应用于任何有限维度，而这种空间叫做 n维欧几里得空间（甚至简称 n 维空间）或有限维实内积空间。

这些数学空间还可被扩展到任意维的情形，称为实内积空间（不一定完备），希尔伯特空间在高等代数教科书中也被称为欧几里得空间。为了开发更高维的欧几里得空间，空间的性质必须非常仔细的表达并被扩展到任意维度。尽管结果的数学非常抽象，它却捕获了我们熟悉的欧几里得空间的根本本质，根本性质是它的平面性。另存在其他种类的空间，例如球面非欧几里得空间，相对论所描述的四维时空在重力出现的时候也不是欧几里得空间。

欧几里得空间的直觉描述是：

把欧几里得平面看作满足可依据距离和角表达的特定联系的点所成的集合。其一是平移，它意味着移动这个平面就使得所有点都以相同方向移动相同距离。其二是关于在这个平面中固定点的旋转，其中在平面上的所有点关于这个固定点旋转相同的角度。欧几里得几何的一个基本原则是，如果通过一序列的平移和旋转可以把一个图形变换成另一个图形，平面的两个图形（也就是子集）应被认为是等价的（全等）。（参见欧几里得群）。

也就是说，我们可以对欧几里得空间上的元素定义“平移”和“旋转”操作，使得任意序列通过这两种操作可以变换成为另一个图形，并且如果变换后的图形是等价的，那么变换前的两个图形也应被认为是等价的。

而对欧几里得空间在数学上的精确描述是：

定义欧几里得平面为装备了内积的二维实数的向量空间。

* 在这个向量空间中的向量对应于在欧几里得平面中的点; * 在向量空间中的加法运算对应于平移; * 内积蕴涵了角和距离的概念，它可被用来定义旋转;

也就是说，欧几里得空间是有内积的向量空间。参考我们上面查到的内积空间的资料，可以认为欧几里得空间是一个内积空间。但根据希尔伯特空间中和欧几里得空间的描述，欧几里得空间是破坏了完备性的。至于证明我们就先不管了。

在欧几里得空间中，还讨论了实数坐标空间，指在实数域R上，对任意正整数n，实数的n元组的全体构成了R上的一个n维向量空间，用Rⁿ来表示，有时称之为实数坐标空间。

三、巴拿赫空间

在维基百科中，巴拿赫空间的解释为：

在数学里，尤其是在泛函分析之中，巴拿赫空间是一个完备赋范向量空间。更精确地说，巴拿赫空间是一个具有范数并对此范数完备的向量空间。

巴拿赫空间有两种常见的类型：“实巴拿赫空间”及“复巴拿赫空间”，分别是指将巴拿赫空间的向量空间定义于由实数或复数组成的域之上。

我们看到有“赋范向量空间”的概念，下面查一下。

1. 赋范向量空间

在维基百科中，赋范向量空间的描述如下：

在数学中，赋范向量空间是具有“长度”概念的向量空间。是通常的欧几里得空间 Rⁿ 的推广。 Rⁿ 中的长度被更抽象的范数替代。

“长度”概念的特征是：

零向量的长度是零，并且任意向量的长度是非负实数。</li>

一个向量 v 乘以一个标量 a 时，长度应变为原向量 v 的 |a|（ a 的绝对值）倍。</li>

三角不等式成立。也就是说，对于两个向量 v 和 u ，它们的长度和（“三角形”的两边）大于 v+u （第三边）的长度。</li>

一个把向量映射到非负实数的函数如果满足以上性质，就叫做一个半范数；如果只有零向量的函数值是零，那么叫做范数。拥有一个范数的向量空间叫做赋范向量空间，拥有半范数的叫做半赋范向量空间。

这里也同时给出了“半范数”、“范数”、“半赋范向量空间”和“赋范向量空间”的概念。

我们可以看到，赋范向量空间是欧几里得空间的一个推广，将欧几里得空间中的“长度”的概念用更抽象的“范数”替代。而巴拿赫空间是一个完备赋范向量空间，因此巴拿赫空间也是欧几里得空间的推广。总结来说，巴拿赫空间是一个具有范数，并对此范数完备（即对所有空间内的柯西列收敛）的向量空间。

好了，这次就查这么多吧，以后有新增的空间再来补充。

四、存疑解答

最后来看下自己在开头的存疑，如下：

现在解答如下：

* 希尔伯特空间是一个完备的内积空间。解释如上。

希尔伯特空间的性质一是完备，即对所有柯西列收敛；二是在希尔伯特空间中描述为任何一个希尔伯特空间都有一族标准正交基，而且每个希尔伯特空间中的元素都可以唯一地表示为这族基底中的元素或其倍数的和。
使用希尔伯特空间的目的貌似是为了使用内积、完备和标准正交基的性质。在希尔伯特空间中，任何有限维内积空间（如欧几里得空间及其上的点积）都是希尔伯特空间。但从实际应用角度来看，无穷维的希尔伯特空间更有价值。 * 希尔伯特空间的限制条件需要看他怎么得到的，现在还不知道。【存疑】 * 其他空间包括欧几里得空间、巴拿赫空间，还有其他空间，本文中除了希尔伯特空间之外，只分析了欧几里得空间和巴拿赫空间。

参考资料：