工作年限	工资	职业	工作年限（归一化后）	工资（归一化后）
1	8000	程序员	0.2	0.29411765
2	12000	程序员	0.4	0.52941176
3	15000	程序员	0.6	0.70588235
4	18000	程序员	0.8	0.88235294
1	3000	土木工程	0.2	0
2	3500	土木工程	0.4	0.02941176
3	4000	土木工程	0.6	0.05882353
4	4500	土木工程	0.8	0.08823529

工作年限 1年，1在0-5之间20%的这个位置，所以它归一化之后为0.2。其他同理

在归一化后，我们再对这个图进行绘制：

这次横纵坐标都是在0-1范围之间的，计算距离时，每个特征的影响力也都一样了

3.1 最值归一化的适用性

最值归一化只适用于有明显边间的情况，例如学生的成绩（0-100分），像素点的像素值（0-255）

对于没有明显的边界，如工资（有人可能好几百万，甚至好几千万）。若大部分的收入都在10k左右，突然有一个人收入是1000w，这样如果强行使用最值归一化，那么数据点全都集中在了最左侧。这样显然是不够好的。此时，可以使用均值归一化

在上述例子中，我们再增加一条工资特别高的程序员：

如果我们依然采取最值归一化，那么归一化后的结果为：

可以看到，蓝色的点和黄色点都已经重合了，且分布在最下层，而大佬在右上角。这样的归一化显然不合适。

4. 均值方差归一化（Standardization）

如果你对方差、标准差、正态分布等没有概念，请参考这篇文章。

均值方差归一化，也称为标准化。英文也叫作Z-score Normalization，它是把所有数据归到均值为0，方差为1的分布中。即确保最终得到的数据均值为0，方差为1。

公式为：

$$ \begin{aligned} x_{scale} = \frac{x-\mu}{S} \end{aligned}$$

其中 $x$ 为要归一化的值，$x_{scale}$ 为归一化之后的值。$\mu$ 为样本的平均值，$S$ 为样本的标准差。

在自然界中，大部分的数据都是符合正态分布的。我们来生成一组符合正态分布的数据：

可以看出，该图的工作经验和工资都是符合正态分布的。其中：工资的平均值 $\mu=10,000$，标准差 $S=2000$；工作经验的平均值 $\mu=5$，标准差为 $S=2$

在当前情况下，他们的量纲不一样，所以需要对其进行处理：

首先要做的第一步就是平移，即改变平均值 $\mu$。使工资和工作年限的平均值都为0。这样并不会改变各个点之间的距离。

可以看到，除了坐标平移之外，图的样子并没有发生改变
第二步，我们要对每一个点的大小进行压缩。，标准差可以理解为平均每个点距离平均值的距离（不严谨）。先以工资为例，目前平均值为0，平均每个点距离0的距离为2000。如果我们把2000压缩成1，就完成了数据压缩。工作经验同理。这样的话，它们两个特征每个点距离0的量纲就保持一致了

此时，均值归一化（标准化）就完成了。工资和工作经验都为均值为0，方差为1的正态分布了。

将一个标准正态分布转化为一个普通正态分布，公式如下：

$$ \begin{aligned} Y_i = \sigma \cdot X_i + \mu \end{aligned}$$ 其中，X为标准正态分布中的元素，$\mu$为平均值，$\sigma$ 为标准差。

所以，我生成正态分布工资数据时的代码如下：

```python
salary = 2000 * np.random.randn(1000) + 10000 # 2000为标准差，10000为均值。1000为数据样本数
```

将上述公式反过来，即为普通正态分布转为标准正态分布

$$ \begin{aligned} X_i = \frac{Y_i - \mu}{\sigma} \end{aligned}$$

Standardization in machine learning： https://www.linkedin.com/pulse/standardization-machine-learning-sachin-vinay/?trk=public_profile_article_view

4-7 数据归一化: https://coding.imooc.com/class/chapter/169.html