机器学习面试题:什么是熵?


什么是熵

解析:

从名字上来看,熵给人一种很玄乎,不知道是啥的感觉。

其实,熵的定义很简单,即用来表示随机变量的不确定性。

之所以给人玄乎的感觉,大概是因为为何要取这样的名字,以及怎么用。

熵的概念最早起源于物理学,用于度量一个热力学系统的无序程度。

在信息论里面,熵是对不确定性的测量。

熵的引入:

事实上,熵的英文原文为entropy,最初由德国物理学家鲁道夫·克劳修斯提出,其表达式为:

它表示一个系统在不受外部干扰时,其内部最稳定的状态。

后来一中国学者翻译entropy时,考虑到entropy是能量Q跟温度T的商,且跟火有关,便把entropy形象的翻译成“熵”。

我们知道,任何粒子的常态都是随机运动,也就是"无序运动"。

如果让粒子呈现"有序化",必须耗费能量。

所以,温度(热能)可以被看作"有序化"的一种度量,而"熵"可以看作是"无序化"的度量。

如果没有外部能量输入,封闭系统趋向越来越混乱(熵越来越大)。

比如,如果房间无人打扫,不可能越来越干净(有序化),只可能越来越乱(无序化)。

而要让一个系统变得更有序,必须有外部能量的输入。

1948年,香农Claude E. Shannon引入信息(熵),将其定义为离散随机事件的出现概率。

一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。

所以说,信息熵可以被认为是系统有序化程度的一个度量。

福利时间

VIP年会员+机械键盘+京东购物卡

及总价超千元的精品课程免费送!

5.28-1_.png


↓快来扫它!直接领!↓

5.28-2_.png
已邀请:

要回复问题请先登录注册