BAT机器学习面试1000题系列(第86~90题)


86. 欧式距离具有(A B );马式距离具有(A B C D )。
A. 平移不变性;
B. 旋转不变性;
C. 尺度缩放不变性;
D. 不受量纲影响的特性

87. 你有哪些deep learning(rnn、cnn)调参的经验?
参考:https://www.zhihu.com/question/41631631

88. 简单说说RNN的原理
  我们升学到高三准备高考时,此时的知识是由高二及高二之前所学的知识加上高三所学的知识合成得来,即我们的知识是由前序铺垫,是有记忆的,好比当电影字幕上出现:“我是”时,你会很自然的联想到:“我是中国人”。

88-1.jpg


  关于RNN,这里有课程详细讲RNN,包括RNN条件生成、attention,以及LSTM等等均有细致讲解:深度学习 [同品类最牛,培养DL工程师]。

89. 什么是RNN?
@一只鸟的天空,本题解析来源:http://blog.csdn.net/heyongluo ... 36251
  RNNs的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上,RNNs能够对任何长度的序列数据进行处理。但是在实践中,为了降低复杂性往往假设当前的状态只与前面的几个状态相关,下图便是一个典型的RNNs:

89-1.jpg



89-2.jpg


From Nature
  RNNs包含输入单元(Input units),输入集标记为{x0,x1,...,xt,xt+1,...},而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units),我们将其输出集标记为{s0,s1,...,st,st+1,...},这些隐藏单元完成了最为主要的工作。你会发现,在图中:有一条单向流动的信息流是从输入单元到达隐藏单元的,与此同时另一条单向流动的信息流从隐藏单元到达输出单元。在某些情况下,RNNs会打破后者的限制,引导信息从输出单元返回隐藏单元,这些被称为“Back Projections”,并且隐藏层的输入还包括上一隐藏层的状态,即隐藏层内的节点可以自连也可以互连。
  上图将循环神经网络进行展开成一个全神经网络。例如,对一个包含5个单词的语句,那么展开的网络便是一个五层的神经网络,每一层代表一个单词。对于该网络的计算过程如下:
表示第t,t=1,2,3...步(step)的输入。比如,x1为第二个词的one-hot向量(根据上图,x0为第一个词);
st为隐藏层的第t步的状态,它是网络的记忆单元。 st根据当前输入层的输出与上一步隐藏层的状态进行计算。st=f(Uxt+Wst−1),其中f一般是非线性的激活函数,如tanh或ReLU,在计算s0时,即第一个单词的隐藏层状态,需要用到s−1,但是其并不存在,在实现中一般置为0向量;
ot是第t步的输出,如下个单词的向量表示,ot=softmax(Vst).
更多请看:http://blog.csdn.net/heyongluo ... 36251

90. RNN是怎么从单层网络一步一步构造的的?
@何之源,本题解析来源:https://zhuanlan.zhihu.com/p/28054589
一、从单层网络谈起
  在学习RNN之前,首先要了解一下最基本的单层网络,它的结构如图:

90-1.jpg


  输入是x,经过变换Wx+b和激活函数f得到输出y。相信大家对这个已经非常熟悉了。
二、经典的RNN结构(N vs N)
  在实际应用中,我们还会遇到很多序列形的数据:

90-2.jpg


如:
自然语言处理问题。x1可以看做是第一个单词,x2可以看做是第二个单词,依次类推。
语音处理。此时,x1、x2、x3……是每帧的声音信号。
时间序列问题。例如每天的股票价格等等。
  序列形的数据就不太好用原始的神经网络处理了。为了建模序列问题,RNN引入了隐状态h(hidden state)的概念,h可以对序列形的数据提取特征,接着再转换为输出。先从h1的计算开始看:

90-3.jpg


  图示中记号的含义是:
圆圈或方块表示的是向量。
一个箭头就表示对该向量做一次变换。如上图中h0和x1分别有一个箭头连接,就表示对h0和x1各做了一次变换。
  在很多论文中也会出现类似的记号,初学的时候很容易搞乱,但只要把握住以上两点,就可以比较轻松地理解图示背后的含义。
  h2的计算和h1类似。要注意的是,在计算时,每一步使用的参数U、W、b都是一样的,也就是说每个步骤的参数都是共享的,这是RNN的重要特点,一定要牢记。

90-4.jpg


  依次计算剩下来的(使用相同的参数U、W、b):

90-5.jpg


  我们这里为了方便起见,只画出序列长度为4的情况,实际上,这个计算过程可以无限地持续下去。
  我们目前的RNN还没有输出,得到输出值的方法就是直接通过h进行计算:

90-6.jpg


  正如之前所说,一个箭头就表示对对应的向量做一次类似于f(Wx+b)的变换,这里的这个箭头就表示对h1进行一次变换,得到输出y1。
  剩下的输出类似进行(使用和y1同样的参数V和c):

90-7.jpg


  OK!大功告成!这就是最经典的RNN结构,我们像搭积木一样把它搭好了。它的输入是x1, x2, .....xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的。
  由于这个限制的存在,经典RNN的适用范围比较小,但也有一些问题适合用经典的RNN结构建模,如:
计算视频中每一帧的分类标签。因为要对每一帧进行计算,因此输入和输出序列等长。
输入为字符,输出为下一个字符的概率。这就是著名的Char RNN(详细介绍请参考:The Unreasonable Effectiveness of Recurrent Neural Networks,Char RNN可以用来生成文章、诗歌,甚至是代码。此篇博客里有自动生成歌词的实验教程《基于torch学汪峰写歌词、聊天机器人、图像着色/生成、看图说话、字幕生成》)。
三、N VS 1
  有的时候,我们要处理的问题输入是一个序列,输出是一个单独的值而不是序列,应该怎样建模呢?实际上,我们只在最后一个h上进行输出变换就可以了:

90-8.jpg


  这种结构通常用来处理序列分类问题。如输入一段文字判别它所属的类别,输入一个句子判断其情感倾向,输入一段视频并判断它的类别等等。
四、1 VS N
  输入不是序列而输出为序列的情况怎么处理?我们可以只在序列开始进行输入计算:

90-9.jpg


  还有一种结构是把输入信息X作为每个阶段的输入:

90-10.jpg


  下图省略了一些X的圆圈,是一个等价表示:

90-11.jpg


这种1 VS N的结构可以处理的问题有:
从图像生成文字(image caption),此时输入的X就是图像的特征,而输出的y序列就是一段句子
从类别生成语音或音乐等
五、N vs M
  下面我们来介绍RNN最重要的一个变种:N vs M。这种结构又叫Encoder-Decoder模型,也可以称之为Seq2Seq模型。
  原始的N vs N RNN要求序列等长,然而我们遇到的大部分问题序列都是不等长的,如机器翻译中,源语言和目标语言的句子往往并没有相同的长度。
  为此,Encoder-Decoder结构先将输入数据编码成一个上下文向量c:

90-12.jpg


  得到c有多种方式,最简单的方法就是把Encoder的最后一个隐状态赋值给c,还可以对最后的隐状态做一个变换得到c,也可以对所有的隐状态做变换。
  拿到c之后,就用另一个RNN网络对其进行解码,这部分RNN网络被称为Decoder。具体做法就是将c当做之前的初始状态h0输入到Decoder中:

90-13.jpg


  还有一种做法是将c当做每一步的输入:

90-14.jpg


  由于这种Encoder-Decoder结构不限制输入和输出的序列长度,因此应用的范围非常广泛,比如:
机器翻译。Encoder-Decoder的最经典应用,事实上这一结构就是在机器翻译领域最先提出的
文本摘要。输入是一段文本序列,输出是这段文本序列的摘要序列。
阅读理解。将输入的文章和问题分别编码,再对其进行解码得到问题的答案。
语音识别。输入是语音信号序列,输出是文字序列。

end.jpg


有好的见解或者面试题目欢迎在评论区留言,一起交流探讨。
欢迎转发,让更多小伙伴受益!

往期题目:
BAT机器学习面试1000题系列(第1~10题)
BAT机器学习面试1000题系列(第11~20题)
BAT机器学习面试1000题系列(第21~30题)
BAT机器学习面试1000题系列(第31~35题)
BAT机器学习面试1000题系列(第36~40题)
BAT机器学习面试1000题系列(第41~45题)
BAT机器学习面试1000题系列(第46~50题)
BAT机器学习面试1000题系列(第51~55题)
BAT机器学习面试1000题系列(第56~60题)
BAT机器学习面试1000题系列(第61~65题)
BAT机器学习面试1000题系列(第66~70题)
BAT机器学习面试1000题系列(第71~75题)
BAT机器学习面试1000题系列(第76~80题)
BAT机器学习面试1000题系列(第81~85题)
已邀请:

要回复问题请先登录注册

返回顶部