未来科技在线电子商务平台
当前位置:未来科技 > 人工智能 > 正文

智能计算机系统的大规模深度学习 Large-Scale Deep Learning for Intelligent Computer Systems

作者:keji.okinfo.org/       ;点击:      时间:2016-03-21 14:25:01

  谷歌搜索排名的RankBrain

 

  RankBrain于2015年推出,是谷歌第三重要的搜索排名因素。谷歌将其利润丰厚的网络搜索交给人工智能机器。

 

  搜索排名是不同的,因为你想要能够理解该模型,你想理解为什么它会做出特定的决策。

 

  这是搜索排名团队犹豫在搜索排名中使用神经网络的一个原因。当系统出错时,他们希望了解什么会这样。

 

  调试工具已被制造出来,而且模型也能被充分地理解,以克服这种异议。

 

  一般来说你不想手动调整参数。你尝试理解为什么模型会做出那样的预测并搞清楚是否与训练数据相关,是与问题不匹配吗?你可能在一个分布式数据上进行训练,然后将其应用于另一个。通过搜索查询的分布,模型每天都能获得一点改变。因为事件在改变,模型也一直在改变。你必须了解你的分布是否是稳定的,比如在语音识别中,人们的声音并不会发生太大改变。查询和文档内容经常在改变,所以你必须确保你的模型是新鲜的。更一般地,我们需要打造更好的用于理解这些神经网络内部状况的工具,搞清楚是什么得出了预测。

 

  序列至序列(Sequence-to-Sequence)映射模型

 

  世界上许多问题都可归入到一个序列映射到另一个序列的框架中。谷歌的Sutskever、Vinyals 和 Le 在这个主题上写了一篇开关性的论文:使用神经网络的序列到序列学习 (http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf)。

 

  特别地,他们研究了语言翻译,将英语翻译成法语中的问题。翻译事实上只是将英语句子序列映射到法语句子序列。

 

  神经网络非常擅长学习非常复杂的功能,所以这个模型学习了映射英语句子到法语句子的功能。

 

  一种语言的一个句子通过EOS(end of sentence)信号一次输入一个词。当模型看到EOS 开始产出其它语言对应的句子时,模型就得到了训练。训练数据是具有同样含义的不同语言中的配对句子。它只是试图该函数建模。

 

  模型会在每一步发出你的词汇中所有词条输入的概率分布。在推理而不是训练时间,你需要做一点搜索。如果你必须最大化每个词的概率,你并不一定会得到最可能的句子。直到找到最大可能的句子,联合概率的搜索才完成。

 

  该系统是现在公共翻译服务中最先进的。其它翻译系统是一堆手写的代码或这个翻译问题的子块的机器学习模型,而非完全的端到端学习系统。

 

  人们对这一模型的兴趣在暴增,因为很多问题都可被映射到序列到序列的方法。

 9/11   首页 上一页 7 8 9 10 11 下一页 尾页
标签:智能计算机系统的大规模深度学习,Large-Scale Deep Learning