To Top
首页 > 深度学习 > 正文

talk to book

标签:talk to book, Universal Sentence Encoder


目录

参考:

人人都可参与的AI技术体验:谷歌发布全新搜索引擎Talk to Books

Universal Sentence Encoder

pre-trained model: https://tfhub.dev/google/universal-sentence-encoder/1

使用示例: https://www.tensorflow.org/hub/modules/google/universal-sentence-encoder/1

my notebook: https://github.com/daiwk/workspace_tf/blob/master/talk_to_books/Semantic_Similarity_with_TF_Hub_Universal_Encoder.ipynb

项目链接:https://research.google.com/semanticexperiences/

主要的两篇参考文献:

实验效果:

准确率

在transfer learning的任务SST上,USE_T(Universal Sentence Encoder + Transformer)只需要1k的训练数据(这个数据集总共有67.3k的训练数据),就能够达到其他很多模型使用全量训练数据得到的准确率。

性能

假设句子长度为n。

计算复杂度

  • Transformer: \(O(n^2)\)
  • DAN: \(O(n)\)

内存占用

  • Transformer: \(O(n^2)\)。但对于短句,因为Transformer只要存储unigram的embedding,所以占用的内存几乎是DAN的一半。
  • DAN: 与句子长度无关,由用来存储unigram和bigram的embedding的参数决定

原创文章,转载请注明出处!
本文链接:http://daiwk.github.io/posts/dl-talk-to-book.html
上篇: 深入浅出强化学习-chap9 基于确定性策略搜索的强化学习方法
下篇: tensorflow probability

comment here..