李宏毅-机器学习2021春-5

1 Word Embedding

• 将每一个Word都投影到一个High Dimension的空间上。
• 相似的词距离近。
• 不同的Dimension代表不同的含义。

• Word Embedding是一个unsupervised的过程。机器通过阅读大量文章，根据上下文信息进行学习。

  • Counting based

    

  • Prediction based：拿出Prediction Model的第一个hiden layer，即可得到word embedding.

    

2 Recurrent Neural Network

​ 有记忆的NN。

Long Shor-term Memory(LSTM)