阿里首次公布自然語言處理成果

循環神經網絡是應用最為廣泛的序列數據神經網絡建模方法。相對于傳統的前向神經網絡，循環神經網絡的主要特點在于，在每個時刻，其輸出不僅要依賴于當前時刻的輸入，還要考慮上一時刻的模型「狀態」。通過對歷史狀態的依賴，RNN 模型能夠有效的表征文本數據的上下文依存信息。但是，RNN 的「宏偉目標」-有效管理任意跨度的信息傳遞-往往使得其難以有效的訓練，進而也限制了其在具體應用中的效果。

另一被廣泛應用的語義編碼模型是 CNN 模型。傳統的 CNN 建模通常用于解決圖像的特征提取。但近年來，眾多學者嘗試將其應用到文本處理領域。CNN 的模型結構來源于對人類視覺神經信號處理機制的模擬。與文本數據不同的是，圖像數據通常被看做一個二維數據結構，而相應的 CNN 模型也更適于提取其中的「局部」特征。但與圖像數據相似的是，文本數據中的上下文依賴通?？梢员缓喕癁橐环N「局部」信息，即傳統 NLP 領域中的 N-gram 語言模型：文本中一個詞的具體含義，通常只和上文有限距離內的幾個詞相關。