Constrained synonym的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

具獨特性之資料增強策略於自然語言理解

為了解決Constrained synonym的問題，作者朱長亭 這樣論述：

文本分類任務是自然語言處理中的一個重要的領域，目前主流且最佳的模型是通常為基於轉換模型 (Transformer)之變形，其特點是透過多樣化的輔助任務如 語言模型遮蓋任務 以及 次句關係預測任務來進行預訓練的處理，接著再透過交叉熵損失函數來將預訓練完之模型調適於下游的文本分類任務。然而這樣標準的處理方式其實有多項嚴重的缺陷像是無法良好的對未知資料進行預測以及模型預測易受有雜訊的標記資料以及對抗樣本的影響。若想要處理上述的問題，資料增強的技術是不可或缺的，其已經在過去多項的論文研究中證明其有效性。而在近期資料增強技術的研究中，如何使增強化的資料能夠有多樣性為重要的課題，目前發現透過堆疊不同的增

強資料的方法能夠有效的處理這項課題。而使用增強化的資料的重要性主要在於其對多種不同的學習如自監督式學習以及半監督式學習為必需品。然而，不像在圖像領域已經有多種研究去揭示如何自動化堆疊不同的增強方法，在自然語言處理的領域中，因為自然語言領域中的增強方法並未完全成熟，故人們通常仍是透過類似於貪婪尋找的方式去找尋最適化的堆疊方法。在這篇論文中，我們首先闡述四種不同的資料增強方法像是同義字替代、同義字插入、隨機交換文字、隨機刪除文字有可能引入的魯棒性問題。接著我們解釋了為何之前在同義字替代的解法沒有辦法延伸到另外三個資料增強方法，主要是因為之前的解法使用的是貪婪的解法，若要延伸到堆疊，其時間複雜度將會

以指數來上升。因此，綜合上述的分析，我們提出了一個基於強化學習的演算法來堆疊四個不同的資料增強方法，此演算法將一致性損失視為獎勵，因此其會透過最大化一致性損失來找到目前模型的弱點。此外，我們透過處罰獎勵來將對抗式訓練中的限制項內化，這樣的方式能讓強化學習之模型自發性的去避免被處罰。在實驗中，我們透過投影原始資料與增強資料的方式來講述即便我們使用了強化學習來進行像這樣找尋最大化一致性損失的增強資料，原始資料與增強資料的語意仍座落於同一個群集中，我們透過這樣的方式來輔助證明我們所提出的方法是一個有效的資料增強方式。此外，我們亦分析了執行者的動作分佈，在這項分析中，我們發現了相似度限制與動作分佈的關

聯。我們實驗提出的方法分別於二元分類及多元分類的史丹佛語意資料集 (SST) 上，在強力的基線模型羅伯塔 (RoBERTa) 上，我們可以得到百分之二點一的提升，而在傳統基線模型上，我們可以得到百分之四點一的提升。

利用本體論及後適配技術於產生較佳之詞及詞義分散表示法

為了解決Constrained synonym的問題，作者李昂穎 這樣論述：

隨著自然語言處理工作的需求增加，近年來對於較好的詞分散表示法（詞向量）及詞義分散表示法（詞義向量）的需求在增加當中。在本篇研究當中，我們先探討在詞向量中的不正常維度，然後提出結合詞向量與本體論之模型。結合的方法分為三個部分來討論：直接結合方法，支持向量迴歸方法及利用後適配方法。在詞義向量方面，我們首先提出了能夠利用文本即本體論資訊學習更好詞義向量的聯合詞義後適配模型，並且一般化提出來的模型。