我的同事 Jeff Barr 最近寫了一篇關於 Amazon Comprehend 的文章，這是一項用於發現文字中的見解和關係的服務，在 2017 年的 AWS re:Invent 大會上釋出。如今，在反覆研究客戶反饋之後，我們將釋出適用於 Comprehend 的全新非同步批量推理功能。非同步批處理操作可處理儲存在 Amazon Simple Storage Service (S3) 儲存桶中的文件，並可執行所有常規 Comprehend 操作，例如實體識別、關鍵短語提取、情緒分析和語言檢測。與單文件 API 和批處理 API 相比，這些新的非同步批處理 API 支援的文件要大得多，從而減少了客戶截斷文件以獲取服務的需求。當然，所有單文件 API 和批處理同步 API 操作仍可用於提供實時結果。通過增加非同步操作，開發人員可以選擇最適合其應用程式的工具。讓我們深入瞭解一下這一新型 API。

非同步 API 操作

新的批處理 API 遵循與 Amazon Comprehend 的 TopicDetection API 相同的非同步呼叫結構。在分析一系列文件時，我們首先要呼叫某個 Start* API，例如 StartDominantLanguageDetectionJob、 StartEntitiesDetectionJob、 StartKeyPhrasesDetectionJob或 StartSentimentDetectionJob。

這些 API 中的每一個都採用 InputDataConfig 和 OutputDataConfig，用以指定傳入資料的格式和位置，以及相關結果應儲存在 S3 的哪個位置。InputDataConfig 用於指定應將輸入資料視為每個檔案一個文件還是每行一個文件。

另外，我們還可以給任務命名並新增一個用於同步用途的唯一請求識別符號。如果我們不提供這些資訊，Comprehend 服務將自動生成它們。

在撰寫本文時，對於實體和關鍵短語檢測、語言檢測及情緒檢測，非同步操作支援的最大單個文件大小分別為 100KB、1MB 和 5KB。批處理中所有檔案的總大小必須小於 5GB，而且對於每個批次，我們提交的單獨檔案數不能超過 100 萬個。

現在我們已經瞭解了 API 的功能，接下來我們來看看更新後的控制檯並啟動任務！

Amazon Comprehend 分析控制檯

首先，我將導航到 AWS 管理控制檯

在此，我可以單擊控制檯右上角的“建立”按鈕來建立一個新的分析任務。我將建立一個實體檢測任務並選擇英語作為我的文件語言。然後，我會指示控制檯選擇一些示例資料。

現在，我將配置輸出資料的位置，並確保所選服務角色有權訪問該 S3 儲存桶。然後，我將啟動任務！

在如下頁面上，我可以看到在控制檯中啟動的操作，並可等到操作完成後再檢視詳細結果。

在任務頁面上，我可以看到任務的狀態和輸出位置。如果我從 S3 位置下載結果，則可以檢視示例文字中檢測到的實體。

在這裡，我已截斷結果，但大多數情況下它們如下所示：

{
  "Entities": [
    {
      "BeginOffset": 875,
      "EndOffset": 899,
      "Score": 0.9936646223068237,
      "Text": "University of California",
      "Type": "ORGANIZATION"
    },
    {
      "BeginOffset": 903,
      "EndOffset": 911,
      "Score": 0.9519965648651123,
      "Text": "Berkeley",
      "Type": "LOCATION"
    },
    {
      "BeginOffset": 974,
      "EndOffset": 992,
      "Score": 0.9981470108032227,
      "Text": "Christopher Monroe",
      "Type": "PERSON"
    },
    {
      "BeginOffset": 997,
      "EndOffset": 1010,
      "Score": 0.9992995262145996,
      "Text": "Mikhail Lukin",
      "Type": "PERSON"
    },
    {
      "BeginOffset": 1095,
      "EndOffset": 1099,
      "Score": 0.9990954399108887,
      "Text": "2017",
      "Type": "DATE"
    }
  ],
  "File": "Sample.txt",
  "Line": 8
}

很酷吧！我們可以通過類似的步驟進行情感檢測或關鍵短語檢測。由於我們可以在一個批次中提交多達 5GB 的資料，因此客戶將花費較少的時間來轉換和截斷文件。

我個人推薦使用 AWS Step Functions 之類的工具，以程式設計方式檢查任務狀態。設定和構建程式設計分析管道非常簡單。

正如我們在 Roy Hasson 撰寫的這篇部落格文章中提到的，您還可以使用 AWS Glue 將 Comprehend 作為您常規 ETL 操作的一部分加以呼叫。

附加資訊

您可以在該文件中找到有關這些新 API 的詳細資訊，並瞭解有關限制和最佳實踐的更多資訊。

如前所述，同步批處理 API 仍然可用，並且適合用於較小的文件集和較小的文件。

和往常一樣，歡迎隨時在這裡或在 Twitter 上分享您的反饋。

本篇作者