記一次翻譯工具的開發-有了它，實現實時翻譯還遠嗎？
阿新 • • 發佈：2020-10-10
# 有了它，實現實時翻譯還遠嗎？
最近，某水果手機廠在萬眾期待中開了一場沒有釋出萬眾期待的手機產品的釋出會，釋出了除手機外的其他一些產品，也包括最新的水果14系統。幾天後，更新了系統的吃瓜群眾經過把玩突然發現新系統裡一個超有意思的功能——翻譯，比如這種：
奇怪的翻譯知識增加了！
相比常見的翻譯工具，同聲翻譯工具更具有實用價值，想想不精通其他語言就能和歪果朋友無障礙交流的場景，真是一件美事，不如自己動手實現個工具備用!一個同聲翻譯工具，邏輯大概可以是先識別，而後翻譯，翻譯能否成功，識別的準確率是個關鍵因素。為了降低難度，我決定分兩次完成工具開發。首先來實現試試語音識別的部分。
輕車熟路，本次的[demo](https://github.com/LemonQH/RealTimeRecognition.git)繼續呼叫有道智雲API，實現實時語音識別。
### 效果展示
先看看介面和結果哈：
可以選擇多種語音，這裡只寫了四種常見的：
偶分別測試的中文、韓文、英文。看著還不錯哦~
### 開發過程詳細介紹
下面介紹具體的程式碼開發過程。
首先是根據[實時語音識別文件](http://ai.youdao.com/DOCSIRMA/html/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%ABASR/API%E6%96%87%E6%A1%A3/%E5%AE%9E%E6%97%B6%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1/%E5%AE%9E%E6%97%B6%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html)來分析介面的輸入輸出。介面設計的目的是對連續音訊流的實時識別，轉換成文字資訊並返對應文字流，因此通訊採用websocket，呼叫過程分為認證、實時通訊兩階段。
在認證階段，需傳送以下引數：
| 引數 | 型別 | 必填 | 說明 | 示例 |
| -------- | ------ | ---- | -------------------------- | --------- |
| appKey | String | 是 | 已申請的應用ID | ID |
| salt | String | 是 | UUID | UUID |
| curtime | String | 是 | 時間戳（秒） | TimeStamp |
| sign | String | 是 | 加密數字簽名。 | sha256 |
| signType | String | 是 | 數字簽名型別 | v4 |
| langType | String | 是 | 語言選擇，參考支援語言列表 | zh-CHS |
| format | String | 是 | 音訊格式，支援wav | wav |
| channel | String | 是 | 聲道，支援1（單聲道） | 1 |
| version | String | 是 | api版本 | v1 |
| rate | String | 是 | 取樣率 | 16000 |
> 簽名`sign`生成方法如下：
> signType=v4；
> sign=sha256(`應用ID`+`salt`+`curtime`+`應用金鑰`)。
認證之後，就進入了實時通訊階段，傳送音訊流，獲取識別結果，最後傳送結束標誌結束通訊，這裡需要注意的是，傳送的音訊最好是16bit位深的單聲道、16k取樣率的清晰的wav音訊檔案，這裡我開發時最開始因為音訊錄製裝置有問題，導致音訊效果極差，介面一直返回錯誤碼304（手動捂臉）。
Demo開發：
這個demo使用python3開發，包括maindow.py，audioandprocess.py，recobynetease.py三個檔案。介面部分，使用python自帶的tkinter庫，來進行語言選擇、錄音開始、錄音停止並識別的操作。audioandprocess.py實現了錄音、音訊處理的邏輯，最後通過recobynetease.py中的方法來呼叫實時語音識別API。
1. 介面部分：
主要元素：
```python
root=tk.Tk()
root.title("netease youdao translation test")
frm = tk.Frame(root)
frm.grid(padx='80', pady='80')
# label1=tk.Label(frm,text="選擇待翻譯檔案：")
# label1.grid(row=0,column=0)
label=tk.Label(frm,text='選擇語言型別：')
label.grid(row=0,column=0)
combox=ttk.Combobox(frm,textvariable=tk.StringVar(),width=38)
combox["value"]=lang_type_dict
combox.current(0)
combox.bi
奇怪的翻譯知識增加了！
相比常見的翻譯工具，同聲翻譯工具更具有實用價值，想想不精通其他語言就能和歪果朋友無障礙交流的場景，真是一件美事，不如自己動手實現個工具備用!一個同聲翻譯工具，邏輯大概可以是先識別，而後翻譯，翻譯能否成功，識別的準確率是個關鍵因素。為了降低難度，我決定分兩次完成工具開發。首先來實現試試語音識別的部分。
輕車熟路，本次的[demo](https://github.com/LemonQH/RealTimeRecognition.git)繼續呼叫有道智雲API，實現實時語音識別。
### 效果展示
先看看介面和結果哈：
可以選擇多種語音，這裡只寫了四種常見的：
偶分別測試的中文、韓文、英文。看著還不錯哦~
### 開發過程詳細介紹
下面介紹具體的程式碼開發過程。
首先是根據[實時語音識別文件](http://ai.youdao.com/DOCSIRMA/html/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%ABASR/API%E6%96%87%E6%A1%A3/%E5%AE%9E%E6%97%B6%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1/%E5%AE%9E%E6%97%B6%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html)來分析介面的輸入輸出。介面設計的目的是對連續音訊流的實時識別，轉換成文字資訊並返對應文字流，因此通訊採用websocket，呼叫過程分為認證、實時通訊兩階段。
在認證階段，需傳送以下引數：
| 引數 | 型別 | 必填 | 說明 | 示例 |
| -------- | ------ | ---- | -------------------------- | --------- |
| appKey | String | 是 | 已申請的應用ID | ID |
| salt | String | 是 | UUID | UUID |
| curtime | String | 是 | 時間戳（秒） | TimeStamp |
| sign | String | 是 | 加密數字簽名。 | sha256 |
| signType | String | 是 | 數字簽名型別 | v4 |
| langType | String | 是 | 語言選擇，參考支援語言列表 | zh-CHS |
| format | String | 是 | 音訊格式，支援wav | wav |
| channel | String | 是 | 聲道，支援1（單聲道） | 1 |
| version | String | 是 | api版本 | v1 |
| rate | String | 是 | 取樣率 | 16000 |
> 簽名`sign`生成方法如下：
> signType=v4；
> sign=sha256(`應用ID`+`salt`+`curtime`+`應用金鑰`)。
認證之後，就進入了實時通訊階段，傳送音訊流，獲取識別結果，最後傳送結束標誌結束通訊，這裡需要注意的是，傳送的音訊最好是16bit位深的單聲道、16k取樣率的清晰的wav音訊檔案，這裡我開發時最開始因為音訊錄製裝置有問題，導致音訊效果極差，介面一直返回錯誤碼304（手動捂臉）。
Demo開發：
這個demo使用python3開發，包括maindow.py，audioandprocess.py，recobynetease.py三個檔案。介面部分，使用python自帶的tkinter庫，來進行語言選擇、錄音開始、錄音停止並識別的操作。audioandprocess.py實現了錄音、音訊處理的邏輯，最後通過recobynetease.py中的方法來呼叫實時語音識別API。
1. 介面部分：
主要元素：
```python
root=tk.Tk()
root.title("netease youdao translation test")
frm = tk.Frame(root)
frm.grid(padx='80', pady='80')
# label1=tk.Label(frm,text="選擇待翻譯檔案：")
# label1.grid(row=0,column=0)
label=tk.Label(frm,text='選擇語言型別：')
label.grid(row=0,column=0)
combox=ttk.Combobox(frm,textvariable=tk.StringVar(),width=38)
combox["value"]=lang_type_dict
combox.current(0)
combox.bi