最近幾年來，很多人都在使用降噪耳機。這種設備能讓人在吵鬧的環(huán)境中享受安靜，安心地聽音樂或工作。

　　通常，降噪耳機會通過內置的芯片算法對外界噪音信號進行計算，然后由喇叭發(fā)出反向聲波進行抵消的方式創(chuàng)造安靜環(huán)境。

　　不過安靜歸安靜，大多數情況下人們還是需要交流的，這就帶來了不小的挑戰(zhàn)。人們曾提出過各種解決方案，比如蘋果最新款的 AirPods Pro 就會自動調整，如果耳機感知到人在說話就會停止降噪，但用戶是無法控制聽誰說話，或何時關掉降噪的。

　　近日，華盛頓大學的一個團隊開發(fā)了一種 AI 系統(tǒng)，讓戴著耳機的用戶看著說話的人三到五秒鐘來「記錄」他們。

　　該系統(tǒng)名為「目標語音聽覺」（Target Speech Hearing），能驅動降噪耳機消除環(huán)境中的所有其他聲音，并實時播放已記錄的說話者的聲音。這樣一來，即使聽眾在嘈雜的地方走動并且不再面對說話者，也不會丟失重要信息了。

　　華盛頓大學團隊于 5 月 14 日在檀香山舉行的 ACM CHI 計算機系統(tǒng)人因會議上展示了他們的研究成果，還獲得了大會的最佳 lunwen。概念驗證設備的代碼已經開源，可供他人使用。

　　然后，來自該說話者聲音的聲波會同時到達耳機兩側的麥克風，誤差幅度為 16 度。耳機將該信號發(fā)送到板載嵌入式計算機，其中的機器學習軟件會在那里學習所需說話者的聲音模式。

　　系統(tǒng)會鎖定該說話者的聲音，并繼續(xù)將其播放給聽者，即使這對說話者不斷變化站位，四處走動也能保持跟隨。

　　實現了帶有噪聲示例的注冊網絡。設計并比較了兩個不同的注冊網絡 —— 波束形成器網絡和知識蒸餾網絡 —— 以使用短雙耳噪聲示例即可有效生成一個可捕捉目標說話人特征的嵌入向量。

　　實時嵌入式的目標語音聽覺網絡。TSH 使用生成的嵌入，隨后使用 IoT 級別 CPU 上實時運行的優(yōu)化網絡提取目標語音。為此，研究者探索了各種模型和系統(tǒng)級優(yōu)化，實現了在嵌入式設備上實時運行的輕量級目標語音聽覺網絡。

　　推廣到現實世界的多徑、HRTF 和移動性。作者提出了一種訓練方法，僅使用合成數據，也可以保證系統(tǒng)不會被現實世界中未見過的目標干擾。

　　此外，該研究明確使用多路徑進行訓練，以推廣到室內和室外環(huán)境。作者還引入了一種微調機制，可以解決移動源和聽眾頭部方向的突然變化（高達 90°/s 的角速度），并允許系統(tǒng)在注冊期間處理聽者頭部方向多至 18° 的誤差。

　　具有噪聲消除功能的端到端目標語音聽力系統(tǒng)。（b）一對 Sony WH-1000XM4 耳機在各個頻率下啟用和不啟用主動噪聲消除的噪聲隔離性能。低頻下較大的值是由于入耳式麥克風拾取了佩戴者的聲音。（c）模型推理時間的 CDF 圖，包括和不包括從輸出到輸入的緩存緩沖區(qū)副本。

　　「如今，很多人把人工智能等同于基于網絡的聊天機器人，可以回答問題，」華盛頓大學保羅?G?艾倫計算機科學與工程學院教授、該研究主要作者 Shyam Gollakota 說道?！傅谶@個項目中，我們開發(fā)的 AI 可根據佩戴耳機的人的偏好來改變他們的聽覺感知。有了我們的設備，即使身處嘈雜的環(huán)境中，有很多人在說話，你現在也可以清楚地聽到單個說話人的聲音。」

　　該團隊對 21 名志愿者測試了該系統(tǒng)，受試者對已注冊說話者聲音清晰度的評分平均幾乎是未過濾音頻的兩倍。

　　目前 TSH 系統(tǒng)一次只能注冊一個對話人，且只有在沒有其他巨大聲音從目標說話人相同方向傳來時才能注冊說話人。如果用戶對音質不滿意，則可以對說話者進行另一次注冊以提高清晰度。

　　本文為澎湃號作者或機構在澎湃新聞上傳并發(fā)布，僅代表該作者或機構觀點，不代表澎湃新聞的觀點或立場，澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問。

上一篇:再也不用帶耳塞了！這種薄如蟬翼的隔音新材料竟是“消音神器”！
下一篇:降噪耳機是怎么降噪的