人工智慧超強大,讓你線上會議超順暢!(下)

人工智慧超強大,讓你線上會議超順暢!(下)
人工智慧超強大,讓你線上會議超順暢!(下)

人工智慧真的太厲害了,竟然讓線上會議直接升級而且又超順暢!(下)

 

眼神接觸、臉部對齊……人工智慧提升視訊會議的體驗

臉部眼神校正功能:模擬面對面開會

Maxine 同時還應用了 NVIDIA 在生成對抗網路 (GAN) 的優勢,讓視訊會議服務供應商能為用戶提供各種 AI 功能,讓用戶有真實「面對面」的感受。

例如:「臉部對齊」功能可自動調整臉部角度,讓用戶在參與會議的過程中,看起來像是彼此相對、「眼神校正」能模擬眼神接觸、校正會議參與者的視線。這些功能能幫助與會者保持互動,無需一直盯著攝影機。

 

「臉部對齊」功能可自動調整臉部角度,讓用戶在參與會議的過程中,看起來像是彼此相對。

 

替身與虛擬背景:人再邋遢、家中再亂都能體面開會!

除此之外,視訊會議服務的供應商也能增加替身功能,讓用戶選擇自己的動畫當替身,能即時地透過用戶的聲音、情緒音調,自動生成逼真的動畫。

 

除了替身功能,Nvidia 也在今年六月 CVPR 大會,發表 Maxine 平台最新的「Vid2Vid Cameo」的深度學習模型:採用生成對抗網絡(GAN)的技術,只需將一個人的 2D 照片合成至談話影像中,就能輕易地打造數位虛擬化身、節省視訊頻寬,並能夠進行人臉辨識等強大功能。如此一來,就算鏡頭另一端的用戶衣衫不整、頭髮凌亂也不怕了!只要你在會議前拿出一張自己穿正式衣服的照片,就可以讓穿著得體的自己當成替身參與視訊會議喔!

 

假如家中小孩太吵、或是燈光太暗的話,也不用怕!Maxine 的人工智慧技術可以自動移除背景噪音、並且提供超高解析度的畫面,也提升光線較暗時的清晰度,甚至為臉重新打光!

 

有了參與會議時,若家中小孩太吵也不用擔心,因為 Maxine 的人工智慧技術可以移除背景噪音!

如果上述的方法都不行的話,你也可以乾脆直接更換成虛擬背景!

假設家中真的有見不得人的場景的話,試試 Maxine 的虛擬背景吧!

 

Jarvis 對話式 AI:即時翻譯、會議記錄

透過 NVIDIA 對話式人工智慧功能 Jarvis SDK,開發人員可藉由整合使用虛擬助手,在視訊會議服務中進行語音辨識、語言理解與語音生成的功能。虛擬助手可做紀錄、設置執行項目,並以人聲回答問題,也能提供即時翻譯、即時字幕和逐字稿等,有助與會者了解會議中正在討論的內容。

 

Jarvis 對話式 AI,可以在會議中即時翻譯

 

Maxine 平台整合多個 NVIDIA 人工智慧 SDK 和 API 技術。除了上述的 Jarvis 外,還有強化音訊和視訊功能的  NVIDIA DeepStream ,並以 TensorRT SDK 執行高效能AI深度學習推理。官方提到,Maxine 平臺的人工智慧運算,因為都在雲端處理,所以終端用戶不需升級任何硬體,就能獲得這些功能。

 

以下為 Maxine 的串流視訊 AI SDK 展示影片:

 

 

 

 

 

 

 

推薦文章:
3款人工智慧彩妝,讓你在家就可試妝、立馬客製粉底液!


人工智慧成最強替身演員 還可能得奧斯卡?


隱私是基本人權!蘋果新功能「App 追蹤透明度」讓 Facebook 急跳腳?


AI判定洋蔥照片「太性感」、乳癌文宣為色情,FB人工智慧出包!


Google用人工智慧,為你我隱私把關!(上)


你的癢我懂!人工智慧化身小幫手為你診斷皮膚病!


臉書最強圖像辨識人工智慧”SEER”,又將如何改變你我生活?

人工智慧超強大,讓你線上會議超順暢!(上)

人工智慧超強大,讓你線上會議超順暢!(上)
人工智慧超強大,讓你線上會議超順暢!(上)

人工智慧真的太厲害了,竟然讓線上會議直接升級而且又超順暢!(上)

ai-powered-video-conferencing-with-nvidia-maxine-1.jpeg

目錄

1. 無需強大硬體,即可享有高解析.無噪音的視訊會議體驗

2. AI 捕捉臉部關鍵點,所需頻寬減至原本一成

3. 眼神接觸、臉部對齊……人工智慧提升視訊會議的體驗

3-1. 臉部眼神校正功能:模擬面對面開會

3-2. 替身與虛擬背景:人再邋遢、家中再亂都能體面開會!

3-3. Jarvis 對話式 AI:即時翻譯、會議記錄

 

疫情期間,WFH 已經成常態,目前全球有數百萬人使用視訊來開會、學習、娛樂,甚至就診。IT 大廠紛紛發展視訊會議能應用的人工智慧技術。微軟甚至聯合美妝大廠資生堂,共同推出能「立即上妝」的視訊會議 AI 技術呢

而顯示卡大廠 NVIDIA 去年末推出的雲端視訊串流 AI 平台「Maxine」,能夠使用人工智慧視訊壓縮技術—只要從人臉上「抓到」幾個關鍵點後,就能在另一端依據這些臉部特徵關鍵點  (facial points),重建人臉動畫。如此一來,就不需串流整個影像的畫素,大幅度降低視訊傳輸所需的頻寬。

以下影片為 NVIDIA Maxine 的各種功能介紹:

 

無需強大硬體,即可享有高解析.無噪音的視訊會議體驗

NVIDIA Maxine 最主要是雲端原生的視訊串流 AI 平台,其嶄新的 AI 功能可被導入到各式各樣的網路視訊會議中。視訊會議的服務供應商可透過 NVIDIA 的雲端 GPU(沒錯!此款 GPU 真的就在雲端上,因此你不需要添購任何專業的設備~)上運行該平台,為用戶提供全新的 AI 功能,包括視線校正(Gaze Correction)、超高解析度、噪音消除和臉部打光等功能。

 

由於資料是在雲端而不是在本地設備上處理,因此使用者無需任何強大的硬體設備,即可享受高解析度、無背景噪音、自動修正的角度、甚至虛擬背景、替身、即時翻譯等進階功能!

 

AI 捕捉臉部關鍵點,所需頻寬減至原本一成

以下為 NVIDIA Research AI 視訊壓縮展示影片:

 

NVIDIA 使用的人工智慧技術可以分析每個會議參與者的臉部關鍵點(眼、鼻、口等周圍的要點 key points),並在接收器端運用所抓到的臉部要點來重建臉部動畫。如此一來就不需要傳輸完整的畫面,傳輸的資料減少了,所需的頻寬也因而大大減少。

 

facial-points-2.jpg

Nvidia 使用的人工智慧技術可以抓住會議參與者的臉部關鍵點

 

透過上述人工智慧抓住臉部關鍵點的影像壓縮技術,視訊頻寬消耗減少至原本 H.264 串流視訊壓縮標準要求的十分之一,讓服務供應商的成本也跟著隨之減少、終端用戶也可以獲得順暢的視訊會議體驗。

 

bandwith-compare-to-h264-3.png

透過抓住臉部關鍵點的 AI 影像壓縮技術,視訊頻寬消耗減少至原本 H.264 串流視訊壓縮標準要求的十分之一

 

本文為該系列的上篇,下篇(關於眼神接觸、臉部對齊……人工智慧提升視訊會議的體驗)請點此連結

 

 

 

推薦文章:
3款人工智慧彩妝,讓你在家就可試妝、立馬客製粉底液!


人工智慧成最強替身演員 還可能得奧斯卡?


隱私是基本人權!蘋果新功能「App 追蹤透明度」讓 Facebook 急跳腳?


AI判定洋蔥照片「太性感」、乳癌文宣為色情,FB人工智慧出包!


IC晶片只需6小時就能搞定?!原來最大功臣是AI!


一試成主顧!50歲副社長自學PYTHON,寫AI讓雀巢愛上!(上)


人工智慧帶領農牧業更創新-畜牧業篇