換臉特效不再搞剛!人工智慧換臉技術超高超!(下)

換臉特效不再搞剛!人工智慧換臉技術超高超!(下)
換臉特效不再搞剛!人工智慧換臉技術超高超!(下)

人工智慧換臉技術實在太高超,聽說畫素竟還高達百萬?!(下)

本篇為下篇,上篇請點此連結

首個百萬畫素換臉方法

研究團隊提出了一個漸進式訓練的梳狀模型(comb model),並配合編碼器進行模型訓練。

▲ Disney Research 公開之換臉過程示意圖。(圖片擷取自 Disney Research)

 

  • 步驟 1:對原始圖像 xt 進行臉部檢測辨識,並提取關鍵點。
  • 步驟 2:將人臉分辨率歸一化(即標準化剪裁)為 1024×1024 像素,並保存歸一化參數
  • 步驟 3:將步驟 1、2 預處理好的圖像輸入編碼器中,用相應的解碼器解碼。
  • 步驟 4:使用步驟 2 保存的歸一化參數,在圖像「x˜_s」上反轉圖像歸一化結果,將生成的圖像與原始圖像 xt 進行多頻帶混合,得到人臉交換的成果圖像。

而畫素方面,研究團隊表示他們曾使用開源 deepfake 模型 DeepFakeLab,但成果影像的分辨率最高只到 256×256 像素。而研究團隊所採用的漸進式、對原始圖像進行預訓練的方法可從中提取出較高解析度圖像。下圖可以看出經過訓練模型,輸出的人臉畫素與效果都優於未經訓練的結果。

▲圖爲迪士尼與 DeepFakes、DeepFaceLab 和 Nirkin 等換臉方法的效果對比。(圖片擷取自 Disney Research)

 

迪士尼換臉 AI 有待突破的缺點

儘管研究團隊證明在細節、解析度以及自然度上,迪士尼 AI 人工智慧 都優於其他換臉模型,但團隊也承認他們的技術存在明顯的侷限性。

例如「有戴眼鏡的臉」沒辦法穩定進行人臉交換,問題不在於眼鏡部分無法渲染,而是無法恰當捕捉到表情和姿勢。研究人員曾嘗試調整輸入源,但依然無法穩定掌握產出品質。還有,雖然人臉正面直視鏡頭的圖像換臉效果良好,但俯視、仰視或側面等人臉角度與特殊光源下的換臉,可能會導致不完善的生成結果,如模糊和僞影。

  

▲ 換臉生成失敗示意圖。(圖片擷取自 Disney Research)

 

不過研究人員補充道,這類問題實際應用於電影場景中影響不算太大,其實是可以經由其他方式來解決。

未來當這項 AI 人工智慧 技術更加成熟,得以廣泛應用後,影視作品絕對能有更逼真自然,且栩栩如生的特效,對觀眾而言,可以說是一大福音啊!

 

 

 

 

推薦文章:
線上職訓正夯 從零開始花半年錄取軟體工程師


人工智慧,機器人,Python,大數據到底有什麼關係?


阿嬤也能coding了?2020人工智慧想對我們做什麼?


所有的新創業者都需要 SEO 的 7 個理由!


調酒師與人工智慧完美合作,首支AI威士忌勇奪金牌!(上)


人工智慧不用擔心被騙!捷克新創AI,輕鬆揪出金融駭客(上)


Python與人工智慧關係匪淺!?聽說和大數據還有一腿!?

換臉特效不再搞剛!人工智慧換臉技術超高超!(上)

換臉特效不再搞剛!人工智慧換臉技術超高超!(上)
換臉特效不再搞剛!人工智慧換臉技術超高超!(上)

人工智慧換臉技術實在太高超,聽說畫素竟還高達百萬?!(上)

迪士尼近日發表其研究最新「換臉」技術,不但能透過 AI 人工智慧 自動替換照片或影片內的人臉,成像更是突破百萬畫素,研究人員表示其技術是當前業內最高水準。

雖然目前還無法廣泛應用在電影製作中,但依然是換臉領域的又一突破,並且也逐步規劃登場好萊塢。

迪士尼在自家網頁「迪士尼研究中心 」(Disney Research)上發表一篇文章,公開了與蘇黎世聯邦理工學院(ETH Zurich)研究團隊共同研究的人臉替換技術,能透過神經網絡自動轉換包含影片、照片等圖像中的人臉面孔,解析度可達百萬畫素。

迪士尼「親上火線」研發換臉技術,自然是希望能應用在影視製作上,為觀眾帶來更逼真的畫面、更真實的視覺特效與節省後製成本。

有望衝擊影視產業、發揮巨大效用的迪士尼換臉 AI 人工智慧 ,實際效果究竟如何呢?

人眼看不出區別 AI 人工智慧 換臉將粉墨登場大螢幕

▲Disney Research 所釋出的官方影片,實際演示 AI 人工智慧 換臉的真實效果。

迪士尼研究中心除了於網站上公開一篇達 16 頁研究報告,亦上傳一支演示影片。

影片可以看到,AI 人工智慧 將下排二位演員的唇部、眼部等局部人臉進行分析,並融合在「目標演員」的面孔上。

從動態影像可以看出融合後的臉部動作非常自然,甚至 AI 人工智慧 能即時隨著口部開閉動作融合,也不會讓觀眾感到違和或不適。研究團隊也強調,比起當前常見的靜態圖像換臉,其技術在動態影像的表現更佳。

▲ 迪士尼的換臉 AI 人工智慧 不只能換臉換得天衣無縫,甚至還有其他換臉 AI 人工智慧 沒有的高解析度。(圖片擷取自 Disney Research)

 

並且「擅於局部融合」與「高畫質解析度」這兩項特點搭配十分相得益彰,使得迪士尼的換臉 AI 人工智慧 能極大地擴展了人臉替換在電影中的實際應用。

未來有望能省去複雜且繁瑣的後期製作工作,交給 AI 輕鬆完成。像是交換替身演員的臉孔、為年齡逐漸增長角色增添皺紋或是重現昔日巨星風采,迪士尼就曾在 2016 年的電影《星際大戰外傳:俠盜一號》(Rogue One: A Star Wars Story)中用特殊技術,讓飾演「塔金總督」的已故演員彼得.庫辛及飾演「莉亞公主」的嘉莉.費雪重返大螢幕。

▲ 迪士尼的換臉 AI 使用的漸進式演算法(Progressive TrAIning),可明顯看到經訓練的人臉畫素遠高於未經訓練的結果。(圖片擷取自 Disney Research)

 

雖然《俠盜一號》的換臉效果令人驚艷,但迪士尼研究人員指出由於技術尚未成熟,不僅成本昂貴,而且需耗費數個月的時間才能獲得幾秒鐘的成功換臉畫面。而這次研發的新技術,建構好原始模型後搭配合適當的運算能力,AI 人工智慧 就能在數小時內製作出換臉的動態影像。

除了生動自然,更重要的是換臉後輸出的成果圖像有百萬級畫素的解析度,而局部臉孔交換在動態影片能清晰的呈現,對電影後製的重要性不言而喻。

過去換臉技術因著重在臉部替換的平滑化,對提高畫素並沒有太多重視,導致解析度過低成為過去換臉技術的硬傷,才會出現如「在手機上效果絕佳的換臉影片,投放在更大的屏幕上呈現,卻可以看到明顯的顆粒與其他瑕疵」的狀況。

那迪士尼研究人員是怎麼實現「百萬畫素換臉 AI 人工智慧」的呢?

 

本篇為上篇,下篇請點此連結

 

 

 

 

推薦文章:
阿嬤也能coding了?2020人工智慧想對我們做什麼?


線上職訓正夯 從零開始花半年錄取軟體工程師


所有的新創業者都需要 SEO 的 7 個理由!


人工智慧,機器人,Python,大數據到底有什麼關係?


Python與人工智慧關係匪淺!?聽說和大數據還有一腿!?


人工智慧不用擔心被騙!捷克新創AI,輕鬆揪出金融駭客(上)


狗狗也能當老師!人工智慧機器人學會轉彎還會小跑步!(上)

 

親眼所見竟然是假的?!靠的竟是人工智慧換臉技術犯罪!

親眼所見竟然是假的?!靠的竟是人工智慧換臉技術犯罪!
親眼所見竟然是假的?!靠的竟是人工智慧換臉技術犯罪!

人工智慧竟然跟犯罪扯上關係?!讓你親眼所見竟然都是假的!?

▲ 2019 年的 LINE 開發者大會(台灣場)會上提供來自日本 Line 開發者大會(LINE DEVELOPER DAY 2019)的第一手訊息

科技產業的年度盛事 LINE 開發者大會(LINE TAIWAN TECHPULSE 2019)日前於和平籃球館順利落幕,這已經是 LINE 在台灣所舉辦第四屆開發者大會了,隨著參加者越來越踴躍,今年的參加人數達到新高峰的 1200 人,足見這場盛會備受矚目的程度。

大會除了為台灣開發者提供來自日本 Line 開發者大會(LINE DEVELOPER DAY 2019)的第一手訊息,並分享眾多領域的最新趨勢外,LINE 台灣董事總經理陳立人也在大會上宣布:2020 年 LINE 旗下服務將全面導入人工智慧 LINE BRAIN。

亞洲 AI 先驅「LINE BRAIN」最快 2020 下半年在台試行

「我們希望成為亞洲人工智慧的領先者。」陳立人說。

LINE BRAIN 整合了 LINE 旗下各項人工智慧技術,目前正在規劃最佳的模式,以將 LINE BRAIN 導入台灣市場。

至於推動進程,陳立人表示:會參考台灣其他新創開發工具與技術平台,上半年先將 AI 技術運用在 LINE 自身服務上,著重蒐集台灣用戶的反饋以提升使用者體驗;下半年開始尋覓技術夥伴,將鎖定系統整合業者或企業技術部門深度合作,以期貼合台灣使用者的需求,為 LINE BRAIN 找到最「貼地氣」的實現場景。期待最快 2020 年下半年即可在台開始試行。

LINE BRAIN 計畫主要聚焦在八大人工智慧領域,包含:自然語言處理、語音辨識、電腦視覺、OCR、臉部識別、影音處理、資料分析、語音合成。

八大AI領域 團隊成員包含各種專業人才

▲ 「LINE AiCall – DUET」是 LINE BRAIN 八大 AI 服務中的其中一項「語音合成(Voice)」,能識別客戶的話語,能幫助店家在業務繁忙時,即時回應客戶預約等需求。

在總部的 LINE AI 架構圖中,說明的即是 LINE BRAIN 的技術總覽,將八大領域連結 LINE 提供的服務,如下所示:

自然語言理解(NLU):

AI 人工智慧擁有理解人類語言的能力,應用在 LINE TODAY 的內容推薦、LINE 客服小幫手中的聊天機器人對話,與 LINE 購物相關搜尋等服務。

資料工程平台(Data):

應用在 LINE SPOT、LINE 旅遊、LINE MUSIC、廣告精準投放等。

光學字元辨識(OCR):

應用在建議貼圖與掃碼捷徑,也可讓用戶在 LINE 聊天視窗內選擇上傳照片至 LINE 伺服器進行分析處理,直接將圖片轉成文字。

語音辨識(Speech):

▲ Line 語音助理「Clova」也加入 AI 戰局,要跟美國的 Alexa、Google Assistant 一決高下。

如日本推出的 LINE 智慧喇叭 Clova WAVE、以造型可愛博得用戶青睞的 Clova Friend、Clova Friend Mini,都搭載了智慧語音助理 Clova。

  1. 凜冬將至,快來讓 AI 語音助理制定你的專屬抗寒對策吧!
  2. 人工智慧會讓 Siri 更加情緒化,更掀起 AI 平權運動了?

語音合成(Voice):

語音識別和語音合成,都應用在日本推出 AI 訂位技術服務「LINE AiCall」,能以極為自然的方式,跟來電訂位的顧客對話,並且已有日本餐廳引入展開AI電話訂位服務的實測了。

臉部辨識(Face):

今年在 LINE Developer Day 首次應用的的技術,例如透過視訊通話互動的「Face Play」新款遊戲。

  1. 來玩玩Google的視覺AI-讓人工智慧說出圖片中的物件是什麼吧
  2. 蒙娜麗莎對你眨眼說話?三星AI讓名畫活起來了
  3. 眼見不為憑——英劇《真相捕捉》詮釋AI換臉的威脅

影音處理(Video):

自動特寫影片人物的影片自動剪輯能力。如大會現場展示了一段 AI 辨識偶像團體演出影片的技術,透過臉部、骨架和動作模式,可以清楚區分出每個成員並自動剪出特寫畫面。

電腦視覺(Vision):

用於商品圖像搜尋、與聊天室可以使用的臉部AR:可以先辨識表情再轉換成對應熊大等虛擬角色的表情,而非只是把圖案貼在使用者臉上。

從即時通訊軟體到AI公司

「現在,LINE 已經是一家 AI 公司。」LINE 共同執行長慎重熩(Jungho Shin)揭示 LINE 的新定位。

從 2011 年問世開始,LINE 前幾年以擴大市場、搶攻用戶等一般通訊軟體的發展目標為主,但直到 2016 年開始轉而聚焦內容服務,以人工智慧技術為新的戰略目標,擁有每月 1.85 億活躍用戶群體和其資料數據的 LINE,在發展大數據技術上有得天獨厚的優勢,搭配AI優化各種與生活息息相關的服務和功能,可謂如虎添翼。

過去幾年,LINE 不斷招募大量 AI 人才,LINE 台灣也成立了自己的專業工程師團隊,成員包括資料工程師、資料分析師、自然語言處理工程師等等,目標是希望能夠發展出頂尖技術,挑戰全世界的市場。

你我生活中不可或缺的 LINE,和旗下越來越多的相關服務,都已經引入人工智慧,是勢不可擋的趨勢,這也代表了對相關從業人員的大量需求,不只 LINE,也有越來越多公司正擴大他們的 AI 版圖、建立台灣在地團隊。如果擁有相關專業技術,相信會是炙手可熱的人才喔。

你還在等什麼呢?改快跟著小編一起學習程式語言Python吧!

 

 

 

 

推薦文章:

個人化專屬人工智慧簡報教練,讓你上台報告不忘詞!

令人遺憾!人工智慧傳奇Nils Nilsson逝世,享年86歲!

人工智慧寫作能力勝過人類,文章新聞真假難辨!

一定得學Python的原因(上)投資報酬率相對高?

前端工程師怎麼用CSS 替 HTML”化妝”?

達內教育評價-故事背後事實的真相甚麼是這樣?!

程式課程選達內,美上市IT課程教育集團

從無到有 挑戰14小時取得Google證照

零基礎如何花 14 小時考取 GoogleAds 認證?五種 GoogleAds 廣告不藏私攻略

44歲媽咪順利轉職網頁設計師, 家庭事業都得意

2天考取Google Ads證照!新手廣告投放攻略

擺脫設備工程師血汗職涯, 零基礎的我成功轉職 Python 資料工程師