人工智慧大突破!ReSkin讓你在元宇宙擁有觸覺!(上)

人工智慧大突破!ReSkin讓你在元宇宙擁有觸覺!(上)
人工智慧大突破!ReSkin讓你在元宇宙擁有觸覺!(上)

人工智慧真的又再度突破了!ReSkin竟然能讓你在元宇宙擁有觸覺?!(上)

 

 

目錄

1. 在元宇宙也有觸覺! Meta 養成 ReSkin 人工智慧模擬真實肌膚感知

2. 祖克柏:人工智慧皮膚ReSkin,讓我們離「元宇宙」更近

3. ReSkin觸覺感應範圍廣,助人工智慧執行高靈敏工作

4. 不到3mm的輕薄柔軟、不到6美元的低成本

5. 90%的精確度,能搜集到過去無法得知的數據

6. ReSkin的人工智慧原理-磁場x影像SENSOR打造擬人觸覺

6-1. ReSkin感測器-內建磁性顆粒,一摸就生成磁場

6-2. DIGIT感測元件-內建攝影鏡頭,一壓就啟動影像辨識

6-3. 幫助人工智慧喊痛叫癢

7. 過往收集不到的觸覺,ReSkin 做到了!人工智慧發展大突破

7-1. 像人類般,完整拿取藍莓、葡萄等脆弱的水果

7-2. ReSkin 做成狗鞋子,蒐集動物於野外活動的觸覺資料

7-3. ReSkin 做成手套,捕捉人類用手接觸物品的力道

7-4. 大範圍面積的接觸定位

8. ReSkin 未來在人工智慧的應用

 

在元宇宙也有觸覺! Meta 養成 ReSkin 人工智慧模擬真實肌膚感知

讓臉書 CEO 祖克柏​​熱血沸騰的「元宇宙」(Metaverse)新虛擬世界,目前是以有限的形式存在,我們只要戴上 VR 眼鏡便可以抵達!祖克柏日前更將 Facebook 母公司改名 「Meta」,展現將「元宇宙」深入現實世界的野心!緊跟著「元宇宙」的腳步,祖克柏在十一月宣布:自家公司研發了新的觸覺感測器「ReSkin」,質感如同真人皮膚,可以安裝在 AI 機器人身上、​​收集人工智慧的觸覺資料。

 

祖克柏:人工智慧皮膚ReSkin,讓我們離「元宇宙」更近

根據祖克柏日前在 Facebook 的貼文所述,自家公司「Meta」設計了高階觸控感測器 ReSkin;並與引導全球人工智慧趨勢的「卡內基美隆大學(Carnegie Mellon University)」合作,創造機器人及穿戴式裝置專用的塑膠薄皮膚。這能「帶領我們,進一步邁向『元宇宙』擬真虛擬物件與實質肢體的互動」。

 

 

Meta AI (前身為 Facebook AI)的研究人員與卡內基美隆大學合作研發的 ReSkin,快速、大規模地提升了人工智慧夠在感測器和系統間共享數據。

 

Meta 將發佈 ReSkin 的設計、相關文檔、代碼和基礎模型,讓人工智慧的研究人員不需要搜集或訓練他們自己的數據庫,就能夠立即使用 ReSkin。如此一來,反而有利於提高人工智能的觸覺感應技能。

 

ReSkin觸覺感應範圍廣,助人工智慧執行高靈敏工作

人造皮膚 ReSkin 能夠感應到的觸覺可說是非常廣泛,這個優點幫助人工智慧能夠進行多種以觸覺為主的工作,不僅包含物件分類,還包括肌肉運動知覺(本體感覺)和機器人抓取等;另外,訓練過觸覺感知能力的人工智慧模型,有能力從事需要高度靈敏度的工作,像是醫療保健機構的工作、或是需要更高靈巧度的工作:像是操作小的、柔軟的、敏感的物體等。

 

ReSkin 還能與其他的感測器結合,在實驗室外等不可控的非結構化環境中,搜集視覺、聽覺和觸覺的數據。

 

 

下篇請看此連結

 

 

 

推薦文章:
臉書聊天AI再進化!牢記你說過的話、還會主動找答案


FB 用十億張照片讓 AI「SEER」自主學習!自監督學習大躍進


「超能力」具現化?臉書推手腕 AR 感測器 讓你隔空操縱介面


Google 開發編舞用人工智慧「FACT」,任何音樂都能生成對應舞蹈!


軍事結合人工智慧!以色列戰隊致勝關鍵!(上)


大腸癌掰掰!人工智慧醫療檢測準確率高,早發現早治療!


你沒聽錯!人工智慧用200字就能說完12萬字名著!(上)

人工智慧”FACT”編舞能力超強大!有音樂就能編舞蹈!(下)

人工智慧"FACT"編舞能力超強大!有音樂就能編舞蹈!(下)
人工智慧”FACT”編舞能力超強大!有音樂就能編舞蹈!(下)

谷歌新研發的人工智慧”FACT”編舞能力真的太強大了,竟然任何音樂都能生成對應舞蹈呢!(下)

 

本文為下篇,上篇請看此連結

 

定性結果

如下圖所示,和先前 DanceNet(左)與 Li et. al.(中)相較之下,使用 FACT 模型(右)生成的 3D 舞蹈會更逼真,並且與音樂的相關性更好。

 

 

使用 FACT 人工智慧模型生成更多 3D 舞蹈:

 

人工智慧發展下一步:為每首歌生成逼真舞蹈

Google 開發了一個人工智慧模型,可以學習音頻與動作對應的關係,還可以基於音樂,生成的高質量 3D 動作序列。由於從音樂生成 3D 動作是一個新興的研究領域,Google 希望可以透過此項研究成果能為未來跨模組「音頻-3D 動作」的生成鋪道。

 

藉由這項研究,Google 還發布了迄今為止最大的 3D 人類舞蹈資料庫「AIST++——具有多視角、多種舞蹈形式、跨模態的 3D 動作數據集,不僅對 3D 動作生成研究有幫助,一般來說,也對人類理解研究有極大的幫助。Google 將在 GitHub 中發布代碼,並在此處發布經過訓練的模型。

 

雖然此項結果給了這個「基於音樂來生成 3D 動作」的議題一個有希望的方向,但是還是有更多的東西仍需要探索:像是Google 所使用的方法是基於運動學的、並沒有將舞者和地板間的身體互動考慮進去。因此,如果進行全局平移的話,會導致如腳滑動和浮動的假影。因此,接下來的方向是要探索如何為每首音樂來生成多個逼真的舞蹈。

 

 

 

推薦文章:
油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」


人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!


人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手


生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘


人工智慧編程工具Codex,讓你會講英文就能寫程式!(上)


大腸癌掰掰!人工智慧醫療檢測準確率高,早發現早治療!


心裡苦卻說不出?人工智慧24待命安慰你的心!(上)

人工智慧”FACT”編舞能力超強大!有音樂就能編舞蹈!(中)

人工智慧"FACT"編舞能力超強大!有音樂就能編舞蹈!(中)
人工智慧”FACT”編舞能力超強大!有音樂就能編舞蹈!(中)

谷歌新研發的人工智慧”FACT”編舞能力真的太強大了,竟然任何音樂都能生成對應舞蹈呢!(中)

 

本文為下篇,上篇請看此連結

 

人工智慧編舞一把罩:FACT 模型

Google 使用上述的 AIST 資料庫,訓練 FACT 模型從音樂生成 3D 舞蹈。該模型會先使用動作轉換器與音頻轉換器,分別對一段音樂與一個短的(2 秒)種子動作(seed motion)進行編碼。之後再將嵌入碼連接、發送到跨模型轉換器,該轉換器學習兩種模型之間的對應關係,並且生成 N 個未來的動作序列。

 

然後使用這些序列用自我監督的方式訓練模型。在測試過程中,Google 將此模型用於自回歸框架,其中所預測的動作就可以作為下一個生成步驟的輸入。因此,FACT 模型能夠一個框架接著一個框架地,去生成長時間的舞蹈動作哦。

 

FACT 網絡接收音樂片段 (Y) 和 2 秒的種子運動序列 (X),然後生成與輸入音樂相關的長期未來動作。|圖片出處:Google AI Blog

 

Google 用三指標評估 FACT 的性能

Google 依據以下所述之三個指標,評估人工智慧 FACT 的性能:

 

動作品質:我們計算 AIST++ 資料庫中的「真實舞蹈動作序列」與 40 個「模型生成的動作序列」之間的 Frechet 起始距離(FID),每個序列具有 1200 幀鏡頭(20 秒)。我們將會基於幾何和動力學特徵的 FID 分別表示為 FIDg 和 FIDk。

 

生成多樣性:與之前的工作深度慣性姿勢捕捉」:從少許的慣性量測中學習而重建人體姿勢)類似:Google 從 AIST++ 測試集中的 40 個「模型生成動作特徵空間」中,計算平均歐氏距離,用以評估模型生成各式舞蹈動作的能力。,接著再比較幾何特徵空間 (Dist g ) 和動力學特徵空間 (Dist k )。

 

Google 使用不同的音樂,來生成四個不同的編舞版本:Break、Ballet Jazz、Krump 和 Middle Hip-hop(右),但是有兩秒是相同的 Hip-hop 舞蹈動作(左),這些相同的動作被稱為「種子動作」。|圖片出處:Google AI Blog

 

運動-音樂相關:由於沒有合適的指標來衡量輸入音樂(音樂節拍)與所生成的 3D 動作(動作節拍)之間的相關性。所以 Google 提出了一種新的「節拍對齊分數 (BeatAlign)」作為指標。

 

 

上圖中顯示 FACT 所生成的舞蹈動作的動作速率(藍色曲線)、動作節拍(綠色虛線),及音樂節拍(橙色虛線)。通過從動作速率曲線中找到局部最小值,來提升動作節拍。|圖片出處:Google AI Blog

 

與其他人工智慧應用相比:FACT編舞能力一流

將 FACT 的性能,針對各個指標,與其他的人工智慧應用進行比較:

 

 

如上表所示,FACT 與三種最先進的編舞人工智慧應用(Li et alDancenet 和 Dance Revolution)相比,FACT 模型生成的動作更逼真,和輸入音樂的相關性更好,並且在以不同的音樂為條件時更多樣化。*注意的是 Li et al生成的運動是不連續的,使得平均運動特徵距離異常高。

 

Google 還透過使用者研究,評估音樂與動作的相關性:讓每位使用者觀看 10 個影片,片中有一個 FACT 模型與一個隨機對照模型所生成的編舞結果然後讓使用者選擇哪個模型生成的舞步比較能夠與音樂同步。使用者共有 30 名,包含專業舞者以及很少跳舞的人。

 

結果顯示:81% 的使用者喜歡 FACT 模型生成的結果勝於 「Li et al.」的;跟 Dancenet 相比,71% 的人喜歡 FACT 勝過 Dancenet;跟 Dance Revolution 比較, 77% 的人也更喜歡 FACT。。有趣的是,75% 的參與者喜歡 AIST++ 未配對的舞蹈動作勝於透過 FACT 所生成的。這並不奇怪,因為最初的舞蹈紀錄具有很強的表現力。

 

下篇請看此連結

 

 

推薦文章:
油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」


人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!


人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手


生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘


心生病了該怎辦?人工智慧24小時待命為你的心治療!(上)


以色列戰隊致勝關鍵,竟是將人工智慧用在軍事領域?!(上)


人工智慧編程工具Codex神助攻!讓你寫程式真輕鬆!(上)