臉書最強圖像辨識人工智慧”SEER”,又將如何改變你我生活?

臉書最強圖像辨識人工智慧"SEER",又將如何改變你我生活?
臉書最強圖像辨識人工智慧”SEER”,又將如何改變你我生活?

臉書利用十億張照片訓練人工智慧”SEER”,你我生活將會起什麼變化?

 

目錄

1. FB出動IG十億張照片,訓練最強圖像識別AI「SEER」

2. 何謂 AI 的自監督式學習是什麼?

3. 奠基在 10 億張圖上的自監督 AI

4. FB 最強圖像辨識 AI 「SEER」 的潛力

 

FB出動IG十億張照片,訓練最強圖像識別AI「SEER」

近年來自監督式學習(self-supervised learning)的研究與發展十分蓬勃,像是 Google Brain 在 2020 年公開的「SimCLR」就被認為是個重要的里程碑。

 

但是坐擁著全球最大影像資料庫之一 Instagram 的 Facebook 也不惶多讓,藉由 Instagram 上超過 10 億張的公開照片,訓練出最新的自監督式學習模型「SEER」(SElf-supERvised),並宣稱 SEER 是目前在圖像識別測試之中,表現最優秀的人工智慧 

 

何謂 AI 的自監督式學習是什麼?

機器學習中最廣泛使用的監督式學習(supervised learning),是由人給定標記好的資料,讓 AI 學習正確答案並作為推論根據。但是,這種方法十分依賴於人工事先標記,不僅要耗費大量時間、人力與資源,AI 也只能針對已標記的特徵來學習、完成特定範圍內的任務,如:語音轉文字、分類圖像、物件辨識等。

 

為了突破這些限制,自監督學習(Self-supervised Learning,SSL)就應運而生了。

 

自監督學習是觀察現有訓練資料中的任何部份來學習,透過預測來認識世界,而無需仰賴人工事先給定的標籤。

 

換而言之,自監督學習所訓練的 AI 模型,能藉由觀察過去與現在的訓練資料,來預測未來會發生的事。如 SEER 可以透過觀察未標記、未分類的 Instagram 照片,就辨識出照片中的物品或人物。

 

這讓許多人相信,人工智慧技術若要開創新局面,利用自監督式學習是最好的方式。Facebook AI 研究團隊也認為,AI 的未來在於不需依靠人類事先準備好的「教材」來學習如何識別物件,而是能夠直接從任何形式──如文字、圖片、聲音、影像等──的數據資料中學習。

 

奠基在 10 億張圖上的自監督 AI

SEER 模型結構是基於 Facebook AI Research 實驗室於2020年所提出的「RegNet」模型,與在線自監督學習演算法「SwAV」,來分析總量達 10 億張的隨機圖片。

SEER 模型結構是基於 Facebook AI Research 實驗室於2020年所提出的「RegNet」模型,與在線自監督學習演算法「SwAV」,來分析總量達 10 億張的隨機圖片。|圖片來源:Facebook AI Blog

 

SwAV 能利用聚類分析(Cluster analysis)來快速分組具有相似視覺概念的圖片,再透過同組中圖片的相似性增進學習效能,讓訓練時間大幅減少。不過,要執行這樣的運算,SwAV 需要一個運行效率很高、又不會損失精確性的模型架構。

 

而能夠擴展到數十億、甚至數萬億個參數的 RegNet,正好完全符合這些需求。

Facebook AI Research 團隊對比了 SEER 與其他自監督式學習演算法在 ImageNet 上的預訓練結果,表示SEER 的表現是最佳的|圖片來源:Facebook AI Blog

 

而團隊也對比了 SEER 與其他自監督式學習演算法在 ImageNet 上的預訓練結果,表示SEER 的表現是最佳的。

 

FB 最強圖像辨識 AI 「SEER」 的潛力

儘管 SEER 目前還只能算是一個研究項目,但  Facebook 官方表示其發展潛力相當廣泛,包括用於自動生成文字說明、對賣家於 FB  Marketplace 上傳的商品圖片增加建議標題及類別、防止違反社群規則的內容在 FB 平台傳播等等。甚至若其動態影像預測的研究成熟後,可以用在預測自駕車周遭車輛的行駛軌跡,為自駕車技術增添一大助力。

 

並且,SEER 的成果也展現出,自監督式學習可以成為更加有效、準確且適應性強的電腦視覺模型。也許未來,自監督式學習能帶給 AI 領域更多爆炸性的突破跟發展。

 

 

 

推薦文章:
你上傳圖片到 IG 的同時,其實也在幫 FB 訓練人工智慧!


2021最適合工作的科技公司排行榜:NVIDIA第一、Google第三,蘋果連前十名都無?


Facebook 開源 Python 語言的安全與隱私工具 Pysa


人工智慧打造「精準農業」種出完美蔬菜、進行牛臉辨識


比櫃姐更懂你!人工智慧為你打造客製化彩妝!


2020年十大最強PYTHON函式庫,到底多好用?!(一)


人工智慧”虛擬超模”太專業!試衣模特兒飯碗恐不保?!(上)

Python安全隱私的防護罩!因為有”它”讓臉書好放心!

Python安全隱私的防護罩!因為有"它"讓臉書好放心!
Python安全隱私的防護罩!因為有”它”讓臉書好放心!

Python的安全和隱私都幫你顧到了!到底是什麼讓臉書這麼放心?

 

▲ Pysa 檢測 Python 程式碼中安全漏洞的官方說明影片

 

Facebook 最近開源了一個用於檢測 Python 程式碼中安全漏洞的自動化工具「Pysa」。這個工具最初的用途是用來保護旗下的 Instagram。

Pysa 為「Python Static Analyzer」的縮寫,是 Python 靜態分析工具的意思,與另一套同名的勒索軟件 Pysa 毫無關係──希望讀者不要把這兩者混為一談。

Pysa 最主要用於追蹤大規模的 「Python 代碼庫──如驅動 Instagram 的 Python 程式碼──中的潛在安全漏洞。

這套工具會在代碼運行 / 編譯之前,以靜態模式掃描程式碼,著眼於數據流經系統的方式,查找潛在已知的錯誤模式、然後幫助開發者標註出潛在的問題:

安全漏洞

Facebook 資安工程師 Graham Bleaney 和 Sinan Cepel 寫道:「分析數據流可以說是非常管用的,因為許多安全和隱私問題,都可被建模為數據而流入不該進入的地方。」

舉例來說,遠端代碼執行的漏洞,會被視為一般的用戶輸入,而到達系統程式碼內未經授權的部分。

Facebook 表示:在 2020 年的前半年,Pysa 就偵測到有 44% 的安全漏洞,是藏在 Instagram 伺服器端的 Python 代碼中。

Pysa 是基於開源代碼 Pyre 項目而建立的。Pyre 項目本是用來提高 Python 程式碼的品質的自動化工具,都是經過特別修改以協助發現安全漏洞。

去年,Facebook 就有推出了一個類似的工具 Zoncolan,該工具是用於 Hack 語言 (一種類 PHP 語言,用於 Facebook 應用程序的主要代碼庫) 中尋找安全漏洞。

不管是 Pysa 還是 Zoncolan,掃描程式均會尋找潛在危險的資料型態。這些資料型態都有可能會利用漏洞以允許跨網站指令碼攻擊 (XSS)、遠端程式碼攻擊、SQL 注入或用戶資料外洩等。當掃描到這些有害的數據後,即會通知程式開發人員。

及時檢查

「就像 Zoncolan 用於 Facebook 的 Hack;Pysa 幫助我們擴展了 Python 的應用程式安全性,尤其是那驅動 Instagram 伺服器的代碼庫。」Facebook 資安工程師 Bleaney 和 Cepel 寫道。

「這些結果將直接傳送給程式開發人員或是轉到資安工程師,取決於檢測到的問題類型以及我們針對該問題的信噪比 (S/N Ratio)。」

Facebook 表示,它讓 Pysa 開源,以讓更多開發者用來檢查自己的 Python 程式碼。

開源

Bleaney 和 Cepel 表示: 「因為我們在自家產品上使用開源 Python 伺服器端框架,如 Django 以及 Tornado。Pysa 可以從一開始就找出應用這些框架的項目的安全性問題。」

他們補充說:將 Pysa 用於尚不支持的框架可以很簡單,只需添加幾行配置,就可以告訴 Pysa 數據進入伺服器的位置。

Facebook 已在 GitHub 上正式發布了 Pysa 的開源代碼,以及一些能協助它追踪安全問題的 bug definitions。

 

 

 https://www.itech01.com/wp-admin/profile.php

 

推薦文章:
非資工系出身!產品工程師「Python 課程」結業後轉職大醫院的網站工程師


人工智慧結合汽車雷達偵測行車視線死角 「駕駛盲區」即將走入歷史?


人工智慧貓砂盆 – 因愛貓腎病過世 工程師研發預防性貓用醫療品


Python 教學 – 控制結構篇 – while 迴圈


Python&R語言大PK,到底哪個最適合人工智慧?(上)


Python課程如何讓品保人員只花一年就成功轉職程式設計師?


人工智慧創意無極限,傳統甜點被正名為快活興奮劑?!