※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2020-07-10 08:23:32
看板 Gossiping
作者 標題 [新聞] 繞過個資共享障礙找到AI新出路聯合學習顛
時間 Thu Jul 9 10:34:25 2020
ithome
【繞過個資共享障礙找到AI新出路】聯合學習顛覆集中式ML訓練
自AI浪潮掀起以來,要打造表現好的模型,就需要越多的訓練資料。然而,越來越嚴格的
個資保護規範,限制了企業取得資料的行為,成為AI大數據的衝突。但聯合學習,可望打
破這個限制
個資保護規範,限制了企業取得資料的行為,成為AI大數據的衝突。但聯合學習,可望打
破這個限制
文/王若樸 | 2020-07-09發表
三年前,Google一篇聯合學習(Federated Learning,又稱聯邦學習)部落格文章,解釋
了如何以分散式訓練方法,把資料留在本地端,打造出可部署至上百萬支手機的輸入字推
薦模型。這個作法,不再需要收集大量個人資料至資料中心,不僅取代傳統集中式機器學
習,更一舉成為現在AI大數據與個資隱私瓶頸的解套方法。
了如何以分散式訓練方法,把資料留在本地端,打造出可部署至上百萬支手機的輸入字推
薦模型。這個作法,不再需要收集大量個人資料至資料中心,不僅取代傳統集中式機器學
習,更一舉成為現在AI大數據與個資隱私瓶頸的解套方法。
2017年,Google為改善自家Android虛擬鍵盤Gboard的輸入功能,設計出一套加密分散式
機器學習方法。首先,個別用戶的手機會從中央主機下載一套模型,接著在數以萬計的用
戶端,根據用戶端的使用行為,來訓練Local端模型。
機器學習方法。首先,個別用戶的手機會從中央主機下載一套模型,接著在數以萬計的用
戶端,根據用戶端的使用行為,來訓練Local端模型。
訓練好後,用戶手機會上傳模型權重(亦稱參數)至中央主機,中央主機收集一定數量的
權重後,就會聚合(Aggregation),計算出一個優化過的權重,再回放到用戶端手機,
進行下一輪訓練。
權重後,就會聚合(Aggregation),計算出一個優化過的權重,再回放到用戶端手機,
進行下一輪訓練。
這個過程會不斷重複,直到模型達到理想的表現。在這過程中,只會上傳模型參數,完全
不會上傳使用者資料。Google指出,這個方法訓練出來的模型,不只讓搜尋功能變得更好
,還能部署到「數百萬支Android手機上。」
不會上傳使用者資料。Google指出,這個方法訓練出來的模型,不只讓搜尋功能變得更好
,還能部署到「數百萬支Android手機上。」
AI浪潮興起以來,為打造高準確度、高適應性的模型,就必須使用量大且多樣的訓練資料
。但在2018年,歐盟祭出史上最嚴格的個資保護規範GDPR,限制了企業蒐集、使用個人資
料的行為,這與AI熱浪的大數據需求,發生衝突。
。但在2018年,歐盟祭出史上最嚴格的個資保護規範GDPR,限制了企業蒐集、使用個人資
料的行為,這與AI熱浪的大數據需求,發生衝突。
而聯合學習藉分散式訓練,以共享模型取代共享資料,能藉眾人之力,打造效能不輸集中
式訓練的模型。這個方法,近年來在著重隱私的金融、醫療領域發酵,比如中國純網銀微
眾銀行發起聯合學習框架,邀集全球金融業者,來打造信用卡防詐欺模型,或是在醫療界
,Nvidia聯手倫敦國王學院,共同打造一款醫療聯合學習平臺。
式訓練的模型。這個方法,近年來在著重隱私的金融、醫療領域發酵,比如中國純網銀微
眾銀行發起聯合學習框架,邀集全球金融業者,來打造信用卡防詐欺模型,或是在醫療界
,Nvidia聯手倫敦國王學院,共同打造一款醫療聯合學習平臺。
今年,臺北榮總率先發表了臺灣第一個聯合學習試驗的成果,以國產AI超級電腦來試驗聯
合學習可行性,隨後,三總也在6月時宣布,加入全球20多家醫院聯手的聯合學習研究計
畫,要來打造一個COVID-19病情預測模型。臺灣也開始跟上了新一波聯合學習全球浪潮。
Q:什麼是聯合學習?
合學習可行性,隨後,三總也在6月時宣布,加入全球20多家醫院聯手的聯合學習研究計
畫,要來打造一個COVID-19病情預測模型。臺灣也開始跟上了新一波聯合學習全球浪潮。
Q:什麼是聯合學習?
A 聯合學習(Federated Learning)是一種分散式機器學習訓練方法,最常見的形式為
Server-Client形式,由一個中央伺服器,搭配分散各地來參與訓練的多個節點(也就是
Client)。各節點主機先從中央伺服器下載模型,在本地端以自己的資料來進行訓練,完
成訓練後,再將各自模型的權重上傳至中央伺服器,由中央伺服器來聚合(Aggregate)
這些權重。這種分散式訓練方法,可套用在不同機器學習模型的訓練過程。
Server-Client形式,由一個中央伺服器,搭配分散各地來參與訓練的多個節點(也就是
Client)。各節點主機先從中央伺服器下載模型,在本地端以自己的資料來進行訓練,完
成訓練後,再將各自模型的權重上傳至中央伺服器,由中央伺服器來聚合(Aggregate)
這些權重。這種分散式訓練方法,可套用在不同機器學習模型的訓練過程。
接著,中央伺服器會將優化過的權重,回傳給各節點,各節點再利用新的權重,進行下一
輪訓練。這個過程會不斷重複,直到模型收斂至理想狀態。
https://www.ithome.com.tw/news/138577
【繞過個資共享障礙找到AI新出路】聯合學習顛覆集中式ML訓練 | iThome
自AI浪潮掀起以來,要打造表現好的模型,就需要越多的訓練資料。然而,越來越嚴格的個資保護規範,限制了企業取得資料的行為,成為AI大數據的衝突。但聯合學習,可望打破這個限制 ...
自AI浪潮掀起以來,要打造表現好的模型,就需要越多的訓練資料。然而,越來越嚴格的個資保護規範,限制了企業取得資料的行為,成為AI大數據的衝突。但聯合學習,可望打破這個限制 ...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.139.247 (臺灣)
※ 文章代碼(AID): #1V1e8q7Q (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1594262068.A.1DA.html
推 : yo叔主導的嗎1F 07/09 10:35
推 : 樓下yoyo2F 07/09 10:35
推 : 就是用你手機幫忙運算咩3F 07/09 10:36
推 : 我只是提出一個概念而已4F 07/09 10:38
推 : Gboard注音輸入超爛 Asus的ZenUI鍵盤屌打5F 07/09 10:40
→ : yo繞過6F 07/09 10:40
推 : 中共:不需要7F 07/09 10:43
推 : CAPTCHAㄇ8F 07/09 10:43
→ : 不就區塊鏈的概念..9F 07/09 10:43
→ : yo叔呢10F 07/09 10:45
--
※ 看板: Gossiping 文章推薦值: 0 目前人氣: 0 累積人氣: 107
回列表(←)
分享