※ 本文轉寄自 ptt.cc 更新時間: 2021-08-09 13:44:03
看板 iOS
作者 標題 Re: [情報] 蘋果新的照片審查機制
時間 Sun Aug 8 23:40:04 2021
原文恕刪
因為覺得兒童色情及用戶隱私是相當重要的議題，但使用者對於其技術的誤解容易造成議
題失焦，所以希望透過這篇回文拋磚引玉吸引更多人的討論，也懇請各位大神對於我說錯
的地方不吝指教QQ。
題失焦，所以希望透過這篇回文拋磚引玉吸引更多人的討論，也懇請各位大神對於我說錯
的地方不吝指教QQ。
在討論運作方式前，先來看看幾個技術文件提到的大前提XD
1. 蘋果不會知道任何 unmatched 照片的任何資訊。
2. 除非到達一定的閥值，蘋果不會取得任何 matched 照片的 metadata 或視覺資訊。
3. 系統誤判的機率非常的低（文件下方說誤判帳號的機率是一兆分之一），且每個被點
名的嫌疑帳號都會被人工審核後才回報給 NCMEC。
3. 系統誤判的機率非常的低（文件下方說誤判帳號的機率是一兆分之一），且每個被點
名的嫌疑帳號都會被人工審核後才回報給 NCMEC。
首先，先從官方的技術文件來了解系統的大致的運作方式。蘋果並不是單純的用
AI 影像辨識的方式偵測，而是在先本機取得圖片的 NeuralHash 值後跟資料庫中已知
的雜湊值比對，且比對的動作是在本機執行。比對的結果也會經過加密後才上傳到
iCloud，故在解密之前連蘋果也不知道比對的結果與內容，要直到達到一定的閥值後蘋果
才會將 matched 的照片解密並將帳戶回報給 NCMEC。其步驟可以參考下方圖片。
https://imgur.com/Cwn2828
![[圖]](https://i4.disp.cc/imgur/Cwn2828h.png)
那麼，這個做法跟單純的 AI 影像辨識究竟有何不同？有人會誤以為蘋果是運用大量的兒
童色情圖片訓練出一個分類模型來判斷照片是否屬於兒童色情。然而，蘋果並不是用這樣
的方式來判斷圖片「像不像」兒童色情，其技術中的神經網路只是用來提取圖片的特徵值
(描述符 descriptor)，特徵值經過雜湊後再與「已知的」非法圖片進行比對，而匹配與
否是看有無與已知的圖片「近乎相同」(nearly identical)。所以它的概念比較
童色情圖片訓練出一個分類模型來判斷照片是否屬於兒童色情。然而，蘋果並不是用這樣
的方式來判斷圖片「像不像」兒童色情，其技術中的神經網路只是用來提取圖片的特徵值
(描述符 descriptor)，特徵值經過雜湊後再與「已知的」非法圖片進行比對，而匹配與
否是看有無與已知的圖片「近乎相同」(nearly identical)。所以它的概念比較
類似以圖搜圖，而不是 google 相簿的場景/人物辨識。故重點在於已知的資料庫內容
，理論上要明確被列入資料庫的非法照片才有可能 match。
至於到底什麼樣的照片叫做「近乎相同」？根據蘋果的技術文件，原始圖片即使
經過輕度的裁切、變形、灰階化、改變解析度，甚至轉檔，都會被視為與原圖近乎相同
，換句話說，修改後的圖片會與原圖產生相同或相似的雜湊值。下圖即是技術文件內
的例子。
https://imgur.com/nRmh7z5
![[圖]](https://i4.disp.cc/imgur/nRmh7z5h.png)
但是，即便兩張圖片視覺上看起來相同，它們依舊是不同的兩張圖片，怎麼會產生相同或
相似的雜湊值？這有兩個關鍵的地方，其一是提取圖片描述符(descriptor)所使用的神經
網路。從文件可以得知，蘋果使用自監督學習(self-supervised training)的方式來訓練
模型。模型的 input data 非常簡單，共有兩種組合，第一種是由原圖與稍微修改的原圖
形成的組合(original/perturbed pair)；第二種是由原圖以及一張與原圖不相同的圖片
形成的組合(original/distractor pair)。而模型的目標是遇到相似的圖片組合時產生相
似的描述符，反之在遇到不相似的圖片組合時要產生不同的描述符。總之，這個神經網路
被訓練成在遇到近乎相似的圖片時會產生相似的描述符。
相似的雜湊值？這有兩個關鍵的地方，其一是提取圖片描述符(descriptor)所使用的神經
網路。從文件可以得知，蘋果使用自監督學習(self-supervised training)的方式來訓練
模型。模型的 input data 非常簡單，共有兩種組合，第一種是由原圖與稍微修改的原圖
形成的組合(original/perturbed pair)；第二種是由原圖以及一張與原圖不相同的圖片
形成的組合(original/distractor pair)。而模型的目標是遇到相似的圖片組合時產生相
似的描述符，反之在遇到不相似的圖片組合時要產生不同的描述符。總之，這個神經網路
被訓練成在遇到近乎相似的圖片時會產生相似的描述符。
然而，有相似的描述符還不夠，第二個關鍵是取得描述符後會使用 LSH (Locality-
sensitive hashing) 算法進行雜湊，這部分請參考此篇 #1X3huscy (MobileComm) ，
Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud - 看板 MobileComm - 批踢踢實業坊
![[圖]]()
用檔案 hash 比對圖片實在太不可靠了，改個 1 bit 資料就可以讓 hash 不同 我覺得蘋果不會做這種智障系統，否則這系統根本沒用 所以去翻了一下相關文件 看起來是用蘋果自己開發的新演算法 NeuralHash
![[圖]](https://i4.disp.cc/imgur/Iyu9H9Bb.png)
用檔案 hash 比對圖片實在太不可靠了，改個 1 bit 資料就可以讓 hash 不同 我覺得蘋果不會做這種智障系統，否則這系統根本沒用 所以去翻了一下相關文件 看起來是用蘋果自己開發的新演算法 NeuralHash
圖片會產生相同的 NeuralHash。
以下是幾個我覺得很有趣問題，也附上我的看法，如有說錯請大大多多指教
Ｑ1: 蘋果要怎麼判斷照片是未成年的？如果自拍小 GG 會不會被誤判？
A1: 如第一段所述，蘋果並不是用 AI 來判斷圖片「像不像」未成年，所以圖片看起來像
不像未成年並不重要，重要的是有無與資料庫匹配。
Q2: 家長拍攝自家小孩的照片會不會被誤判持有兒童色情？
A2: 其判斷的重點在於已知的資料庫內容，除非家長拍的照片被列入資料庫，不然理論上
不會因此誤判。
Q3: 那麼二次元的部分呢？
A2: 如同Q2，除非哪天 NCMEC 把二次元視為兒童色情並將圖片列入資料庫中，不然不會
因此誤判。
Q4: 廢話這麼多？所以蘋果到底有沒有掃描且看過我的相簿？
A4: Well..yes, but actually no。蘋果確實在「本機」掃描了圖片，但是掃描得到的描
述符、NeuralHash，與判斷結果都會以加密的方式上傳到 iCloud，所以除非是超過閥值
而被解密的照片，不然蘋果不會知道任何 unmatched 圖片的 metadata 或視覺上的訊，
也就是說，蘋果並沒有「看過」你的照片。
述符、NeuralHash，與判斷結果都會以加密的方式上傳到 iCloud，所以除非是超過閥值
而被解密的照片，不然蘋果不會知道任何 unmatched 圖片的 metadata 或視覺上的訊，
也就是說，蘋果並沒有「看過」你的照片。
Q5: 這樣看來蘋果有解密照片的能力，那加密不就是唬爛的嗎？
A5: 該加密技術是採用 PSI 加密協議（原理好複雜我也還沒完全看懂XD），但就我的理
解，蘋果解密圖片需要兩把鑰匙，其中一把鑰匙為伺服器持有，而另一把在本機計算
NeuralHash 時產生，然而，本機所產生的鑰匙只有在圖片 matched 時才是有效的鑰匙，
換句話說，圖片在 unmatched 的情況下本機產生的鑰匙是無效的，所以蘋果沒辦法單方
面解密照片。
換句話說，圖片在 unmatched 的情況下本機產生的鑰匙是無效的，所以蘋果沒辦法單方
面解密照片。
總結來說，我覺得蘋果這個做法在保護未成年的部分是立意良善，也儘可能做到維護使用
者的隱私，但仍有幾個需要探討的點：
1. 蘋果如何保證這個機制只會用來偵測兒童色情？這整個機制最重要的部分就是資料庫
的內容，只要放入資料庫的照片就能夠被偵測到。也就是說，如果有政府單位或是其他組
織要求在資料庫放入其他照片，那麼這個機制便可能淪為政府內容審查的工具，蘋果要如
何保證這點？
的內容，只要放入資料庫的照片就能夠被偵測到。也就是說，如果有政府單位或是其他組
織要求在資料庫放入其他照片，那麼這個機制便可能淪為政府內容審查的工具，蘋果要如
何保證這點？
2. 繼然被點名的帳戶會經過蘋果的人工審查，那麼蘋果是否會保證審查人員的心理健康
？且人工審核時審查人員是否知道照片與帳戶持有人之間的關聯？
3. 所有機制都會有誤判的時候，那麼遇到 false positive 時會如何處理？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.86.214 (臺灣)
※ 文章代碼(AID): #1X3_hM-K (iOS)
※ 文章網址: https://www.ptt.cc/bbs/iOS/M.1628437206.A.F94.html
→ : 第一次發長文，排版有點混亂，敬請見諒QQ1F 08/08 23:43
推 : 推一個2F 08/09 00:17
推 : 先推推再看3F 08/09 00:17
推 : 推4F 08/09 00:21
推 : 推5F 08/09 00:24
推 : 推6F 08/09 00:25
→ : Reddit 有在討論蘋果這做法確實是掃瞄 iPhone 本機的圖片7F 08/09 00:50
→ : ，這跟蘋果是不是真的「看過」是兩個問題。有看法認為今天
→ : 你蘋果可以因為美國法案而監控使用者手機內的內容，那蘋果
→ : 以往強調的 Privacy 將成為笑話。加上蘋果說會依不同國家
→ : 的法律規定來調整做法，那在中國會發生什麼事情？
→ : ，這跟蘋果是不是真的「看過」是兩個問題。有看法認為今天
→ : 你蘋果可以因為美國法案而監控使用者手機內的內容，那蘋果
→ : 以往強調的 Privacy 將成為笑話。加上蘋果說會依不同國家
→ : 的法律規定來調整做法，那在中國會發生什麼事情？
推 : 專業推12F 08/09 01:02
→ : 專業推,不過覺得兒童色情監管已經整個歪掉了13F 08/09 01:03
→ : 本來是立意良善,現在是扣個帽子就直接吃光你人權
→ : 本來是立意良善,現在是扣個帽子就直接吃光你人權
推 : 跟台灣有關係嗎？15F 08/09 01:28
→ : 也是覺得為了極少數犯罪者監控全使用者不妥
→ : 也是覺得為了極少數犯罪者監控全使用者不妥
推 : 專業推，我覺得這個技術好神奇喔，17F 08/09 01:40
→ : 經過後製的圖片Hash值還能跟原本的相同
→ : 而且完全不經手AI，無法想像
→ : 經過後製的圖片Hash值還能跟原本的相同
→ : 而且完全不經手AI，無法想像
推 : 推 專業20F 08/09 02:08
噓 : 純噓蘋果自己號稱最保障客戶隱私卻自打臉21F 08/09 02:32
推 : 專業推，不過變態犯罪根本不會因為有審查就能減少22F 08/09 02:41
推 : 推23F 08/09 02:56
推 : 還在噓蘋果保護隱私的只能說偉哉24F 08/09 02:58
推 : 樓上這麼不介意建議以後你家門都不要關，攘別人有事沒事25F 08/09 03:26
→ : 都進去檢查不用搜索令
→ : 都進去檢查不用搜索令
推 : 我有疑問，你雖然說是用已知資料去做特徵值比對，但這樣27F 08/09 04:45
→ : 已知資料裡面還不是一樣要有兒童色情圖片才行嗎？沒有一
→ : 開始的兒童色情圖片，要怎麼繼續抓出後續的資料？結果不
→ : 是跟原本一樣，只是換個說法。
→ : 二來是，你說用特徵值比對，但google搜尋除非有一樣的圖
→ : 片，基本上搜尋的圖片常常出入很大，而大家的照片又不可
→ : 能一樣，你說這樣失誤率會很低，我抱持的疑問？
→ : 同上，如果失誤的時候，一樣還不是要人工審核，這樣不就
→ : 一樣侵犯了隱私？
→ : 基本上，不管再怎樣強調沒有主動去瀏覽，但監控跟有能力
→ : 去調閱，還是侵犯他人隱私啦。以Google那種失誤率來看這
→ : 技術，我覺得應該沒有家長願意自己小孩的照片有可能被調
→ : 閱吧？
→ : 已知資料裡面還不是一樣要有兒童色情圖片才行嗎？沒有一
→ : 開始的兒童色情圖片，要怎麼繼續抓出後續的資料？結果不
→ : 是跟原本一樣，只是換個說法。
→ : 二來是，你說用特徵值比對，但google搜尋除非有一樣的圖
→ : 片，基本上搜尋的圖片常常出入很大，而大家的照片又不可
→ : 能一樣，你說這樣失誤率會很低，我抱持的疑問？
→ : 同上，如果失誤的時候，一樣還不是要人工審核，這樣不就
→ : 一樣侵犯了隱私？
→ : 基本上，不管再怎樣強調沒有主動去瀏覽，但監控跟有能力
→ : 去調閱，還是侵犯他人隱私啦。以Google那種失誤率來看這
→ : 技術，我覺得應該沒有家長願意自己小孩的照片有可能被調
→ : 閱吧？
推 : 好奇討論一下，我有個想法是使用GAN來產生兒色圖的特40F 08/09 05:10
→ : 徵值，然後再用此來跟客戶hash值進行比對，這樣有搞
→ : 頭嗎？
→ : 徵值，然後再用此來跟客戶hash值進行比對，這樣有搞
→ : 頭嗎？
推 : 意思是我要上傳iCloud還得消耗我機器的算力43F 08/09 05:14
推 : 本機是指消費者的手機，而不是icloud?44F 08/09 05:59
→ : 如果是，這合法？
→ : 如果是，這合法？
推 : 推46F 08/09 06:40
推 : 推 防治兒童性侵害應該可以用其他方法，不需要這樣侵害47F 08/09 07:21
→ : 隱私吧
→ : 隱私吧
推 : 其實就只是特徵比對在使用者手機跟在遠端系統做的差別49F 08/09 07:41
→ : 特徵值來源ㄏㄏ50F 08/09 07:54
推 : 那假設我身為父親，有些場景需要拍幼年子女的脫衣照給醫51F 08/09 08:08
→ : 師查看，這樣被蘋果看到到底？
→ : 如果因此需要人工審核，拿我小孩裸照還不被看光，不知道
→ : 是誰侵犯誰…
→ : 師查看，這樣被蘋果看到到底？
→ : 如果因此需要人工審核，拿我小孩裸照還不被看光，不知道
→ : 是誰侵犯誰…
推 : 一堆人的質疑原PO Q1~Q5不就回答了....55F 08/09 08:13
推 : 好笑的點就是在Q2阿，只敢說理論上。但如果照原po說的56F 08/09 08:17
→ : 跟以圖搜圖是類似原理，但以圖搜圖本身就錯誤百出，會不
→ : 會誤判？準確度多高？
→ : Q5又表示被判定是非法圖片後，就可以人工審核
→ : 立意是好的，但這不足以也不能當成侵犯隱私的理由。
→ : 跟以圖搜圖是類似原理，但以圖搜圖本身就錯誤百出，會不
→ : 會誤判？準確度多高？
→ : Q5又表示被判定是非法圖片後，就可以人工審核
→ : 立意是好的，但這不足以也不能當成侵犯隱私的理由。
→ : 我認真覺得自己手機內的東西不該被掃瞄審查，蘋果這樣做確61F 08/09 08:27
→ : 實會影響以後我要不要繼續買蘋果產品的意願。等著看戲。
→ : 實會影響以後我要不要繼續買蘋果產品的意願。等著看戲。
推 : 所以蘋果會消耗手機電力進行照片分析運算，並且上傳63F 08/09 08:56
→ : iCloud，那如果照片只放在手機端不存iCloud, 是否就
→ : 不會上傳(仍然會消耗手機運算能力及電力？)？
→ : iCloud，那如果照片只放在手機端不存iCloud, 是否就
→ : 不會上傳(仍然會消耗手機運算能力及電力？)？
推 : 專業推66F 08/09 09:58
→ : 人工審核需要法源依據，蘋果不是執法單位會有爭議..67F 08/09 10:32
→ : 另外最大的問題卻是就是資料庫的內容誰決定..
→ : 另外最大的問題卻是就是資料庫的內容誰決定..
推 : 問題應該是在於資料庫吧69F 08/09 11:10
→ : 如果放了政府想找的其他資料
→ : 蘋果不就成為幫忙政府監控的幫兇了？
→ : 誰能確保資料庫內容的真的只有兒童色情？
→ : 如果放了政府想找的其他資料
→ : 蘋果不就成為幫忙政府監控的幫兇了？
→ : 誰能確保資料庫內容的真的只有兒童色情？
→ : 「閾值」O 「閥值」X73F 08/09 11:15
推 : 我是不希望手機被這種事情額外消耗資源去比對74F 08/09 11:32
推 : 專業分享給推75F 08/09 11:57
推 : google做=》廣告公司收集資料，沒有隱私。apple做喔76F 08/09 12:07
→ : =》利益良善保護未成年，沒有隱私侵害問題。我覺得這
→ : 個雙標很可以
→ : 喔，對了。我不是針對這篇，這篇說明的很詳細，是篇
→ : 好文。只是同樣的文套google身上，嘛也就那樣。
→ : =》利益良善保護未成年，沒有隱私侵害問題。我覺得這
→ : 個雙標很可以
→ : 喔，對了。我不是針對這篇，這篇說明的很詳細，是篇
→ : 好文。只是同樣的文套google身上，嘛也就那樣。
推 : 那些照片蘋果能解密都是蘋果自己說的，這就是問題81F 08/09 12:49
→ : 用什麼演算法加密並不是重點
→ : 另外目前的資料是說如果有照片被認定Matched並且被傳回
→ : 蘋果，使用者並不會知道。這絕對跟強調隱私的廣告反著走
→ : 最理想的加密方式一直都是"只有我自己有鑰匙"
→ : Apple過去幾年強打隱私、避免其他公司獲取使用者資料，
→ : 但是自己的服務就是不實作端對端加密，蘋果自己一直都
→ : 在持有使用者資料，只是話講得比較好聽而已。
→ : 現在開始終於有動作了，如果沒經過你同意直接就開始了
→ : 審查你照片的動作，那未來這能推展到什麼程度?
→ : FB for iOS連我在哪都不知道了，現在你大蘋果直接看我
→ : 照片，也不問我是否同意，以後是否要審查我訊息?
→ : 用什麼演算法加密並不是重點
→ : 另外目前的資料是說如果有照片被認定Matched並且被傳回
→ : 蘋果，使用者並不會知道。這絕對跟強調隱私的廣告反著走
→ : 最理想的加密方式一直都是"只有我自己有鑰匙"
→ : Apple過去幾年強打隱私、避免其他公司獲取使用者資料，
→ : 但是自己的服務就是不實作端對端加密，蘋果自己一直都
→ : 在持有使用者資料，只是話講得比較好聽而已。
→ : 現在開始終於有動作了，如果沒經過你同意直接就開始了
→ : 審查你照片的動作，那未來這能推展到什麼程度?
→ : FB for iOS連我在哪都不知道了，現在你大蘋果直接看我
→ : 照片，也不問我是否同意，以後是否要審查我訊息?
推 : 推資訊93F 08/09 13:21
噓 : 講這麼多就是侵犯隱私來掃你的照片 誰知道哪天會不會94F 08/09 13:29
→ : 偷用
→ : 偷用
--
※ 看板: iOS 文章推薦值: 0 目前人氣: 0 累積人氣: 108
作者 PopeVic 的最新發文:
![]()
剛剛在推特看到 notability 將改成免費下載+訂閱的模式本來不以為意，想 說老用戶應該可以繼續使用已購買功能，但看過官網的說明後發現沒有那麼 簡單... 先講重點，老用戶更新 app 後可以繼 …74F 37推 10噓![]()
原文恕刪 因為覺得兒童色情及用戶隱私是相當重要的議題，但使用者對於其技術的誤解容易造成議 題失焦，所以希望透過這篇回文拋磚引玉吸引更多人的討論，也懇請各位大神對於我說錯 的地方不吝指教QQ。 在討論運 …95F 31推 2噓![]()
如題，蘋果無預警推出了 MagSafe 外接式電池，據悉電池容量為 1460 mAh，需 iOS 14.7 以上版本，台灣售價為 2990 NTD。 另外，單獨使用外接電池時充電速度為 5W，若邊插著 …67F 44推 2噓![]()
軟體名稱：OldOS 軟體分類：無(beta) 軟體連結： 安裝方式：iOS TestFlight App（已額滿） 適用韌體：iOS 14.1 or later 購買費用：0 程式簡介： 由外國開發 …30F 22推![]()
以下為重點節錄 —— Apple 今天宣布 Apple Music 將支援使用杜比全景聲技術的空間音訊，為訂閱者帶來引領 業界的聲音品質。空間音訊為藝人帶來新的契機，藉由多維度的聲音與清晰度，幫助藝 …60F 30推
點此顯示更多發文記錄
回列表(←)
分享