iPhone 내의 이미지(화상)에서 임의로 아동 포르노를 신고하는 AI에 '결함'이 발견되다
Apple사의 아동 포르노 검출기술에 결함이 발견되었다.
현재 Apple은, 미국에서, 개인이 가지는 iPhone나 iCloud를 마음대로 스캔하고, 아동 포르노를 통보하는 「Neural Hash」라고 하는 AI소프트의 도입을 진행시키고 있다.
그러나 2021년 8월 18일 코드공유 웹사이트 GitHub의 이용자가 공유한 정보에 따르면 정작 AI 소프트웨어(Neural Hash)가 '개와 추상화'를 같은 이미지(화상)으로 인식하고 있다는 것을 발견했다고 한다.
iPhone은 엄청나게 많은 수가 세상에 나와 사용 중이기 때문에, 약간의 오탐지률로도, 오인 체포를 일으킬 가능성이 있다.
그러나 도대체 왜 Neural Hash는 개의 사진과 추상화를 「동일」한 것으로 판단해 버린 것일까?
◇ 감시 소프트웨어는 아동 포르노 이미지를 개인 데이터에서 멋대로 스캔하여 신고
Apple는 2021년 후반기에 미국에서, 개인의 iPhone에 심는 타입의, 아동 포르노 검출 소프트 「Neural Hash」를 도입한다고 밝힌바 있다.
Neural Hash는 수십만에 이르는 아동 포르노 화상을 AI에게 보여줌으로써 학습을 하게 해 같은 패턴의 이미지가 개인의 iCloud에 있는지를 마음대로 스캔 해 통보하는 구조를 가지고 있다.
또 NeuralHash는 iPhone이 송수신 하는 이미지(화상)을 감시하고, 송수신하는 아동 포르노 화상을 iCloud에 넣었을 경우도, 통보를 하게 되어 있다고 한다.
아이폰 소유자가 아이일 경우 감시가 더욱 심해져 아이가 송수신 한 이미지가 아동 포르노라고 판단될 경우 경고하고 아이가 경고를 무시하면 부모에게도 통보된다는 것이다.
동시에 증거를 확보하기 위해 어린이의 iPhone에 이미지가 강제적으로 저장되어 자녀 본인이 삭제할 수 없게 된다.
Apple은 이러한 강력한 감시체제를 구축하는 것은 모두 아동 포르노를 규제하기 위해서라고 말하고 있다.
그래서 이번에 코드 공유 웹사이트 GitHub 사용자들은 온라인에 공개되어 있는 Neural Hash의 성능을 체크하기로 했다.
◇ 감시 소프트웨어는 그 개의 사진과 추상화를 동일하게 인식하고 있다.
감시 소프트웨어는 그 개의 사진과 추상화를 동일시했다
감시 소프트웨어는 개의 사진과 추상화를 동일하다고 인식하고 있었다 / Credit : GitHub
Neural Hash의 성능을 확인하기 위해 Git Hub 사용자 한 명은 2장의 이미지를 비교하였다.
첫 번째는 개의 사진, 그리고 또 하나의 추상적 이미지는 개의 사진을 바탕으로 Neural Hash에게 "비슷한 이미지"를 작성하도록 지시한 것이다.
딱 봐도 두 장의 이미지는 크게 다르다는 것을 알 수 있지만, Neural Hash는 이 2장의 사진을 「동일한 것」으로 간주하고 있다.
감시 소프트웨어는 개의 사진과 소녀의 사진을 동일하다고 인식하고 있었다 / Credit : GitHub
같은 오류는 곧바로 실제 사진을 포함한 다른 쌍(개와 소녀)에서도 발견되었다.
이 결과는, 수십만장의 아동 포르노를 기계 학습한 AI와 인간의 눈에서는, 현실(사진의 페어)이 다르게 보이고 있는 것을 보여준다.
◇ 애플은 이미 아동 포르노 이외의 자료도 스캔한 상태였다
Apple은 이미 아동 포르노 이외의 데이터도 스캔하고 있었다 / Credit : Canva. 수수께끼 편집부
이번 조사로 인해 우리가 사용하는 단말기에 도입되는 Neural Hash에 대한 불안감이 증가하게 되었다.
Apple은 실제로 경찰에 신고를 하기 전에 인간의 눈에 의한 더블 체크를 한다고 하고 있지만, 그래도 전문가들은, 에러로 인해 오인체포가 일어날 수 있다고 생각한다는 것이다.
무엇보다 Neural Hash의 감시는 경찰에 신고 여부의 재량권이 민간기업에 위임되어 있음을 의미한다.
자신에게 있어 아동 포르노도 아무것도 아닌 이미지가 Apple에 의해서 아동 포르노라고 인정되면, 계정이 동결되어 경찰이 개입하게 된다.
또 보안전문가들은 Neural Hash의 학습대상을 아동 포르노로부터 다른 것으로 변경하는 것으로, 특정의 정보를 Apple이 수집할 수 있게 된다고 생각하고 있다.
그리고 그 불안은 현실로 나타나고 있었다.
2021년 8월 23일, Apple 정보전문의 뉴스 사이트 「9 to 5 mac」에 따르면, Apple은 2019년부터 iCloud Mail을 스캔하고 있다고 밝히고 있다.
그리고 지금까지 진행된 스캔에는 아동 포르노가 아닌 다른 데이터를 대상으로 한 스캔도 포함돼 있었다는 것이다.
기자들이 '다른 데이터'가 뭐냐고 물었지만 아쉽게도 답변을 얻지 못한 것 같다.
Apple은 지금까지, 송신자와 수신자 밖에 데이터를 알 수 없는 「엔드 투 엔드」의 통신을 중시해 운영을 해 왔다.
Apple은 Neural Hash 가 도입되었다고 해도, 통신중에는 암호상태가 지켜지고 있기 때문에 「엔드 투 엔드」는 지켜지고 있다고 말하고 있다.
또한 일부 사람들은 Neural Hash가 도입되어 iPhone을 파고드는 데이터에 불쾌감을 느낄 수도 있다.
Neural Hash 가 도입되면, 비교용으로 이용되는, 수십만점에 이르는 아동 포르노 이미지(화상)의 해시데이터 또한, 우리의 iPhone을 비집고 들어가는 것이다.
데이터는 암호화되어 있어 개인이 열람할 수 없지만 잠재적인 아동 포르노 데이터를 대량으로 아이폰에 넣게 되는 것은 사실이다.
범죄의 검출과 개인정보 보호의 딜레마는 가까운 장래에 어느 나라에서나 피해갈 수 없는 문제가 될 것이다.
아동 포르노 규제는 필요하지만, 그러나, 그 수단이 한 기업에 지배되어도 되는지는 또 다른 논의가 되어야 할 문제이다.
Working Collision ? # 1
https://github.com/AsuharietYgvar/AppleNeuralHash2ONNX/issues/1
Apple already scans iCloud Mail for CSAM , but not iCloud Photos
https://9to5mac.com/2021/08/23/apple-scans-icloud-mail-for-csam/
Apple ' s Plan to " Think Different " About Encryption Opens a Backdoor to Your Private Life
https://www.eff.org/effector/33/5
