Apple CSAM 감시 기술 도입 논란

1. 개요

Apple의 아동 보호 소개 문서
Apple CSAM 감시 기술 백서
아동 보호 기술 관련 FAQ

Apple이 2021년 가을에 출시할 iOS 15, iPadOS 15, macOS Monterey에 탑재할 것으로 계획했던 CSAM [1] 감시 기술 및 iMessage 이미지 스캔에 대한 논란.

iOS 15.2, iPadOS 15.2, watchOS 8.3, macOS 12.1부터는 아동이 보내는 메시지만 확인하는 일부분을 도입하였다. #

계획 폐기 전까지는 문서에도 서술되어 있듯이 찬반 의견이 엇갈리는 모습을 보였으며 반대 측에서는 '#spyPhone' 해시 태그까지 생겨날 만큼 큰 부정적 의견을 낳았다.

결국 2022년 12월 8일 iCloud에 고급 데이터 보호 도입 계획을 발표함과 동시에 해당 계획을 완전히 폐기했다. #

2. 상세

이하 내용은 Apple 측의 발표 문서를 기반으로 하고 있으며 제3자의 사실 확인을 거치지 않은 Apple 측의 일방적 주장에 근거한 내용이다.

우선 상기한 위 3가지 OS에는 크게 3가지 기술이 탑재되어 기기의 자료를 식별한다.

이미지 스캔
iCloud에 저장된 모든 이미지를 기기 자체에서 스캔한 다음 미국 국립 실종 및 착취 아동 센터( NCMEC)에서 제공하는 CSAM 데이터베이스와 대조하여 일치 여부를 확인한다. 좀 더 자세히 설명하자면 먼저 iPhone이 상기한 NCMEC 및 기타 아동 안전 기관의 알려진 CSAM 이미지 해시 데이터베이스를 바탕으로 iCloud의 해당 사진이 CSAM이 맞는지 여부를 스캔한다. 검토된 데이터베이스는 이후 읽을 수 없는 해시 집합으로 암호화되어 사용자의 기기에 저장된다.

기술 백서에 따르면 Apple은 뉴럴 해시(NeuralHash)라 불리는 기술을 통해 CSAM 이미지를 분석한다. 이를 위해 CSAM의 뉴럴 해시 데이터베이스를 기기 내부에 심고 각 이미지를 고유한 숫자 코드로 변환한다. 이 기술은 두 이미지가 거의 동일한 경우에 한해서만[2] 동일한 값을 생성한다. 여기까지는 온 디바이스, 즉 기기 내에서 자체적으로 처리된다.
이후 이미지가 iCloud 사진에 추가되면 해당 데이터베이스와의 비교를 통해 일치 여부가 결정된다. 일치 항목이 발견되면, 그러니까 의심되는 사진이 발견되면 일단 암호화된 안전 바우처(safety voucher)가 생성되고 Apple로 전송된다. 이것의 수가 임계치를 넘으면 Apple 측의 검토자는 이 바우처를 통해 이미지의 암호를 해독해 액세스할 수 있다. 따라서 임계치를 넘지 않으면 Apple에서 사진을 볼 수 없다.

요점은 이미지가 iCloud에 저장되면 매칭 프로세스가 작동하고 안전 바우처가 쌓인다는 것이다. 즉, 이 사항은 iCloud 사진을 비활성화하면 작동하지 않는다. 만약 해당 이미지를 확인해 본 결과 CSAM이 맞다면, 즉시 NCMEC에 통보하고 해당 iCloud 계정을 비활성화시킨다.

macOS Monterey에는 적용되지 않는다.

iMessage 스캔

iMessage 스캔 화면

온 디바이스 머신 러닝을 사용하여 iMessage 중에 미성년자가 보내거나 받은 음란물이 있는지 기기에서 자체적으로 스캔한다. 즉, 이 사항은 12세 미만[3] 미성년자에게만 해당되며 가족 공유 기능을 사용하고 있어야 한다. 만약 그런 이미지가 식별되면 Apple에서 부모와 자녀에게 경고를 보내며 부모는 이에 대한 알림을 받을 지 선택할 수 있다. 자녀가 받은 음란물은 흐리게 블러 처리된다. 이 기능은 상기된 iCloud 사진 이미지 스캔과는 별도의 기능이고 Apple에게 전송되는 정보도 없다.

검색 시 알림
Siri를 비롯한 검색 기능에도 이 기술이 적용되어 누군가가 CSAM과 관련된 검색어를 입력할 때 Siri와 검색 기능이 개입하여 해당 검색 주제는 문제의 소지가 있음을 알려준다. Apple은 이를 통해 부모와 아동에게 더 많은 정보를 제공하는 한편 아동이 위험한 상황에 놓였을 때 도움을 줄 수 있다고 밝혔다.

2.1. 오해

Apple이 iPhone에 있는 모든 이미지를 스캔하는 것인가?
아니다. 감지 기능은 사용자가 iCloud에 올리기로 선택한 이미지에 한해서만 작동한다. 따라서 iCloud 사진을 사용자가 비활성화한 경우 기능이 작동하지 않는다. 또한 감지 기능이 작동할 때에도 Apple이 얻는 정보는 CSAM을 가지고 있는 계정에 있는 CSAM 이미지가 전부이다.

감지 기능이 내 아이가 벗은 사진 등 불법적이지 않은 아동의 나체 이미지를 감지하는가?
아니다. 감지 기능이 참조하는 데이터베이스는 NCMEC에서 제공하는 CSAM 데이터베이스이다. 따라서 기기가 자의적으로 해당 이미지가 CSAM인지 판단하는 게 아니고 이미 그곳에 등록된 CSAM인지만 감지한다. 머신 러닝이 쓰이는 것은 사진의 뉴럴 해시 값 추출 단계뿐이다.

Apple이 감지 기능을 이용해 iPhone의 다른 정보도 열람할 수 있는가?
아니다. 감지 기능은 iCloud 사진 보관함에 있는 이미지에 한해서만 작동하고 기기에만 있는 정보에 접근할 수 없다. 이 기능으로 인해 iPhone의 보안 중 바뀌는 부분은 없다.

3. 전망

3.1. 긍정적

사실 이는 Apple이 최초로 도입하는 기술은 아니다. 미국 법률에 따라 서버에 CSAM 이미지가 있는 모든 미국 소재 회사는 법 집행 기관의 조사에 협력해야 한다.[4] 그래서 페이스북, Microsoft, 구글 등의 회사들은 이메일, 채팅, 클라우드 또는 그런 플랫폼을 통해 공유되는 CSAM 관련 사진을 스캔하는 기능을 탑재하여 운영하고 있다.

상기했듯이 iCloud의 경우 기기 내에서 자체적인 분석이 이루어지기 때문에 기존의 방식과 비교하였을때 상대적으로 개인 정보의 유출 위험이 적다는 주장이 있다.

iMessage 스캔도 마찬가지로, iMessage를 통해 전송되는 모든 메시지는 종단간 암호화로 보호되고 있고 미성년자에게만 적용되며 이쪽은 Apple로 아무 정보도 전송되지 않는다. 단지 부모에게 알리는 용도로만, 기기 자체에서 스캔한다.

따라서 이것만으로 Apple만 나쁘다고 무작정 비난하는 것은 Apple 입장에서는 억울할 것이다. 타사들은 이미 몇 년 전부터 이러한 검열을 자신들의 서버에서 시행해 오고 있기 때문이다. 일례로 구글은 2014년에 Gmail을 검열하다 아동 성 착취물 소지범을 찾아내 경찰에 신고한 적이 있다. 구글은 2021년 8월 미국의 한 아버지가 진찰하기 위해 의사의 요청에 따라 아들의 성기 사진을 찍어 보낸 것을 아동 성착취물로 분류하고 경찰에 연락했으며 구글 계정을 밴해버렸다.

2020년 NCMEC의 보고에 따르면 약 2만 6,500건의 가출 사례 중에서 6명 중 1명은 아동 성매매 피해를 입었을 것으로 추산됐다. 그리고 NCMEC의 아동 성 착취 보고 시스템인 사이버팁라인은 2020년 CSAM과 관련하여 2,170만 건 이상의 보고를 받았다. 따라서 이런 피해를 막기 위해 기술적 도움이 필요하다는 의견도 있다. 이러한 아동 보호 기술을 시스템 전반에 도입함으로써 Apple이 주장하는 인권의 향상에 도움이 될 수 있다는 주장이 있다.

3.2. 부정적

으레 이런 기술들이 그렇듯 양날의 검이라고 볼 수 있는데 당장 Apple 내부 직원부터 우려를 표했다.

사실 이는 Apple이 주장해오던 개인 정보 보호, 그러니까 프라이버시 보호 정책과 상충되는 면이 많다. 물론 앞서 상기한 회사들도 죄다 사진을 스캔하고 있는데 Apple이 하는 게 왜 이렇게 논란이 되냐는 의문을 제기하는 사람들도 많은데 이러한 논리는 피장파장의 오류다. 온디바이스 모드로 스캔하여 사용자의 정보를 검열하는 행위와 서버에 업로드된 상태에서 스캔하여 정보를 검열하는 행위나 최종적으로 파일을 검열한다는 사실은 똑같다. 후자가 더 나쁜 것이지, 전자가 좋은 것이 되지는 않는다. 타 업체와 차별점으로 온디바이스 검열을 하는 건 오히려 더 안좋은 방향으로 한 발자국 더 나갔다는 뜻이다.

기술이란 것 자체가 태생적으로 완벽할 수가 없다. 일단 Apple은 iCloud 계정이 잘못 신고될 확률은 1조 분의 1 미만이라고 주장한다. 하지만 2021년 기준 전 세계 Apple 기기의 사용자 수는 10억 명이 넘는다. 이 말은 잘못 신고되는 사용자가 1/1000 의 확률로 있을 수 있다는 것이다. 특히 한 사진의 Neural Hash와 같은 해시를 가지는 사진을 찾기가 엄청나게 쉽다는게 알려졌다. 해시 충돌을 일으키는 (즉, Neural Hash를 이용했을 때 서로 같은 이미지로 인식되는) 사진을 찾아주는 프로그램이 벌써 배포되고 있다. 서로 명백하게 다른 고양이 사진과 강아지 사진이 같은 Neural Hash를 가지는 것을 볼 수 있다. 이같이 오적발된 해시값이 임계치를 넘으면 검토자가 직접 확인하는 단계까지 진행될 가능성도 없지 않다.

Apple이 전 세계에 진출했다는 사실을 잊지 말아야 한다. 당장 언론의 자유가 제한되고 집권 정치인에 반대하는 의견조차 금지된 중국, 러시아, 일부 이슬람 국가에서는 이 기술이 어떤 목적으로 사용될 지 단언할 수 없다. 실제로 존스 홉킨스 대학교의 매튜 그린 교수는 ' 중국 정부가 그 기술로 무엇을 할 지 궁금하다'며 우려를 표하였고 전자 프론티어 재단(EFF)은 'Apple이 이 백도어를 넓힐 수 있다'고 경고하였다. 일단 Apple은 확대 적용할 계획이 없다고 밝히긴 했지만 그건 지금 당장의 의견일 뿐이며 향후 이 도구가 어떻게 악용될지는 아무도 모른다. 대기업이 자기 입맛에 맞도록 말을 바꾸는 경우는 매우 흔하다. 특히 Apple/비판 문서에서 볼 수 있듯이 Apple은 노골적인 친중/ 친러 행보를 보여 Band in China 리스트에 등재되기도 한 기업이다. 그래서 해당국가의 협조 요구에 수용할 가능성이 충분히 있다.

따라서 언제든지 악용될 소지가 다분하며 주의가 필요하다는 것이 이들의 주장이다. 실제로 애플 측은 긴 사후지원 기간을 자사 제품의 셀링 포인트로 내세우면서도 사용자의 동의 없이 배터리 수명을 위해 SoC 성능을 제한하는 조치를 취한 사실을 소비자들에게 제대로 알리지 않은 전적이 있다.

아무리 다른 용도로 사용하지 않는다고 해도 결국 사용자의 동의 없이 검열을 한다는 사실 자체는 달라지지 않으며 이는 대한민국의 인터넷 검열과도 다를 게 없다. SNI 필드 차단의 경우 우회 방법이라도 있지만 이것은 단순히 폰을 Android로 바꾸는 걸 넘어 아예 처음부터 생태계를 다시 꾸려야 할 수도 있다.

iCloud 사진을 비활성화하면 된다는 방법도 문제가 있다. 애초에 Apple은 뛰어난 연동성을 적극적으로 광고하고 있으며 iCloud 사진은 그 연동성의 심장이자 Apple 생태계의 뿌리인 iCloud의 핵심 서비스 중 하나다. 당장 사진을 많이 보유하고 있는 사람은 고용량의 iPhone을 다시 구매하거나 다른 클라우드 스토리지를 구매하는 등 이중 지출이 강제되며 iPad, Mac 등 다른 Apple 제품들을 보유한 사람이라면 이들을 다른 클라우드로 묶어주고 설정해야 하는 등 큰 불편이 따른다.

이 사태의 반발이 유독 큰 이유는 그동안 Apple이 구축해 오던 프라이버시 보호에 대한 이미지를 정면으로 반박하는 기능이기 때문인 것으로 보인다.[5] 거기다가 서버측 검열이 아닌 기기 자체 검열은 오히려 자신이 소유한 휴대폰마저 믿지 못하게 하는 의심을 낳을 수 있다는 주장이 있다. 검열의 본질은 옹호할 수 없다.

한편 이런 프라이버시 우려와는 별개로 기기 자체에서 사진 분석 과정이 진행된다는 점 때문에 퍼포먼스 저하와 배터리 소모 증가 등을 우려하는 주장도 있다.

4. 결론

심상찮은 여론에 결국 Apple 측에서 2021년 9월 3일(현지 시간) 도입을 연기한다고 발표했으며 # 아동이 주고받는 메시지를 확인하는 일부 기능만 도입했다. #

격렬한 반발이 이어지자 결국 애플도 반발을 이기지 못하고 2022년 12월 7일 잡지사 WIRED를 통해 최종적으로 폐기를 알렸으며 # 오히려 반대로 수사기관과 애플조차 들여다 볼 수 없도록 더욱 강화된 종단간 암호화 기능인 iCloud용 고급 데이터 보호 기능을 iOS 16.3 업데이트에 적용했다.

2023년 9월 1일 Apple은 결국 해당 계획에 중대한 보안 결함이 존재했음을 인정했으며 계획을 포기한 이유에 대해 보다 상세한 설명을 제공했다.

5. 반응

아직까지 대한민국에는 적용이 예고되지 않아서[6] 크게 공론화되진 않은 모양새였지만 자유와 프라이버시에 특히 민감한 서구권, 그 중에서도 제일 먼저 적용되는 미국을 중심으로 거센 반발이 일었다.

이미 Apple의 캐치프레이즈인 개인 정보 보호 문구를 조롱하는 트윗이 올라왔다.

이 기술의 도입을 막아 달라는 청원이 올라오기도 했다.

6. 참고 자료

자세한 기술 설명 (영어)

Apple 소프트웨어 엔지니어링 수석부사장 크레이그 페더리기와의 인터뷰 (영어)

간단하게 요약한 영상 (한국어)

[1] Child Sexual Abuse Material, 아동 성착취물의 약자다. 아래부터는 'CSAM'만 기재한다. [2] 가령 사이즈만 다르다거나, 압축 방식만 다른 경우 [3] 미국 나이 기준 [4] 대한민국에서도 전기통신사업법, n번방 방지법으로 사업자의 의무를 규정하였으며 이에 따라 한국 기업은 물론 한국에서 서비스를 실시하고 있는 외국 기업의 한국 지사에도 미국 법과 대동소이한 의무가 부여되었다. 인터넷 검열감시법 시행 사태 문서 참고. 단, 해당 기능의 한국 도입은 가능성만 있을 뿐 공식적으로 확정된 것은 아니다. [5] Apple은 테러리스트에 대한 정보를 제출하라는 FBI의 요구도 거절하여 소송전까지 간 전적이 있다. [6] 사실 대한민국에서는 n번방 방지법 등의 비슷한 법이 국내 한정이지만 이미 적용 중이다. 다만 이는 인터넷 커뮤니티 등 공개 서비스를 중점으로 적용한다.