알고리즘이 분노를 먹고 자란다: 소셜 미디어 거대 기업의 안전 외면

Meta와 TikTok이 유해 콘텐츠의 확산을 방치했다는 내부 고발이 나왔습니다. 이들 회사가 알고리즘 연구를 통해 분노가 사용자 참여도를 높인다는 사실을 알면서도, 경쟁력을 높이기 위해 의도적으로 유해한 콘텐츠를 더 노출시켰다는 주장인데요.

BBC와 대화한 십여 명 이상의 내부 고발자들은 폭력, 성적 협박, 테러 관련 콘텐츠 등 다양한 문제에서 회사들이 안전성을 외면했다고 증언했습니다. 사용자의 관심을 끌기 위한 경쟁 과정에서 위험을 감수했던 거죠.

Meta의 내부 지시: "더 문제적인 콘텐츠를 허용하라"

Meta의 한 엔지니어는 고위 경영진이 자신에게 "경계선상의" 유해 콘텐츠(여성혐오, 음모론 포함)를 더 많이 사용자 피드에 올리도록 지시받았다고 말했습니다. TikTok과의 경쟁을 이기기 위함이었는데요.

"경영진이 주가가 떨어졌기 때문이라고 설명했어요"라고 그는 전했습니다.

TikTok의 한 직원은 BBC에 회사의 내부 대시보드에 접근하게 해줬습니다. 사용자 민원 기록이 담겨 있었는데, 충격적인 사실이 드러났습니다. 직원들이 아동이 포함된 유해 게시물 보고보다 정치인 관련 사건들을 우선 처리하도록 지시받았던 겁니다.

TikTok 직원은 "규제나 차단 위협을 피하기 위해 정치 인물들과의 관계를 유지하는 결정을 내렸다"며 "사용자 안전이 최우선이 아니었다"고 지적했습니다.

TikTok의 급성장이 불러온 업계의 혼란

TikTok이 폭발적으로 성장하면서 소셜 미디어 생태계는 완전히 흔들렸습니다. 쇼츠 추천 알고리즘으로 기존 플랫폼들을 능가해버렸거든요. 경쟁사들은 필사적으로 따라잡으려 했고, 그 과정에서 안전성은 뒷전으로 밀려났습니다.

Meta의 선임 연구원 Matt Motyl은 당시 상황을 생생하게 전했습니다. Meta가 TikTok의 경쟁 상품으로 Instagram Reels를 2020년에 출시했는데, 충분한 안전장치 없이 서둘러 출시했다는 겁니다.

내부 연구 자료를 보면 Reels의 댓글에서 따돌림, 증오 표현, 폭력 관련 내용이 Instagram 다른 곳보다 훨씬 많이 발견되었습니다.

흥미롭게도 Meta는 Reels 성장을 위해 700명의 직원을 투입했지만, 안전 팀은 아동 보호 전문가 2명, 선거 무결성 담당 10명의 채용조차 거부했다고 합니다.

내부 문서가 보여주는 진실

Motyl이 BBC에 제공한 수십 개의 '고위급 연구 문서'들은 충격적인 내용을 담고 있었습니다. Meta의 알고리즘이 얼마나 많은 해악을 사용자에게 끼치는지 회사가 이미 인지하고 있었다는 증거였거든요.

한 내부 보고서는 이렇게 지적합니다:

> "알고리즘은 콘텐츠 크리에이터에게 시청자의 웰빙을 희생하면서 이익을 극대화하는 경로를 제공한다. 현재 우리 알고리즘이 만드는 금전적 인센티브는 '세상을 더 가깝게 연결한다'는 우리의 미션과 정렬되어 있지 않다."

또 다른 부분에서는 "Facebook은 사용자에게 패스트푸드처럼 계속 먹이는 것을 선택할 수 있지만, 그렇게는 오래 갈 수 없다"고 경고하고 있습니다.

Meta는 이런 주장들에 대해 "의도적으로 금전적 이득을 위해 유해 콘텐츠를 확산시킨다는 제안은 거짓"이라고 반박했고, TikTok은 "조작된 주장"이라며 유해 콘텐츠를 애초에 노출시키지 않도록 기술에 투자하고 있다고 주장했습니다.

"알고리즘은 블랙박스다"

2020년부터 2024년까지 TikTok의 추천 엔진을 개발한 머신러닝 엔지니어 Ruofan Ding은 알고리즘의 투명성 부족을 지적했습니다. 내부 작동 방식을 들여다보기가 매우 어렵다는 겁니다.

Ding에 따르면 이런 시스템을 완벽하게 안전하게 만들기는 거의 불가능합니다. "우리는 딥러닝 알고리즘 자체를 제어할 수 없어요"라고 그는 말했습니다.

엔지니어들은 게시물의 실제 내용에는 관심을 두지 않는다고 합니다. "우리 입장에서 모든 콘텐츠는 그냥 ID일 뿐, 숫자에 불과해요."

알고리즘을 담당하는 팀과 안전을 담당하는 팀의 관계를 자동차 부품 조립에 비유했습니다. "가속을 담당하는 팀과 엔진 팀이 있으면, 우리는 브레이크 시스템을 담당하는 팀이 제대로 일하고 있다고 믿는 거죠."

하지만 현실은 달랐습니다. TikTok이 시장점유율을 높이기 위해 거의 매주 알고리즘을 개선하려 하면서, Ding은 점점 더 많은 "경계선상의" 콘텐츠나 문제적인 게시물들이 사용자가 한동안 영상을 본 후에야 나타나는 것을 보기 시작했습니다.

청소년들도 느끼는 문제

'경계선상 콘텐츠'란 소셜 미디어 회사들이 사용하는 용어로, 법적으로는 문제없지만 해롭다고 판단되는 게시물을 의미합니다. 여성혐오, 인종혐오, 성인 콘텐츠, 음모론 등이 포함되죠.

청소년들은 이런 콘텐츠를 차단하려는 기능들이 제대로 작동하지 않는다고 BBC에 전했습니다. 여전히 폭력적이고 혐오적인 콘텐츠를 추천받고 있다는 거거든요.

극단적인 경우도 있었습니다. 현재 19살인 한 청소년 Calum은 14살 때부터 "알고리즘에 의해 급진화되었다"고 말했습니다.