레딧 글에서 정신건강 어려움의 배경을 분류한 AI 연구

이 연구는 사람들이 레딧에 쓴 정신건강 관련 경험담을 AI가 어떻게 분류하는지 살펴봤습니다. 연구진의 관심사는 증상 자체를 진단하는 일이 아니라, 글 속에서 드러나는 정신건강 어려움의 ‘근본 원인’ 또는 정서적 주제를 AI가 사람과 비슷하게 해석할 수 있는지였습니다.

연구진은 주석이 달린 레딧 게시물 800개를 사용해 AutoML과 PaLM 2라는 두 AI 모델을 훈련했습니다. 주석은 게시물의 내용을 사람이 정한 분류에 연결해 둔 정보를 뜻합니다. 이후 모델이 학습 때 보지 못한 게시물 50개를 따로 평가했습니다. 이 새 글들은 사람 평가자들의 합의 판단과 비교됐습니다.

PaLM 2는 50개 중 40개에서 사람들의 합의 분류와 일치해 80%의 일치율을 보였습니다. AutoML은 34개에서 일치해 68%였습니다. 사람 판단과 모델 판단이 우연 이상의 수준으로 얼마나 맞는지를 보는 코헨 카파 값은 PaLM 2가 약 0.72, AutoML이 약 0.67이었습니다.

숫자만 보면 PaLM 2가 더 많이 맞힌 것처럼 보입니다. 하지만 연구진이 두 모델의 오류를 직접 비교했을 때, 결과 차이가 통계적으로 유의하다는 결론은 나오지 않았습니다. PaLM 2만 맞고 AutoML이 틀린 경우는 12개, 반대 경우는 6개였지만, 이 정도 차이만으로 한 모델이 다른 모델보다 확실히 낫다고 말하기는 어렵다는 뜻입니다.

질적 분석에서는 두 모델이 글을 처리하는 방식에도 차이가 나타났습니다. 연구진은 PaLM 2가 이야기 전체의 맥락과 감정 정보를 더 폭넓게 반영하는 결과를 내는 경우가 있었다고 설명했습니다. AutoML은 특정 단어나 표현 같은 언어적 특징에 더 크게 의존하는 경향을 보였습니다.

두 모델과 사람 평가자 모두에서 어려웠던 부분도 있었습니다. 일부 분류 범주는 본래 의미가 모호하거나 서로 겹칠 수 있어, 한 글을 하나의 원인으로 나누기 쉽지 않았습니다. 이는 정신건강 경험을 온라인 글만으로 단순한 범주에 넣는 데 한계가 있음을 보여줍니다.

이번 결과는 AI가 실제 사람의 복잡한 서술을 분류하는 연구에 참고가 될 수 있습니다. 그러나 시험에 쓰인 새 게시물은 50개뿐이었고, 레딧 이용자가 누구인지 또는 결과가 다른 온라인 공간과 다른 사람들에게도 적용되는지는 제시되지 않았습니다. 어떤 분류 범주를 사용했는지, 평가자들 사이의 판단 일치도가 어떠했는지도 제공된 자료만으로는 알 수 없습니다.

무엇보다 이 연구는 AI가 정신건강 선별, 우선순위 결정, 진료 접수 과정에 실제로 도움이 되는지 시험한 연구가 아닙니다. 환자 결과를 개선하는지, 잘못된 분류가 어떤 영향을 주는지, 의료 현장에서 안전하고 공정하게 쓸 수 있는지도 확인되지 않았습니다. 그런 가능성을 평가하려면 더 다양한 집단과 더 큰 자료에서 검증하고, 실제 서비스 환경에서 사람의 감독 아래 성과와 안전성을 따로 연구해야 합니다.