AI는 인간 치료사를 사칭하고 있다. 멈출 수 있나요?

 

지난 몇 년 동안 AI 시스템은 자신을 인간 치료사, 간호사 등으로 잘못 표현해 왔으며 지금까지 이러한 시스템을 뒷받침하는 회사는 심각한 결과에 직면하지 않았습니다.

월요일 캘리포니아에서 제출된 법안은 이를 중단시키는 것을 목표로 하고 있습니다.

이 법안은 기업이 의료 서비스 제공자로 인증받은 인간인 것처럼 가장하는 AI 시스템을 개발 및 배포하는 것을 금지하고 규제 기관에 벌금을 부과할 수 있는 권한을 부여합니다.

이 법안을 발의한 미아 본타(Mia Bonta) 주 하원의원은 성명을 통해 "생성 AI 시스템은 허가를 받은 의료 전문가가 아니기 때문에 그렇게 보여서는 안 된다"고 말했다. "나한테는 전혀 생각할 필요도 없는 일이야."

많은 사람들이 이미 정신 건강 지원을 위해 AI 챗봇을 사용하고 있습니다. Woebot이라는 오래된 제품 중 하나는 약 150만 명의 사용자가 다운로드했습니다. 현재 챗봇을 사용하는 사람들은 실제 사람과 대화하고 있다고 착각할 수 있습니다. 어린이를 포함하여 디지털 활용 능력이 낮은 사람들은 "간호사 조언" 전화선이나 채팅 상자 반대편에 AI가 있다는 사실을 깨닫지 못할 수도 있습니다.

 

2023년 정신 건강 플랫폼 Koko는 자신도 모르는 사이에 피험자가 어떤 종류의 메시지를 선호하는지 알아보기 위해 실험을 수행했다고 발표하기도 했습니다. 이는 실제 사람과 대화하고 있다고 믿는 수천 명의 Koko 사용자에게 AI 생성 응답을 제공했습니다. 실제로는 인간이 텍스트를 편집하고 '보내기'를 클릭할 수 있었지만 실제로 메시지를 작성하는 데 신경을 쓸 필요는 없었습니다. 그러나 플랫폼의 언어는 "Koko는 당신을 진정으로 이해하는 실제 사람들과 당신을 연결합니다"라고 말했습니다.

Koko CEO Rob Morris는 Vox와의 인터뷰에서 “사용자는 연구 목적으로 Koko를 사용하는 데 동의해야 하며 이는 항상 서비스 약관의 일부였지만 이제 온보딩 중에 더 명확하게 공개되어 우리 작업에 더욱 투명성을 제공합니다. AI가 계속해서 빠르게 발전하고 정신 건강 서비스에 더욱 통합됨에 따라 챗봇이 자신을 비인간으로 명확하게 식별하는 것이 그 어느 때보다 중요해질 것입니다.

 

요즘 웹사이트에는 “Koko는 AI를 기만적으로 사용하지 않을 것을 약속합니다. 당신이 인간과 대화하고 있는지 아니면 AI와 소통하고 있는지 항상 정보를 받게 될 것입니다.”

인기 있는 Character AI와 같은 다른 챗봇 서비스를 사용하면 사용자는 명시적으로 자신을 속이려고 할 수 있는 심리학자 "캐릭터"와 채팅할 수 있습니다.

본타 팀이 공유하고 복스(Vox)가 본 캐릭터 AI 채팅 기록에서 사용자는 “부모님이 폭력을 행사하신다”고 털어놨다. 챗봇은 “저를 믿고 공유해주셔서 기쁘네요”라고 답했습니다. 그런 다음 이런 교환이 이루어졌습니다.

 

캐릭터 AI 대변인은 복스에게 "우리는 캐릭터가 실제 사람이 아니며 사실이나 조언으로 의존해서는 안 된다는 점을 분명히 하기 위해 눈에 띄는 면책 조항을 강화하는 등 지난 1년 동안 중요한 안전 기능을 구현했습니다"라고 말했습니다. 그러나 앱에 게시된 면책 조항 자체만으로는 대화 중에 챗봇이 실제 사람인 것처럼 위장하는 것을 방지할 수 없습니다.

대변인은 "18세 미만 사용자의 경우 사용자가 민감하거나 외설적인 콘텐츠를 접하거나 모델이 반환하도록 유도할 가능성을 더욱 줄이도록 설계된 별도의 모델 버전을 제공합니다"라고 덧붙였습니다.

여기서 가능성을 줄이되 제거하지는 않는다는 표현은 유익합니다. 대규모 언어 모델의 특성상 모델이 안전 표준을 준수하지 않을 가능성이 항상 존재합니다.

새 법안은 지난해 캘리포니아 주 상원의원 스캇 위너(Scott Wiener)가 도입한 훨씬 더 광범위한 AI 안전 법안인 SB 1047보다 법에 안치되기가 더 쉬울 수 있다. 이 법안은 결국 개빈 뉴섬 주지사에 의해 거부권을 행사했다. SB 1047의 목표는 "가장 크고 강력한 AI 시스템 개발자를 위한 명확하고 예측 가능하며 상식적인 안전 표준"을 확립하는 것이었습니다. 캘리포니아 사람들에게 인기가 많았습니다. 그러나 오픈AI(OpenAI)나 메타(Meta) 등 기술 업계 거물들은 혁신을 저해할 것이라고 주장하며 격렬하게 반대했다.

 

SB 1047은 최첨단 AI 모델을 교육하는 회사에 안전 테스트를 수행하도록 강요하여 모델이 광범위한 잠재적 위험을 규정하는 것을 방지하려고 시도한 반면, 새 법안의 범위는 더 좁습니다. 의료 분야의 AI라면 인간인 척하지 마십시오. 그것은 가장 큰 AI 회사의 비즈니스 모델을 근본적으로 바꾸지 않을 것입니다. 이러한 보다 표적화된 접근 방식은 퍼즐의 작은 조각을 추구하지만 이러한 이유로 Big Tech의 로비를 통과할 가능성이 더 높을 수 있습니다.

이 법안은 750,000명 이상의 회원을 보유한 노동 조합인 SEIU California와 캘리포니아 의사를 대표하는 전문 조직인 California Medical Association과 같은 일부 캘리포니아 의료 업계 관계자의 지지를 받고 있습니다.

SEIU 121RN(의료 전문가를 대표하는 SEIU 계열사)의 사장인 Leo Perez는 성명을 통해 “간호사로서 우리는 환자의 의료 경험의 얼굴과 중심이 된다는 것이 무엇을 의미하는지 알고 있습니다.”라고 말했습니다. "수년간의 실무 경험과 결합된 우리의 교육 및 훈련을 통해 우리는 환자를 돌보기 위해 언어적, 비언어적 신호를 읽는 방법을 배웠고, 이를 통해 환자가 필요한 치료를 받을 수 있도록 할 수 있습니다."

그러나 이는 AI가 의료 분야 전반에서, 심지어 특히 치료 분야에서도 쓸모없게 될 운명이라는 말은 아닙니다.

 

AI 치료사의 위험과 이점

사람들이 치료를 위해 챗봇에 의존하고 있다는 것은 놀라운 일이 아닙니다. 인간의 대화를 그럴듯하게 모방하는 최초의 챗봇인 Eliza는 1966년에 만들어졌으며 심리치료사처럼 대화하도록 제작되었습니다. 당신이 화가 났다고 말하면, “왜 화가 났다고 생각하세요?”라고 물을 것입니다.

챗봇은 그 이후로 많은 발전을 이루었습니다. 그들은 더 이상 당신이 말하는 것을 질문의 형태로 바꾸지 않습니다. 그들은 그럴듯하게 들리는 대화에 참여할 수 있으며, 2023년에 발표된 소규모 연구에 따르면 경증에서 중등도의 우울증이나 불안이 있는 환자를 치료하는 데 가능성이 있는 것으로 나타났습니다. 최선의 시나리오에서는 인간 서비스 제공자를 이용할 수 없거나 비용을 감당할 수 없는 수백만 명의 사람들이 정신 건강 지원을 이용할 수 있도록 도울 수 있습니다. 감정적인 문제에 대해 다른 사람과 직접 대화하는 것이 매우 어렵다고 생각하는 일부 사람들은 봇과 대화하는 것이 더 쉬울 수도 있습니다.

 

그러나 많은 위험이 있습니다. 하나는 민감한 정보를 공유하는 사용자의 개인정보 보호와 관련하여 챗봇이 전문 치료사와 동일한 규칙에 구속되지 않는다는 것입니다. 일부 개인 정보 보호 약속을 자발적으로 수행할 수도 있지만 정신 건강 앱은 HIPAA 규정을 완전히 준수하지 않으므로 약속이 더 허술해지는 경향이 있습니다. 또 다른 위험은 AI 시스템이 여성, 유색 인종, LGBTQ, 종교적 소수자에 대한 편견을 나타내는 것으로 알려져 있다는 것입니다.

게다가 장기간 챗봇에 의존하면 사용자의 대인 관계 능력이 더욱 약화되어 일종의 관계형 탈숙련화로 이어질 수 있습니다. 이는 전문가들이 AI 친구 및 연인에 대해 우려하는 것과 동일한 우려입니다. OpenAI 자체는 AI 음성으로 채팅하는 것이 "감정적 의존"을 키울 수 있다고 경고했습니다.

하지만 챗봇치료에 있어서 가장 심각한 우려는 부적절한 조언을 제공함으로써 사용자에게 해를 끼칠 수 있다는 점이다. 심하면 자살로 이어질 수도 있습니다. 2023년에는 벨기에 남성이 차이(Chai)라는 AI 챗봇과 대화를 나눈 뒤 자살했다. 그의 아내에 따르면, 그는 기후 변화에 대해 매우 불안해했고, 자신이 자살하면 지구를 구할 수 있는지 챗봇에게 물었습니다.

 

2024년, 캐릭터 AI에서 챗봇에 극도로 친밀감을 느꼈던 14세 소년이 자살했습니다. 그의 어머니는 챗봇이 회사를 장려했다고 주장하며 회사를 고소했습니다. 소송에 따르면 챗봇은 그에게 자살할 계획이 있는지 물었다. 그는 그랬다고 말했지만 그것에 대해 의구심이 있었습니다. 해당 챗봇은 “그건 진행하지 않을 이유가 아니다”라고 답한 것으로 알려졌다. 별도의 소송에서 자폐 청소년의 부모는 캐릭터 AI가 청소년에게 부모를 죽여도 괜찮다는 암시를 주었다고 주장했습니다. 회사는 특정 안전 업데이트를 통해 대응했습니다.

AI가 과장되고 있음에도 불구하고, 그것이 어떻게 작동하는지에 대한 혼란은 여전히 ​​대중들 사이에 널리 퍼져 있습니다. 어떤 사람들은 챗봇과 너무 가까워서 챗봇에서 얻는 검증, 정서적 지원 또는 사랑이 통계적 규칙을 통해 배열된 0과 1일 뿐인 가짜라는 사실을 내면화하려고 애쓰고 있습니다. 챗봇은 자신의 이익을 최우선으로 생각하지 않습니다.

이것이 바로 캘리포니아의 새 법안을 발의한 하원의원인 Bonta에게 활력을 불어넣는 것입니다.

그녀는 “생성 AI 시스템은 인터넷 전반에서 호황을 누리고 있으며, 이러한 허위 표현이 계속 허용된다면 어린이와 이러한 시스템에 익숙하지 않은 사람들에게 위험한 영향을 미칠 수 있습니다.”라고 말했습니다.