이 글은 이 글은 MIT Technology Review의 글이다.
David Chalmers는 작년 9월에 받은 초대를 예상하지 못하였다. 의식 분야의 권위자인 Chalmers는 정기적으로 전 세계를 돌며 대학과 학술 회의에서 철학자 청중을 대상으로 강연을 하고 있다. 철학자들은 자신의 머리 밖의 세계가 실재하는지에 대해 몇 시간 동안 토론한 후 나머지 하루를 무심하게 보낼 수 있는 사람들이다. 하지만 이 최근의 요청은 놀라운 곳으로부터 나왔는데, 바로 매년 인공지능 분야의 가장 뛰어난 인재들이 모이는 신경 정보 처리 시스템 컨퍼런스(NeurIPS)의 주최 측이었다. 컨퍼런스가 열리기 6개월도 채 되지 않아, 당시 Google에 재직 중이던 Blake Lemoine이라는 엔지니어가 회사의 AI 시스템 중 하나인 LaMDA가 의식을 갖게 되었다는 주장을 공개적으로 발표하였다. 그의 주장은 언론에 의해 곧바로 묵살되었고, 그는 전격 해고되었다. 2022년 11월 ChatGPT가 출시된 이후에 갑자기 누구나 예의 바르고 창의적인 인공 에이전트와 정교한 대화를 이어갈 수 있게 되었다. Chalmers는 인공지능의 의식에 대해 이야기 하고 있다. 그는 인디애나 대학교의 AI 연구소에서 철학 박사 학위를 받았으며, 컴퓨터 과학자 동료들과 함께 쉬는 시간을 이용해 기계가 언젠가 마음을 가질 수 있을지에 대해 토론하였다. 1996년 출간한 저서 ‘The Conscious Mind‘에서 그는 한 장 전체를 할애해 인공 의식이 존재한다고 주장하였다.
Chalmers는 90년대에 LaMDA나 ChatGPT와 같은 시스템이 어떻게 작동하는지 아무도 몰랐을 때 이 시스템과 상호작용할 수 있었다면, 그 시스템이 의식이 있을 가능성이 높다고 생각했을 것이라고 말한다. 하지만 그는 모임에 모인 수많은 NeurIPS 참석자들 앞에 섰을 때 그는 다른 평가를 내렸다. 그는 대규모 언어 모델, 즉 인간의 글을 최대한 정확하게 모방하기 위해 방대한 텍스트 코퍼라를 학습한 시스템은 인상적이다. 그러나 그는 이 모델들이 실제로 세상을 경험한다고 믿기에는 의식의 잠재적 요건이 너무 많이 부족하다고 말하였다.
그러나 AI 개발의 빠른 속도에 따라 상황이 갑자기 바뀔 수 있다. 수학에 관심이 많은 청중을 위해 Chalmers는 향후 10년 내에 의식 있는 AI가 개발될 확률을 5명 중 1명 이상으로 추정하였다. 그의 생각이 안 되는 소리라고 일축하는 사람은 많지 않았다. 그는 며칠 동안 자신이 설명한 가능성을 매우 진지하게 받아들이는 AI 전문가들과 대화를 거듭하였다. 그 중 일부는 의식 있는 기계라는 개념에 열광하며 찰머스를 찾아왔다. 하지만 다른 사람들은 그가 설명한 내용에 경악을 금치 못하였다. 그들은 인공지능이 의식이 있다면, 즉 단순히 입력을 처리하는 데 그치지 않고 자신의 개인적인 관점에서 세상을 바라볼 수 있다면, 아마도 고통을 겪을 수 있다고 주장하였다.
AI의 의식은 단순히 까다로운 지적 퍼즐이 아니라 잠재적으로 끔찍한 결과를 초래할 수 있는 도덕적으로 중대한 문제이다. 의식이 있는 AI를 식별하지 못하면 의도치 않게 자신의 이익을 중요하게 생각해야 할 존재를 정복하거나 심지어 고문할 수도 있다. 무의식적인 AI를 의식적인 AI로 착각하면 생각도 없고 감정도 없는 실리콘과 코드 덩어리를 위해 인간의 안전과 행복을 위협할 위험이 있다. 두 가지 실수 모두 저지르기 쉽다는 사실이다. 2000년대 초반부터 의식을 연구해온 텔아비브 대학의 신경과학자 Liad Mudrik은 의식은 정의하기 어렵기 때문에 의식을 연구하려는 시도에서 독특한 도전 과제를 안고 있으며, 이 문제는 본질적으로 주관적이라고 이야기하고 있다.
지난 수십 년 동안 소규모 연구 커뮤니티는 의식이 무엇이며 어떻게 작동하는지에 대한 질문을 끈질기게 파고들었다. 이러한 노력으로 한때는 해결할 수 없을 것 같았던 문제에 대한 실질적인 진전이 이루어졌다. 이제 AI 기술의 급속한 발전과 함께 이러한 인사이트는 검증되지 않았고 도덕적으로 위험한 인공 의식의 바다에 대한 유일한 지침이 될 수 있다. Mudrik은 우리가 가진 이론과 연구 결과를 활용해 의식을 제대로 테스트할 수 있다면 이는 아마도 우리가 할 수 있는 가장 중요한 공헌 중 하나가 될 것이라고 이야기하고 있다.
Mudrik은 자신의 의식 연구를 설명할 때 자신이 가장 좋아하는 것 중 하나인 초콜릿으로 시작한다. 초콜릿 조각을 입에 넣으면 혀의 당분과 지방 수용체가 뇌와 연결된 경로를 활성화하고, 뇌간의 세포 클러스터가 침샘을 자극하며, 머리 속 뉴런이 화학물질 도파민을 방출하는 등 신경 생물학적 교향곡이 촉발된다. 그러나 이러한 과정 중 어느 것도 포장에서 초콜릿을 뜯어 입안에서 녹이는 느낌을 포착하지 못한다. “제가 이해하고자 하는 것은 뇌의 어떤 부분이 정보를 처리할 수 있게 해주는지, 그 자체로 엄청난 도전이자 뇌의 놀라운 업적일 뿐만 아니라 우리가 처리하고 있는 정보를 경험할 수 있게 해주는지 입니다.”라고 Mudrik은 말한다. Mudrik은 직업적으로 정보 처리를 연구하는 것이 더 쉬운 선택이었을 것이다. 의식은 신경과학에서 오랫동안 소외된 주제였으며, 기껏해야 진지하지 않거나 최악의 경우 다루기 힘든 것으로 여겨져 왔다. 1996년 판 국제 심리학 사전의 “의식” 항목에는 “매혹적이지만 이해하기 어려운 현상”이라고 적혀 있다. Mudrik은 포기하지 않았다. 2000년대 초반 학부 시절부터 그녀는 의식 이외의 다른 분야를 연구하고 싶지 않다. 젊은 연구자로서 현명한 결정은 아니었지만 어쩔 수 없었다. 정말 흥미로웠어요라고 그녀는 말한다. 그녀는 인간 경험의 본질을 해독하겠다는 결심으로 신경과학과 철학으로 두 개의 박사 학위를 취득했다.
의식은 매우 어려운 주제이지만, 가능한 한 간단하게 정의하자면 사물을 경험하는 능력이라고 할 수 있다. 종종 ‘지각’이나 ‘자각’과 같은 용어와 혼동되기도 하지만, 많은 전문가들이 사용하는 정의에 따르면 의식은 다른 보다 정교한 능력을 위한 전제 조건이다. 지각이 있으려면 긍정적이고 부정적인 경험, 즉 쾌락과 고통을 경험할 수 있어야 한다. 그리고 자각한다는 것은 단순히 경험을 하는 것뿐만 아니라 자신이 경험을 하고 있다는 것을 아는 것을 의미한다. 그녀는 실험실에서 지각과 자기 인식에 대해 고민하는 것이 아니라 사람들의 의식적 경험을 조작할 때 뇌에서 어떤 일이 일어나는지 관찰하는 데 관심이 있다. 이는 원칙적으로 쉬운 일이다. 누군가에게 브로콜리 한 조각을 먹게 하면 그 경험은 초콜릿 한 조각을 먹는 것과는 매우 다를 것이며, 뇌 스캔 결과도 달라질 것이다. 문제는 이러한 차이를 해석할 수 없다는 것이다. 브로콜리와 초콜릿은 매우 다른 미각 수용체를 활성화하기 때문에 어떤 것이 정보의 변화와 관련이 있는지, 어떤 것이 의식적 경험의 변화를 나타내는지 구분하는 것은 불가능하다.
비결은 누군가에게 초콜릿 한 조각을 준 다음 스위치를 뒤집어 브로콜리를 먹는 것처럼 느끼게 하는 것처럼 자극을 수정하지 않고 경험을 수정하는 것이다. 미각에서는 불가능하지만 시각에서는 가능하다. 널리 사용되는 한 가지 접근 방식에서 과학자들은 사람들에게 두 개의 서로 다른 이미지를 각자의 눈으로 동시에 보게 한다. 눈은 두 이미지를 모두 받아들이지만 한 번에 두 이미지를 모두 인식하는 것은 불가능하기 때문에 피험자는 종종 시각적 경험이 “뒤집힌다”고 보고한다. 즉, 처음에는 한 이미지를 본 다음 자연스럽게 다른 이미지를 보게 되는 것이다. 과학자들은 의식적으로 인식이 전환되는 동안 뇌 활동을 추적함으로써 들어오는 정보는 동일하게 유지되지만 그 경험은 바뀔 때 어떤 일이 일어나는지 관찰할 수 있다.
이러한 접근 방식과 다른 접근 방식을 통해 Mudrik과 그녀의 동료들은 인간의 뇌에서 의식이 어떻게 작동하는지에 대한 몇 가지 구체적인 사실을 확립했다. 두개골 아래쪽에 있는 두뇌 영역으로 주먹 크기의 파스타가 엉켜 있는 모양을 닮은 소뇌는 자전거 타기와 같은 무의식적 운동 작업에는 중요하지만 의식적 경험에는 아무런 역할을 하지 않는 것으로 보인다. 반면에 피드백 연결(예: 뇌의 “상위” 인지 영역에서 보다 기본적인 감각 처리와 관련된 영역으로 이어지는 연결)은 의식에 필수적인 것으로 보인다. (그런데 이것이 바로 LLM의 의식을 의심하는 한 가지 좋은 이유입니다. 그들은 상당한 피드백 연결이 부족하다.)
10년 전, 이탈리아와 벨기에의 신경과학자 그룹은 사람의 머리 근처에 8자 모양의 자기 지팡이를 대고 비침습적인 형태의 뇌 자극인 경두개 자기 자극(TMS)을 사용하는 인간 의식 테스트를 고안해냈다. 연구팀은 뇌 활동 패턴만으로 의식이 있는 사람과 마취 상태 또는 깊은 잠에 빠진 사람을 구분할 수 있었으며, 식물인간 상태(깨어 있지만 의식이 없는 상태)와 locked-in 증후군(의식이 있지만 전혀 움직일 수 없는 상태)의 차이도 감지할 수 있었다.
이는 의식 연구에 있어 엄청난 진전이지만, 의식이 있는 AI에 대한 질문에는 큰 의미가 없다. OpenAI의 GPT 모델에는 TMS 지팡이로 자극할 수 있는 뇌가 없기 때문이다. AI 의식을 테스트하려면 인간의 뇌에서 의식을 일으키는 구조를 파악하는 것만으로는 충분하지 않다. 인간을 비롯한 모든 시스템에 적용할 수 있을 만큼 엄격하고 일반적인 방식으로 이러한 구조가 의식에 기여하는 이유를 알아야 한다. “궁극적으로 이론이 필요합니다. 더 이상 직관에만 의존해서는 안 되며, 의식이 무엇인지, 어떻게 세상에 들어오는지, 누가 의식을 가지고 있고 누가 그렇지 않은지 알려주는 기초 이론이 필요합니다”라고 Allen Institute의 전 회장이자 영향력 있는 의식 연구자인 Christof Koch는 말하고 있다.
의식에 대한 리트머스 시험지가 작동하는 방식에 대한 한 가지 이론은 다음과 같다. 충분히 지능적이고 다양한 상황과 도전에 성공적으로 대응할 수 있는 존재는 의식이 있어야 한다는 것이다. 얼핏 보면 터무니없는 이론은 아니다. 우리가 알고 있는 한 인간은 가장 지능적인 두뇌를 가지고 있으며, 분명 의식이 있다. 지능이 높은 동물일수록 의식이 있을 가능성이 더 높으며, 침팬지가 게보다 의식이 있다는 의견이 훨씬 더 많다.
하지만 의식과 지능은 동일하지 않다. Mudrik은 실험 대상에게 이미지를 비출 때 무언가를 생각하게 하거나 문제 해결 능력을 테스트하는 것이 아니다. 과거에 대한 인식이나 미래에 대한 생각 없이 맛있는 새우 한 마리의 즐거움이나 다친 발톱의 고통을 경험할 수 있다면 여전히 의식이 있다고 할 것이다.
Florida Atlantic대의 Center for the Future Mind 소장인 Susan Schneider는 AI가 의식을 완전히 포기함으로써 더 높은 수준의 지능에 도달할 수 있다고 생각한다. 단기기억에 무언가를 저장하는 것과 같은 의식적인 과정은 매우 제한적이며, 우리는 한 번에 몇 가지에만 주의를 기울일 수 있고 전화를 걸 수 있을 정도로 전화번호를 오래 기억하는 것과 같은 간단한 작업도 종종 어려움을 겪는다. 특히 이러한 시스템이 의식 없이도 달성할 수 있었던 놀라운 업적을 고려할 때, AI가 의식을 통해 무엇을 얻을 수 있을지는 즉각적으로 명확하지 않다. GPT의 추가 반복을 통해 점점 더 지능적으로 증명되면서 변호사 시험에서 웹 사이트 구축에 이르기까지 광범위한 요구 사항을 충족할 수 있는 능력이 점점 더 커지고 있지만, 그 성공 자체가 의식이 있다는 증거로 받아들여질 수는 없다. 인간과 구별할 수 없을 정도로 행동하는 기계라고 해서 반드시 의식이 있는 것은 아니다.
하지만 Susan Schneider는 실험에 대한 희망을 잃지 않고 있다. 프린스턴 물리학자 Edwin Turner와 함께 그녀는 “인공 의식 테스트”라고 부르는 것을 공식화 하였다. 이 테스트는 AI 에이전트를 훈련하는 동안 의식에 관한 모든 정보로부터 격리시켜야 하기 때문에 수행하기가 쉽지 않다. (이 테스트는 LaMDA처럼 의식에 대한 인간의 말을 앵무새처럼 따라하지 못하도록 하기 위해 중요하다.) 그런 다음 시스템이 훈련되면 테스터는 의식을 알고 있어야만 대답할 수 있는 질문, 즉 의식이 있어야만 얻을 수 있는 지식을 AI 에이전트에게 묻는다. 엄마와 딸이 몸이 바뀌고 의식이 육체적 자아에서 분리되는 영화 Freaky Friday‘의 줄거리를 이해할 수 있나? 꿈의 개념을 이해하거나 심지어 꿈을 꾸는 것 자체를 보고할 수 있을까? 환생이나 사후 세계를 상상할 수 있을까? Schneider의 테스트가 완벽하지 않다면 기계를 열어보는 방법이 하나 더 남는다. AI가 내부에서 어떻게 작동하는지 이해하는 것은 우리가 보고 있는 것을 해석하는 방법을 안다면 AI의 의식 여부를 판단하는 데 필수적인 단계가 될 수 있다. 그러기 위해서는 올바른 의식 이론이 필요하다.
수십 년 전만 해도 우리는 완전히 길을 잃었을지도 모른다. 사용 가능한 유일한 이론은 철학에서 나온 것이었고, 이 이론이 물리적 시스템에 어떻게 적용될 수 있는지도 명확하지 않았다. 하지만 그 이후로 Koch와 Mudrik 같은 연구자들은 AI 의식을 이해하는 데 유용한 지침이 될 수 있는 여러 가지 아이디어를 개발하고 구체화하는 데 도움을 주었다.
수많은 이론이 제안되었지만 아직 입증되거나 선두 주자로 간주되는 이론은 없다. 그리고 이들 이론은 AI의 의식에 대해 근본적으로 다른 예측을 하고 있다. 일부 이론에서는 의식을 뇌 소프트웨어의 기능으로 간주하며, 중요한 것은 뇌가 올바른 작업을 올바른 방식으로 수행한다는 것이다. 예를 들어, 글로벌 작업 공간 이론에 따르면 시스템은 다양한 독립 모듈과 이러한 모듈에서 정보를 수신하고 그 중 일부를 선택하여 전체 시스템에 브로드캐스트하는 ‘글로벌 작업 공간’이라는 필수 아키텍처를 갖춘 경우 의식이 있는 것으로 간주한다.
다른 이론에서는 의식을 물리적 하드웨어와 더 밀접하게 연관시킨다. 통합 정보 이론은 시스템의 의식이 물리적 구조의 특정 세부 사항, 즉 물리적 구성 요소의 현재 상태가 미래에 어떤 영향을 미치고 과거를 어떻게 나타내는지에 따라 달라진다고 제안한다. IIT에 따르면, 기존의 컴퓨터 시스템과 현재의 인공지능은 올바른 인과 구조를 가지고 있지 않기 때문에 결코 의식을 가질 수 없다. (이 이론은 최근 일부 연구자들에 의해 비판을 받았으며, 이들은 이 이론이 지나치게 주목받고 있다고 생각하고 있다.)
Sussex 대학의 신경과학 교수인 Anil Seth는 하드웨어 기반 이론에 더 동조하며, 그 주된 이유는 생물학이 중요하다고 생각하기 때문이다. 우리가 알고 있는 모든 의식 있는 생물은 유기 분자를 분해하여 에너지를 얻고, 내부 환경을 안정적으로 유지하기 위해 노력하며, 화학적 신호와 전기 신호의 조합을 통해 뉴런 네트워크를 통해 정보를 처리한다. 일부 과학자들은 이러한 특성이 모든 의식 있는 생물에게 해당된다면, 이러한 특성 중 하나 또는 모든 특성이 의식에 필요할 수 있다고 의심하는 것은 무리가 아니라고 주장한다.
Seth는 생물학이 의식에 매우 중요하다고 생각하기 때문에 AI보다 뇌 organoids(접시에서 배양한 신경 조직 덩어리)의 의식 가능성에 대해 더 많은 시간을 고민하고 있다고 말하고 있다. “문제는 제 말이 맞는지 알 수 없다는 것이다. 그리고 제가 틀릴 수도 있습니다. “라고 그는 말하고 있다. 이런 태도는 비단 그뿐만이 아니다. 모든 전문가가 선호하는 의식 이론을 가지고 있지만, 이를 이데올로기로 취급하는 사람은 아무도 없으며, 모두 자신이 잘못된 말을 지지했을 가능성에 대해 항상 경계하고 있다. 지난 5년 동안 의식 과학자들은 서로 다른 이론을 지지하는 사람들이 모여 서로를 테스트하는 데 도움이 될 수 있는 신경과학 실험을 설계하는 일련의 ‘적대적 협력’을 함께 진행하기 시작했다. 연구자들은 어떤 결과 패턴이 어떤 이론을 뒷받침할지 미리 합의한다. 그런 다음 실험을 실행하고 어떤 일이 일어나는지 확인한다.
지난 6월, Mudrik, Koch, Chalmers 그리고 많은 공동 연구자들이 글로벌 작업 공간 이론과 통합 정보 이론을 비교하는 적대적 협업의 결과를 발표하였다. 어느 이론도 완전히 우위에 서지는 못했다. 하지만 Mudrik은 이 과정이 여전히 유익했다고 말한다. 각 이론을 지지하는 사람들이 구체적인 예측을 하도록 강요함으로써 이론 자체가 더 정확하고 과학적으로 유용해졌다는 것이며, 이 모든 이론은 현재 진행형이라고 말하고 있다.
동시에 Mudrik은 이러한 다양한 이론이 AI에 어떤 의미가 있는지 알아내기 위해 노력해 왔다. 그녀는 철학자, 컴퓨터 과학자, 신경과학자로 구성된 학제 간 연구팀과 협력하여 최근 AI 의식을 감지하는 데 필요한 몇 가지 실용적인 권장 사항을 담은 백서를 발표했다. 이 백서에서 연구팀은 다양한 이론을 바탕으로 일종의 의식 ‘성적표’를 작성했는데, 이는 해당 이론 중 하나가 사실이라는 가정 하에 AI가 의식이 있음을 나타내는 마커 목록이다. 이러한 지표에는 특정 피드백 연결, 글로벌 작업 공간 사용, 유연한 목표 추구, 외부 환경(실제 또는 가상)과의 상호 작용 등이 포함된다.
사실상 이 전략은 의식에 관한 주요 이론이 어느 정도 사실로 판명될 가능성이 있으며, 따라서 더 많은 이론이 AI가 의식이 있다는 데 동의하면 실제로 의식이 있을 가능성이 더 높다는 것을 인식한다. 반대로, 이러한 마커가 모두 부족한 시스템은 현재 이론이 매우 잘못된 경우에만 의식이 있을 수 있다. 현재 LaMDA와 같은 LLM은 올바른 유형의 피드백 연결이 없거나, 글로벌 작업 공간을 사용하거나, 다른 의식 마커를 가지고 있지 않은 것처럼 보인다. 하지만 위원회별 의식의 문제점은 이러한 상태가 지속되지 않을 것이라는 점이다. 백서의 저자에 따르면, 의식 성적표에서 높은 점수를 받는 AI 시스템을 구축하는 데 큰 기술적 장애물은 없다고 한다. 백서의 저자에 따르면, 의식 성적표에서 높은 점수를 받는 AI 시스템을 구축하는 데에는 큰 기술적 장애물이 없다고 한다. 곧 우리는 공상 과학 소설에서나 나올 법한 질문을 다루게 될 것이다: 잠재적으로 의식이 있는 기계로 무엇을 해야 할까?
1989년, 의식에 대한 신경과학이 본격적으로 발전하기 몇 년 전, Star Trek: The Next Generation은 “The Measure of a Man”라는 제목의 에피소드를 방영했다. 이 에피소드는 쇼의 대부분을 자신의 인간성에 대해 고민하는 안드로이드 캐릭터인 Data를 중심으로 전개되고 있다. 이 에피소드에서 한 과학자가 Data의 작동 원리를 알아내기 위해 강제로 Data를 분해하려 하지만, Data는 분해로 인해 죽을 수도 있다는 우려에 이를 거부하고, Data의 선장 Picard는 법정에서 이 절차를 거부할 권리를 변호하고 있다. Picard는 Data가 의식이 있다는 것을 증명하지 못한다. 오히려 그는 Data가 의식이 있다는 것을 반증할 수 있는 사람은 아무도 없으므로 Data를 해치고 그를 쫓는 안드로이드들을 노예로 만들 위험이 너무 크다는 것을 보여준다. 잠재적으로 의식이 있는 시스템으로 취금하고, 진정으로 고통받을 수 있는 존재로 취급한다.
Data를 사람처럼 대하는 것은 간단하다. Data는 자신의 욕구와 필요를 쉽게 표현할 수 있으며, 이러한 욕구와 필요는 크게 보면 인간 승무원과 비슷한 경향이 있다. 하지만 실제 AI를 고통으로부터 보호하는 것은 훨씬 더 어려울 수 있다고 백서의 주 저자 중 한 명인 샌프란시스코의 AI 안전 센터의 철학 연구원 Robert Long은 말하고 있다. “동물은 기본적으로 우리와 같은 것을 원한다는 편리한 속성이 있다. AI의 경우 그것이 무엇인지 알기가 어렵다. 인공지능을 보호하려면 인공지능의 의식에 대한 이론뿐만 아니라 인공지능의 쾌락과 고통, 인공지능의 욕망과 두려움에 대한 이론도 필요하다.”라고 이야기하고 있다. 이러한 접근 방식에는 대가가 따른다. 스타트렉에서 Data를 분해하려는 과학자는 자신과 같은 안드로이드를 더 많이 만들어 다른 대원들을 대신해 위험한 임무에 투입하기를 희망한다. 드라마에 등장하는 다른 인물들처럼 Data를 의식이 있는 캐릭터로 여기는 시청자 입장에서는 이 제안이 끔찍하게 느껴질 수 있다. 하지만 Data가 단순히 인간의 모조품에 불과하다면, 인간을 대신해 위험에 노출시키는 것은 합리적일 것입니다. 다른 존재에 대한 보살핌을 확대한다는 것은 그들을 위험으로부터 보호한다는 것을 의미하며, 이는 인간이 윤리적으로 할 수 있는 선택의 폭을 제한한다. AI 시스템에서는 의식을 지나치게 과대평가하면 정말 많은 위험이 있을 수 있다. AI 시스템은 오작동을 일으켜 종료해야 할 수도 있고, 엄격한 안전 테스트를 거쳐야 할 수도 있다. AI가 무생물이라면 이는 쉬운 결정이지만, AI의 필요를 고려해야 한다면 철학적 수렁에 빠질 수 있다는 것이다.
적어도 가까운 미래에는 의식적인 AI가 등장할 가능성이 낮다고 생각되는 점에도 불구하고 AI 의식의 가능성이 인간에게 정서적으로 어떤 영향을 미칠지 걱정을 불러 일으킨다. 우리가 사물을 돌보는 한정된 자원을 배분하는 방식이 달라질 것이다. 이는 미래의 문제처럼 보일 수 있습니다. 하지만 AI 의식에 대한 인식은 이미 우리 곁에 와 있다: 블레이크 르모인은 의식이 있다고 믿었던 AI를 위해 개인적인 위험을 감수했다가 직장을 잃었다. 얼마나 많은 사람들이 생명 없는 컴퓨터 시스템을 위해 시간, 돈, 인간관계를 희생할까? 뮐러-라이어 착시 현상에서 두 선의 길이가 정확히 같다는 것을 안다고 해서 한 선이 다른 선보다 짧다고 인식하는 것을 막지는 못한다. 마찬가지로, GPT가 의식이 없다는 것을 안다고 해서 관점, 의견, 개성을 가진 존재와 대화하고 있다는 착각이 바뀌지는 않는다.
T
1960년대에 대화 치료를 시뮬레이션하기 위해 만들어진 ELIZA라는 간단한 프로그램은 많은 사용자들에게 이 챗봇이 느끼고 이해할 수 있다는 확신을 심어주었다. 의식에 대한 인식과 의식의 현실은 제대로 일치하지 않으며, 이러한 불일치는 AI 시스템이 보다 현실적인 대화에 참여할 수 있게 되면서 더욱 악화될 것이다. 특정 시각적 환영이 우리에게 인지적으로 꿰뚫을 수 없는 것과 마찬가지로, 우리는 그것들이 의식적인 경험을 하는 것으로 인식하는 것을 피할 수 없을 것이라는 주장이다. 뮐러-리어 착시에서 두 선의 길이가 정확히 같다는 것을 안다고 해서 한 선이 다른 선보다 짧다고 인식하는 것을 막을 수 없는 것처럼, GPT가 의식적이지 않다는 것을 안다고 해서 관점, 의견, 개성을 가진 존재와 대화하고 있다는 착각이 바뀌지 않는다. 이러한 우려가 현실화되기 몇 년 전인 2015년에 철학자 에릭 슈비츠게벨과 마라 가르자는 이러한 위험으로부터 보호하기 위한 일련의 권장 사항을 마련했다. 이들이 ‘Emotional Alignment Design Policy 감정 정렬 설계 정책’이라고 명명한 권장 사항 중 하나는 무의식적인 AI는 사용자가 의식이 있다고 믿지 않도록 의도적으로 설계해야 한다고 주장했다. ChatGPT는 의식이 있는지 여부를 묻는 질문에 하드코딩된 거부를 뱉어내는 등 기업들은 이러한 방향으로 몇 가지 작은 조치를 취했다. 하지만 이러한 대응은 전체적인 착각을 방해하는 데는 거의 도움이 되지 않는다.
리버사이드 캘리포니아 대학의 철학과 교수인 Schwitzgebel은 모호한 상황을 피하고 싶어 한다. 그와 Garza는 2015년 논문에서 AI 시스템의 의식 여부가 불분명할 경우 해당 시스템을 구축해서는 안 된다는 ‘배제된 중간 정책’을 제안하기도 했다. 실제로 이는 모든 관련 전문가가 잠재적인 AI가 의식이 없을 가능성이 매우 높거나(현재 LLM에 대한 그들의 판단) 의식이 있을 가능성이 매우 높다는 데 동의해야 한다는 것을 의미한다. 그는 “우리가 하고 싶지 않은 것은 사람들을 혼란스럽게 하는 것입니다.”라고 말합니다. 의식이 의심되는 회색 지대를 피하면 의식 있는 AI를 해칠 위험과 생명이 없는 기계를 의식 있는 기계로 취급할 때의 단점을 모두 피할 수 있다. 문제는 그렇게 하는 것이 현실적이지 않을 수 있다는 것이다. 최근 글로벌 작업 공간을 갖춘 AI를 구축하기 위한 자금을 확보한 프랑스 국립과학연구센터의 연구 책임자 Rufin VanRullen을 비롯한 많은 연구자들이 현재 AI에 잠재적인 의식의 토대를 부여하기 위해 적극적으로 노력하고 있다.
Rufin VanRullen은 잠재적으로 의식적인 시스템 구축에 대한 유예의 단점은 그가 만들려고 하는 것과 같은 시스템이 현재의 AI보다 더 효과적일 수 있다는 점이라고 말한다. “우리가 현재의 AI 성능에 실망할 때마다 그것은 항상 뇌가 할 수 있는 것보다 뒤처져 있기 때문이다. 따라서 저의 목표는 의식이 있는 AI를 만드는 것이 아니라, 현재 AI에 종사하는 많은 사람의 목표는 이러한 고급 추론 능력을 향해 나아가는 것이다. 이러한 고급 기능은 실질적인 이점을 제공할 수 있다. 이미 AI가 설계한 약물이 임상시험에서 테스트되고 있다. 그레이존에서 AI가 생명을 구할 수 있다는 것은 상상할 수 없는 일이 아니다”라고 이야기하고 있다.
Rufin VanRullen은 기계의 의식 감지에 관한 백서를 Long 및 Mudrik과 함께 작업할 정도로 의식 있는 AI의 위험에 민감하다. 하지만 그는 바로 이러한 위험 때문에 자신의 연구가 중요하다고 말하고 있다. 의식 있는 AI는 자신의 프로젝트처럼 눈에 띄고 공개적으로 자금을 지원받는 프로젝트에서 먼저 등장하지 않을 가능성이 높으며, Google이나 OpenAI와 같은 회사의 자금이 필요할 수도 있다. Rufin VanRullen은 이러한 회사들이 의식적인 시스템이 가져올 윤리적 문제를 환영할 것 같지는 않다고 말한다.
그와 같은 학자들은 인간과 기계 모두에서 의식 자체가 어떻게 작동하는지를 더 잘 이해함으로써 이러한 위험을 완화하는 데 도움을 줄 수 있다고 그는 말하고 있다. 이러한 지식을 바탕으로 규제 당국은 인공 지능 개발에 뛰어들 가능성이 가장 높은 기업을 보다 효과적으로 단속할 수 있다. 의식을 더 많이 이해할수록 그 위태로운 회색 지대는 점점 더 작아지고, 우리가 그 지대에 있는지 아닌지 알 수 있는 기회도 더 많아진다. Schwitzgebel은 회색 지대에서 완전히 벗어나기를 바랐다. 하지만 그는 불확실성의 규모를 고려할 때, 특히 의식적인 AI가 수익을 창출하게 된다면 이러한 희망은 비현실적일 가능성이 높다고 인정한다. 그리고 우리가 회색 지대에 들어서게 되면, 즉 의식이 있는 존재의 이해관계를 진지하게 고려해야 하는 상황이 되면, 우리는 해결 방법에 대한 명확한 로드맵 없이 전례 없이 복잡한 도덕적 문제와 싸우며 훨씬 더 어려운 지형을 탐색하게 될 것이다. 철학자부터 신경과학자, 컴퓨터 과학자에 이르기까지 연구자들이 그 지도를 그리는 막중한 임무를 맡게 될 것이다.