혀로 보는 인간, 픽셀을 읽는 기계 — '본다'는 것은 어디에서 일어나는가

쓰러진 아버지에게서 시작된 질문

얼마전 알게 된 어떤 과학자는, 자신의 아버지가 쓰러진 사건에서 평생의 연구 질문을 얻었다. 1959년, 과학자의 아버지 페드로가 뇌졸중으로 쓰러졌다. 얼굴 절반이 마비되고, 몸을 거의 움직이지 못하는 상태였다. 당시 상식으로는 그의 회복 가능성은 없었다. 손상된 뇌는 되돌릴 수 없다는 것이 정설이었기 때문이다.

그런데 가족의 끈질긴 재활 끝에 페드로는 다시 걷고, 말하고, 심지어 강단에 복귀해 가르치기까지 했다. 훗날 그가 세상을 떠난 뒤 부검을 해보니 놀라운 사실이 드러났다. 뇌졸중으로 손상된 신경 경로는 그대로 죽어 있었다. 회복된 것이 아니었다. 대신 뇌가 다른 경로를 새로 만들어 죽은 회로의 일을 대신하게 한 것이었다.

과학자는 여기서 하나의 급진적인 결론을 끌어냈다. 뇌의 기능이 특정 부위나 특정 신경에 고정되어 있지 않다면 — 그러니까 뇌가 스스로 배선을 바꿀 수 있다면 — '보는 것'도 꼭 눈으로 할 필요가 없지 않은가?

등으로 보고, 혀로 보다

과학자는 카메라를 시각장애인의 의자 등받이에 연결된 진동판에 이었다. 카메라가 포착한 이미지의 밝고 어두움이 등의 피부를 누르는 자극 패턴으로 변환됐다. 처음에 피험자들은 등에 느껴지는 간지러운 진동일 뿐이라고 했다. 그런데 훈련이 거듭되자 이상한 일이 일어났다. 그들은 어느 순간부터 자극을 '등의 감촉'이 아니라 '앞에 있는 사물'로 지각하기 시작했다. 공이 날아오면 몸을 피했다. 등이 아니라, 공간을 본 것이다.

이 장치는 점점 작아져 결국 혀 위에 올리는 얇은 전극판이 되었다. 혀는 신경이 촘촘하고 늘 촉촉해서 전기 신호를 전달하기에 이상적인 표면이었다. 안경에 달린 카메라가 세상을 찍고, 그 이미지가 혀 위의 미세한 전기 자극 패턴으로 바뀐다. 시각장애인 사용자는 이 장치로 문 손잡이를 찾고, 굴러오는 공을 잡고, 아이의 실루엣을 '보았다.'

우리는 눈으로 보는 것이 아니라 뇌로 본다.

이 과학자가 남긴 유명한 말이 모든 것을 요약한다. 눈은 데이터를 수집하는 장치일 뿐이고, '봄'이라는 사건은 뇌가 그 데이터를 해석하는 곳에서 일어난다. 데이터가 시신경으로 들어오든, 등의 피부로 들어오든, 혀의 전극으로 들어오든 — 뇌는 패턴만 일관되면 그것을 시각으로 만들어낸다.

그렇다면, 기계도 보는가

여기서 요즘 인공지능 철학의 뜨거운 질문과 정면으로 만나게 된다. 이미지를 입력받아 "고양이가 소파 위에서 자고 있네요"라고 답하는 멀티모달 AI는 과연 보고 있는 것인가, 아니면 픽셀 통계를 처리하고 있을 뿐인가?

흔한 반박은 이렇다. "AI는 눈이 없다. 카메라 센서의 숫자 배열을 받을 뿐이다. 그건 보는 게 아니다."

그런데 이 과학자의 실험은 그 반박의 근간을 흔든다. 혀로 보는 사람도 '눈'이 없기는 마찬가지다. 그에게 들어오는 것은 혀 위의 전기 자극 패턴 — 사실상 숫자 배열이다. 우리는 그가 '본다'는 것을 부정하지 않는다. 본다는 것이 특정한 감각 기관의 문제가 아니라 정보를 해석하는 시스템의 문제라면, 입력이 시신경이냐 혀냐 이미지 토큰이냐는 원리적으로 다르지 않을지도 모른다. 기능이 같다면 기질(substrate)은 중요하지 않다는 것 — 철학자들이 기능주의라고 부르는 입장에 이 과학자의 연구는 살아 있는 증거를 하나 보탠 셈이다.

하지만 한 가지가 빠져 있다

그런데 그의 실험 기록을 자세히 보면, AI에게 불리한 단서도 하나 숨어 있다.

혀로 '보기'가 일어나는 데에는 결정적인 조건이 있었다. 사용자가 카메라를 직접 움직일 수 있어야 한다는 것. 남이 카메라를 들고 있고 피험자는 가만히 자극만 받으면, 아무리 훈련해도 그것은 끝내 혀의 간지러움으로 남았다. 자기가 고개를 돌리면 자극 패턴이 어떻게 변하는지, 다가가면 어떻게 커지는지 — 행동과 감각의 상관관계를 스스로 탐색할 수 있을 때에만 자극은 '저 바깥의 세계'가 되었다.

철학자 알바 노에(Alva Noë)와 케빈 오리건(Kevin O'Regan)은 이를 근거로 지각이란 머릿속에서 일어나는 계산이 아니라 세계와 몸이 주고받는 행위라고 주장했다. 본다는 것은 데이터를 수신하는 일이 아니라, 움직이며 세계를 더듬는 기술(skill)이라는 것이다.

이 관점에서 보면 오늘의 AI는 묘한 위치에 서 있다. 이미지를 받아 설명하는 AI는, 말하자면 남이 들고 있는 카메라의 자극을 수동적으로 받는 피험자와 같다. 고개를 돌릴 수 없고, 다가가서 확인할 수 없고, 자신의 행동이 감각을 어떻게 바꾸는지 겪어본 적이 없다. 이 실험의 기준으로라면, 그것은 아직 '보는' 것이 아니라 '자극받는' 것에 가깝다.

질문은 기계가 아니라 우리를 향한다

그래서 나는 이 이야기의 결론을 "AI는 본다" 혹은 "AI는 못 본다"로 닫고 싶지 않다. 이 과학자가 진짜로 보여준 것은 다른 것이다.

'본다'는 우리가 너무나 자명하다고 여겨온 경험이, 사실은 눈이라는 기관에도, 시신경이라는 배선에도 고정되어 있지 않다는 것. 그것은 뇌가, 어쩌면 어떤 시스템이든 세계와 상호작용하며 만들어가는 성취라는 것.

그렇다면 AI가 카메라를 스스로 움직이고, 로봇 팔로 사물을 뒤집어 보고, 자기 행동이 입력을 어떻게 바꾸는지 배우기 시작하는 순간, 우리는 무슨 말을 하게 될까? "그래도 그건 진짜 보는 게 아니야"라고 말할 근거가 그때도 남아 있을까?

쓰러졌던 아버지의 뇌가 죽은 회로를 우회해 새 길을 냈듯이, '본다'는 개념도 지금 우리 눈앞에서 새 길을 내는 중인지 모른다. 혀로 보는 인간이 있듯이, 픽셀로 보는 기계 앞에서 어디까지 개념을 넓힐 수 있을지, 기계와 매일 대화하는 우리 각자의 감각 속에서 먼저 정해지고 있는지도 모른다.

이 글에 등장하는 과학자는 신경가소성 연구의 선구자 폴 바크-이-리타(Paul Bach-y-Rita, 1934–2006)다. 그의 감각 대체(sensory substitution) 연구는 이후 BrainPort라는 상용 기기로 이어졌다.

참고문헌

Bach-y-Rita, P., Collins, C. C., Saunders, F., White, B., & Scadden, L. (1969). "Vision Substitution by Tactile Image Projection." Nature, 221, 963–964. doi:10.1038/221963a0 — 등받이 진동판 실험을 최초로 보고한 원 논문.
Doidge, N. (2007). The Brain That Changes Itself. Viking. (한국어판: 『기적을 부르는 뇌』, 지호) — 1장에 바크-이-리타와 아버지 페드로의 이야기가 자세히 소개되어 있다.
O'Regan, J. K., & Noë, A. (2001). "A sensorimotor account of vision and visual consciousness." Behavioral and Brain Sciences, 24(5), 939–973. — "지각은 계산이 아니라 행위"라는 감각운동 이론의 대표 논문.
Bender, E. M., & Koller, A. (2020). "Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data." Proceedings of ACL 2020, 5185–5198. aclanthology.org — 형식만 학습한 시스템은 의미를 배울 수 없다는 '문어 테스트' 논문.
Chalmers, D. J. (2023). "Could a Large Language Model be Conscious?" Boston Review. arxiv.org/abs/2303.07103 — 현재 LLM에 결여된 것(통합된 행위주체성 등)과 향후 가능성을 짚는 현대 AI 철학의 대표 논문.