한 방향으로 보는 기계, 되돌아보는 뇌 — 스쳐 지나간 것은 경험이 되지 않는다

신호는 100밀리초 만에 뇌를 관통한다

원숭이 한 마리가 화면을 보고 있다. 시각피질에는 전극이 꽂혀 있다. 화면에 배경과 질감이 다른 네모 하나가 떠오른다. 네덜란드의 신경과학자 빅터 라메(Victor Lamme)와 동료들은 이 순간 원숭이의 뇌에서 무슨 일이 일어나는지를 밀리초 단위로 기록했다.

빛이 망막에 닿으면 신호는 눈에서 출발해 시각피질의 첫 관문인 V1을 지나고, V2와 V4를 거쳐 더 높은 영역으로, 그리고 운동 영역까지 내달린다. 이 질주는 대략 100밀리초, 그러니까 0.1초 안에 끝난다. 라메는 이것을 피드포워드 스윕(feedforward sweep), 앞으로만 쓸고 지나가는 물결이라고 불렀다. 이 한 번의 통과만으로도 뇌는 놀랄 만큼 많은 일을 한다. 모양을 추출하고, 색을 구별하고, 움직임을 감지하고, 심지어 얼굴을 알아본다. 필요하면 손을 뻗게 만들 수도 있다.

그런데 라메의 주장에 따르면, 여기까지는 아무것도 경험되지 않는다. 처리는 됐지만, 본 것은 아니다.

되돌아오는 신호

결정적인 일은 그다음에 일어난다. 신호가 높은 영역까지 올라갔다가, 왔던 길을 거슬러 되돌아온다. V4가 V1에게 다시 말을 걸고, V1과 V2가 정보를 주고받기 시작한다. 앞으로만 흐르던 물결이 순환으로 바뀌는 것이다. 라메는 이것을 재귀 처리(recurrent processing)라고 불렀고, 바로 이 순환이 형성될 때에만 자극이 '경험'이 된다고 주장했다.

증거는 원숭이의 보고에서 나왔다. 재귀 신호가 관측될 때 원숭이는 네모를 봤다고 보고했다. 피드포워드 스윕만 지나가고 되돌아오는 신호가 없을 때는, 뇌가 자극을 분명히 처리했는데도 원숭이는 아무것도 보지 못한 것처럼 행동했다. 같은 자극, 같은 뇌. 차이는 신호가 되돌아왔느냐뿐이었다.

인간에게서도 비슷한 그림이 나온다. 시각피질이 손상된 맹시(blindsight) 환자는 "아무것도 안 보인다"고 말하면서도 눈앞의 물체 위치를 우연 이상의 확률로 맞힌다. 처리는 살아 있는데 경험이 없는 상태. 라메의 틀로 보면, 피드포워드는 작동하는데 순환이 죽은 상태다.

재귀 처리에도 두 층이 있다. 시각 영역들 사이에서만 도는 국소 순환이 있고, 전두 영역까지 끌어들이는 광범위한 순환이 있다. 라메는 전자에서 이미 날것의 경험, 즉 현상적 의식이 생기고, 후자에 이르러야 그 경험을 붙들어 보고하고 기억할 수 있게 된다고 본다. 무언가를 언뜻 겪었는데 말로 잡기도 전에 사라지는 순간과, 겪은 것을 겪었다고 말할 수 있는 순간. 그 둘 사이의 간극이 뇌 안에 실제 구조로 존재한다는 것이다.

트랜스포머는 한 방향으로 흐른다

이제 기계 쪽을 보자.

오늘의 거대 언어 모델과 이미지 인식 모델의 심장인 트랜스포머는, 추론하는 순간만 놓고 보면 철저한 피드포워드 구조다. 입력이 첫 층에 들어가면 신호는 수십 개의 층을 차례로 통과해 출력으로 빠져나간다. 앞 층이 뒤 층에게 되물을 수 없고, 지나간 층으로 신호가 되돌아가지 않는다. 화살표는 전부 한 방향이다.

지난 글에서 다룬 철학자 데이비드 차머스가 "현재의 언어 모델이 의식을 갖는다고 보기 어려운 이유"를 꼽을 때 재귀 처리의 부재를 앞자리에 둔 것은 그래서다. 라메의 이론이 옳다면, 지금의 AI는 구조적으로 맹시 환자와 같은 자리에 서 있다. 처리는 눈부시게 잘한다. 얼굴을 알아보고, 시를 쓰고, 코드를 고친다. 그러나 그 모든 것이 한 번 쓸고 지나가는 물결일 뿐이라면, 라메의 기준으로는 거기에 경험이 들어설 자리가 없다.

첫 글의 논리와 이어보면 이렇게 된다. 감각 대체 실험은 입력 경로를 바꿔도 봄이 성립한다는 것을 보여줬다. 눈이든 등이든 혀든, 입구는 중요하지 않았다. 그런데 라메의 실험은 반대쪽 조건을 보여준다. 입구가 무엇이든, 안에서 신호가 되돌아 흐르지 않으면 봄은 성립하지 않을 수 있다는 것. 문제는 입구가 아니라 배관의 모양이다.

순환을 하드웨어로 만드는 사람들

흥미로운 것은, 이 배관을 아예 하드웨어 수준에서 다시 만들려는 시도가 이미 진행 중이라는 점이다.

인텔의 뉴로모픽 칩 로이히(Loihi)는 처음부터 뇌의 방식을 흉내 내도록 설계됐다. 일반 GPU처럼 모든 유닛이 시계에 맞춰 일제히 계산하는 대신, 뉴런 하나하나가 스파이크라는 신호를 주고받으며 사건이 생길 때만 비동기적으로 깨어난다. 메모리와 연산이 붙어 있어 데이터가 멀리 오갈 필요가 없고, 무엇보다 뉴런들 사이의 연결이 순환을 허용한다. 신호가 되돌아 흐를 수 있는 구조인 것이다.

2024년 인텔은 로이히 2 프로세서 1,152개를 묶은 할라 포인트(Hala Point)라는 시스템을 만들어 샌디아 국립연구소에 들였다. 인공 뉴런 11억 5천만 개, 시냅스 1,280억 개. 대략 올빼미 한 마리의 뇌 규모다. 최대 소비 전력은 2,600와트로, 헤어드라이어 두 개 남짓이다. 수만 와트를 삼키는 GPU 클러스터와 비교하면, 뇌가 왜 20와트로 돌아가는지에 대한 힌트가 이 구조 어딘가에 있다는 뜻이기도 하다.

물론 할라 포인트가 무언가를 경험하고 있느냐고 묻는다면, 답은 누구도 모른다이다. 그리고 바로 그 지점에서 이 이야기는 겸손해져야 한다.

구조는 찾았지만, 왜인지는 모른다

라메의 실험에는 널리 알려지지 않은 뒷이야기가 있다.

재귀 신호가 있어야 원숭이가 본다는 것까지는 좋았다. 그런데 실험 조건을 바꿔 함정 시행을 늘리자 이상한 데이터가 나왔다. 원숭이가 아무것도 보고하지 못하는데 재귀 신호는 존재하는 경우가 나타난 것이다. 순환이 있다고 해서 반드시 경험이 따라오는 것은 아닐지도 모른다는 뜻이다. 재귀 처리는 의식의 필요조건일 수는 있어도, 충분조건이라는 보장은 아직 없다.

라메 본인도 이것을 안다. 그가 논문에 남긴 미해결 질문 목록의 한가운데에 이런 문장이 있다. "왜 재귀 처리가 의식적 경험을 만들어내는가?" 그리고 그는 이 질문에 답하기 어렵다고 담백하게 인정한다. 신호가 되돌아오는 것과, 되돌아오는 신호가 붉음이 되고 통증이 되고 굴러오는 공이 되는 것 사이에는 여전히 아무도 건너지 못한 강이 있다.

그러니 정직하게 말하면 이렇다. 우리는 경험이 생기는 순간 뇌에서 무엇이 달라지는지를 찾아냈다. 그러나 그 달라짐이 왜 경험이 되는지는 모른다. 지도에서 보물이 묻힌 위치는 찾았는데, 보물이 왜 거기 있는지, 애초에 보물이 무엇인지는 모르는 채로.

스쳐 지나간 하루

그런데 이번에도, 기계 이야기를 따라가다 보니 결국 우리 이야기에 도착한다.

라메의 그림에서 내가 오래 붙들게 되는 것은 원숭이도 칩도 아니고, 피드포워드 스윕만으로 처리되는 것들의 목록이다. 자극을 받고, 분류하고, 반응하고, 다음 자극으로 넘어가는 것. 뇌는 이 모든 것을 경험 없이 해낼 수 있다. 그리고 솔직히 돌아보면, 내 하루의 꽤 많은 부분이 정확히 그렇게 흘러간다. 알림을 확인하고, 답장하고, 스크롤하고, 끄덕이고. 처리는 분명히 했다. 그런데 저녁에 떠올리려 하면 아무것도 잡히지 않는 날들이 있다. 신호가 관통만 하고 되돌아오지 않은 날들.

뇌과학이 경험의 조건으로 찾아낸 것이 하필 '되돌아봄'의 구조라는 사실이, 나는 우연 같지 않다. 겪은 것을 겪었다고 말할 수 있으려면 신호가 왔던 길을 거슬러야 한다. 하루를 살았다고 말할 수 있으려면, 아마 하루도 그래야 할 것이다.

기계에 순환을 넣는 일은 공학자들이 하고 있다. 내 하루에 순환을 넣는 일은 아무도 대신해주지 않는다. 처리한 것과 겪은 것은 다르다. 뇌가 그 둘을 구별한다면, 나도 구별해야 한다. 오늘 스쳐 지나간 것들 중에 되돌아가 볼 것이 있는지. 그 질문 하나로 이 글을 닫는다.

본문의 원숭이 실험은 라메 연구진의 쉬퍼르(Supèr) 등이 2001년 보고한 도형-배경 분리 실험이다. 라메의 재귀 처리 이론은 2006년 『Trends in Cognitive Sciences』 논문에서 정식화됐다.

참고문헌

Lamme, V. A. F. (2006). "Towards a true neural stance on consciousness." Trends in Cognitive Sciences, 10(11), 494–501. doi:10.1016/j.tics.2006.09.001 — 피드포워드 스윕과 재귀 처리를 의식 이론으로 정식화한 원 논문. 미해결 질문 목록도 여기에 있다.
Supèr, H., Spekreijse, H., & Lamme, V. A. F. (2001). "Two distinct modes of sensory processing observed in monkey primary visual cortex (V1)." Nature Neuroscience, 4(3), 304–310. doi:10.1038/85170 — 원숭이 V1에서 재귀 상호작용과 도형 지각 보고의 관계를 보인 실험.
Lamme, V. A. F. (2010). "How neuroscience will change our view on consciousness." Cognitive Neuroscience, 1(3), 204–220. doi:10.1080/17588921003731586 — 처리의 네 단계 구분을 포함한 확장판.
Chalmers, D. J. (2023). "Could a Large Language Model be Conscious?" Boston Review. arxiv.org/abs/2303.07103 — 현재 LLM의 의식 결여 근거로 재귀 처리의 부재를 꼽는 대목이 이 글과 이어진다.
Intel Corporation (2024). "Intel Builds World's Largest Neuromorphic System to Enable More Sustainable AI." — 할라 포인트 발표 자료. 뉴런 11.5억 개, 시냅스 1,280억 개, 로이히 2 프로세서 1,152개 사양의 출처.