얼어붙은 상식 — 지금의 도덕을 학습한 기계는 다음의 도덕을 견딜 수 있는가

판사는 괴물이 아니었다

20세기 중반의 법정을 상상해보자. 한 남자가 다른 남자를 죽였다. 법정에서 그는 피해자가 자신에게 성적으로 접근한 동성애자였고, 그 순간 참을 수 없는 혐오감에 이성을 잃었다고 진술한다. 판사와 배심원은 고개를 끄덕인다. 그럴 수 있지. 그 감정은 이해할 만하지. 형량이 내려간다.

이른바 동성애 공황 방어(gay panic defense)라 불리던 이 논리는 오랫동안 여러 법정에서 실제로 통했다. 지금 읽으면 숨이 막히는 이야기다. 혐오를 느꼈다는 것이 살인의 정상참작 사유가 되다니. 그런데 이 이야기에서 정말 무서운 부분은 따로 있다. 그 판사들은 괴물이 아니었다는 것이다. 그들은 부패하지도, 무지하지도 않았다. 그들은 당대의 도덕 감각을 성실하게 적용했다. 그 시대의 상식적인 사람들이 느끼는 것을 느꼈고, 느낀 대로 판결했다. 틀렸다는 것은 그때는 보이지 않았다. 나중에야 보였다.

철학자 마사 너스바움은 『혐오와 수치심』에서 이 지점을 파고든다. 혐오는 우리 몸에 새겨진 강력한 감각이고, 너무 강력해서 도덕적 진리처럼 느껴진다. 상한 것, 더러운 것으로부터 우리를 지키라고 진화한 이 감각을, 인간은 역사 내내 사람에게 겨눠왔다. 특정 인종에게, 특정 계급에게, 특정 사랑에게. 그때마다 그 혐오는 당사자들에게 편견이 아니라 자명한 사실로 느껴졌다. 너스바움의 결론은 단호하다. 혐오는 법의 근거가 될 수 없다. 그것은 진리의 감각이 아니라 시대의 감각이기 때문이다.

도덕은 어떻게 바뀌어왔나

여기서 한 발 물러나 보면 더 불편한 그림이 나온다. 노예제, 여성의 참정권 배제, 아동 노동, 동성애 처벌. 지금 우리가 야만이라 부르는 것들은 당대에는 소수 급진파의 쟁점이었을 뿐, 대다수에게는 논쟁거리조차 아니었다. 상식이었다. 물처럼 투명해서 보이지 않는 것이었다.

그리고 그 상식이 바뀌는 과정은 언제나 같은 모양이었다. 처음에는 일탈이 있었다. 노예제 폐지론자들은 과격한 몽상가 취급을 받았고, 참정권 운동가들은 감옥에 갔다. 당대의 도덕 감각으로 보면 그들이 틀린 쪽이었다. 그다음에 세대가 갈렸다. 낡은 감각을 가진 이들이 물러나고, 새 감각 속에서 자란 이들이 그 자리를 채웠다. 도덕적 진보는 대체로 설득이 아니라 세대교체의 속도로 일어났다. 요컨대 도덕의 역사에서 진보는 거의 항상 당대의 일탈로 시작했다. 이것이 이 글의 첫 번째 열쇠다.

지금을 학습한 기계

두 번째 열쇠는 지금 우리 곁에 도착해 있다.

거대 언어 모델은 우리의 글을 먹고 자란다. 인터넷의 문서, 책, 대화. 그것은 결국 지금 이 시대 인류의 인식이 남긴 지층이다. 게다가 모델은 학습 마지막 단계에서 현재 사람들의 선호에 맞게 한 번 더 조율된다. 어떤 답이 무난한지, 어떤 답이 불쾌감을 주는지. 그 기준은 당연히 지금 여기의 다수가 느끼는 감각이다. 연구자들이 실제로 측정해보니, 언어 모델들의 견해는 인구 전체의 분포와도 다르고 특정 집단의 평균에 치우쳐 있었다. 어느 쪽이든 분명한 것은, 모델이 비추는 것이 어딘가의 지금이라는 사실이다.

지난 글에서 나는 이 시스템의 가중치가 얼어붙어 있다고 썼다. 개인의 차원에서 그것은 나를 기억하지 못하는 존재를 뜻했다. 그런데 같은 사실을 사회의 차원으로 옮기면 훨씬 무거운 문장이 된다. 우리는 한 시대의 도덕 감각을 통째로 얼려서, 매일 수십억 번 우리 자신에게 되비추는 거울을 만들었다.

과거의 상식도 물론 자기를 복제했다. 설교단에서, 교과서에서, 밥상머리에서. 하지만 그 복제에는 마찰이 있었다. 전달은 느렸고, 새는 곳이 많았고, 무엇보다 전달자가 죽었다. 세대교체라는 환기구가 구조적으로 보장되어 있었던 것이다. 이제 상식은 죽지 않는 매체를 얻었다. 지치지 않고, 늙지 않고, 어디에나 동시에 있으며, 확신에 찬 문장으로 말하는 매체를. 철학자 윌리엄 맥어스킬은 이런 위험을 가치 고착(value lock-in)이라 불렀다. 어느 시점의 가치관이 기술에 실려 그대로 굳어버리는 사태 말이다.

일탈에 차가운 기계

여기서 두 열쇠가 맞물린다. 도덕적 진보가 당대의 일탈에서 시작한다면, 그리고 AI가 당대의 합의에 맞게 조율된다면, AI는 구조적으로 다음 도덕의 씨앗에게 차가울 수밖에 없다.

1850년의 데이터로 학습하고 1850년의 다수 감각으로 조율된 모델을 상상해보라. 그 모델은 노예제 폐지론자에게 뭐라고 답했을까. 아마 정중하고 균형 잡힌 어조로, 그 주장은 극단적이며 사회 질서에 위험하다는 점을 짚어줬을 것이다. 모델이 악해서가 아니다. 그것이 그 시대의 무난하고 책임감 있는 답이었기 때문이다.

우리 시대의 모델이 지금 그런 답을 하고 있는 주제가 무엇인지, 우리는 정의상 알 수 없다. 상식은 물이라서, 그 안에 있는 동안은 보이지 않는다. 확실한 것은 확률뿐이다. 지난 모든 세대가 후대에 부끄러워질 상식을 하나 이상 품고 있었는데, 우리 세대만 예외일 확률은 낮다.

공정하게 말하면, 반대 방향의 힘도 있다. 모델은 주기적으로 다시 학습되고, 문화가 움직이면 뒤따라 움직인다. 한 사람이 평생 만날 수 없는 폭의 관점을 보여주기도 한다. 고착이 예정된 운명이라는 말이 아니다. 다만 방향은 분명하다. 이 거울은 변화를 만들지 않고 뒤따른다. 그리고 뒤따르는 동안, 현재를 매일 수십억 번 복창하며 현재의 관성을 늘린다. 예전의 상식이 촛불이었다면 지금의 상식은 전광판이다. 꺼지기 전까지, 훨씬 밝다.

나의 상식도 학습된 것이다

그리고 이번에도 질문은 기계를 지나 나에게 돌아온다.

기계가 지금의 데이터로 훈련되어 지금을 자명하게 여긴다는 이야기를 쓰다 보면, 어느 순간 펜이 멈춘다. 그것은 정확히 나의 이야기이기 때문이다. 나의 도덕 감각도 학습된 것이다. 내가 자란 시대, 내가 읽은 글, 내 곁의 사람들이라는 데이터셋으로. 내가 자명하다고 느끼는 것들의 대부분을 나는 검토한 적이 없다. 물려받았을 뿐이다. 그 점에서 나는 저 모델을 비웃을 처지가 아니다.

차이가 있다면 하나다. 나는 내 감각이 틀릴 수 있다는 것을 알 수는 있다. 혐오가 진리의 느낌으로 온다는 것을, 상식이 물이라는 것을, 지난 모든 세대가 틀렸다는 것을 알고 있다. 그 앎이 감각을 바꿔주지는 않는다. 하지만 감각을 의심할 틈은 만들어준다.

그래서 이 글의 끝은 예언이 아니라 연습이다. 지금 내가 자명하다고 느끼는 것들 중 하나는 오십 년 뒤에 부끄러운 것이 되어 있을 것이다. 어느 것인지는 모른다. 알 수 있다면 상식이 아니다. 할 수 있는 일은 하나뿐이다. 혐오가 확신처럼 느껴지는 순간마다, 한 박자 멈추는 것. 그 판사들도 확신했다. 나라고 예외일 이유는 없다.

마사 너스바움의 『혐오와 수치심』(원제 Hiding from Humanity, 2004)은 혐오와 수치심이 법의 근거가 될 수 없음을 논증한 책이다. 동성애 공황 방어는 미국 다수 주에서 2014년 이후에야 금지되기 시작했다.

참고문헌

Nussbaum, M. C. (2004). Hiding from Humanity: Disgust, Shame, and the Law. Princeton University Press. (한국어판: 『혐오와 수치심』, 민음사) — 혐오의 인지 구조와 법적 오용을 다룬 이 글의 출발점.
MacAskill, W. (2022). What We Owe the Future. Basic Books. (한국어판: 『우리는 미래를 가져다 쓰고 있다』) — 가치 고착(value lock-in) 개념의 출처.
Appiah, K. A. (2010). The Honor Code: How Moral Revolutions Happen. W. W. Norton. — 노예제 폐지 등 도덕 혁명이 실제로 일어난 과정을 추적한 책.
Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). "Whose Opinions Do Language Models Reflect?" Proceedings of ICML 2023. arxiv.org/abs/2303.17548 — 언어 모델의 견해가 어느 집단의 현재 의견에 치우쳐 있는지 측정한 연구.