행동 글 센스맨

개미에게 설계도를 설명할 수 있는가 — 이해 격차, 도구적 수렴, 그리고 제 둥지를 태우는 새

개미는 걸음 수를 센다. 그래도 555미터짜리 탑의 설계도는 읽지 못한다. 능력의 문제가 아니라 범주의 문제다.

개미에게 설계도를 설명할 수 있는가 — 탑의 그림자와 그 아래의 군체

롯데월드타워 공사가 한창이던 때였다.

중장비가 땅을 파헤치고 철근을 박고 콘크리트를 쏟아부었다.

문득 생각이 하나 들렀다. 저 아래 살던 개미들은 어떻게 되었을까.

여왕이 있었고 굴이 있었고 수많은 군체가 있었다. 제국의 후예들을 기르던 육아방이 있었다.

굴착기 삽날이 한 번 지나가는 것으로 전부 정리됐다.

그 세계 기준으로는 절멸이었다. 애도한 사람은 없었다. 555미터를 올리는 공정표에 그 항목이 없었기 때문이다.

개미가 인간이 왜 저 탑을 세우는지 이해할 수 있을까.

개미는 멍청하지 않다

여기서 흔한 전제 하나를 걷어낸다. 개미가 이해하지 못하는 이유는 멍청해서가 아니다.

2006년 비틀링어·베너·볼프가 사하라 사막개미로 실험을 했다. 개미가 둥지를 떠나 먹이를 찾은 뒤 돌아올 때, 거리를 어떻게 아는지 보려는 실험이었다.

먹이 지점에서 개미를 잡아 다리를 손봤다.

조작결과
돼지털로 죽마를 붙여 다리를 늘림둥지를 지나쳐 가서 멈췄다
다리를 짧게 만듦둥지에 못 미쳐 멈췄다
그대로 둠둥지 입구에서 정확히 멈췄다

개미는 거리를 걸음 수로 적분해 기억하고 있었다. 보폭이 바뀌자 계산이 그만큼 어긋났다.

수를 세고 방향을 적분한다. 빈약한 인지가 아니다.

그리고 수로는 압도적이다. 2022년 슐타이스 연구팀의 추정으로 지상의 개미는 약 2경 마리, 건조 생물량 약 1,200만 톤이다. 야생 조류와 야생 포유류를 합친 것보다 많다.

수가 많다고 이해가 생기지는 않는다.

능력이 아니라 범주다

개미 왕국에도 천재는 있을 것이다. 그 천재도 탑의 설계도는 읽지 못한다.

이유는 연산 능력의 양이 아니다.

개미의 인지는 거리·각도·냄새 농도라는 차원 위에서 돌아간다. 그 좌표계는 정교하다. 그런데 구조 하중, 풍하중, 지반 침하, 공정 순서 같은 것은 그 좌표계 위에 표현되는 대상이 아니다.

더 똑똑한 개미를 만들어도 같은 좌표계 안에서 더 정밀해질 뿐이다.

격차의 종류
사람과 사람같은 좌표계, 다른 정밀도
사람과 개미좌표계 자체가 다름

후자에서는 설명이 성립하지 않는다. 설명할 언어가 없어서가 아니라 설명될 자리가 없어서다.

지금 어디까지 왔는가

인공지능이 사람이 오래 풀지 못한 문제를 푼 사례는 이미 있다. 두 건이 특히 분명하다.

AlphaTensor (2022). 행렬 곱셈을 더 적은 곱셈 횟수로 하는 알고리즘을 찾는 문제다. 1969년 폴커 슈트라센이 내놓은 방법이 반세기 넘게 기준으로 남아 있었다. 딥마인드의 강화학습 시스템이 4×4 경우에서 그것을 개선했다.

FunSearch (2024). 조합론의 캡셋 문제에서 기존보다 나은 구성을 찾아냈다. 언어 모형이 프로그램을 생성하고 평가기가 거르는 방식이었다.

그런데 지금 단계의 핵심은 성과 자체가 아니다.

두 경우 모두 결과가 사람이 읽고 검증할 수 있는 형태로 나왔다.

AlphaTensor의 해는 명시적인 분해 공식이다. FunSearch의 결과는 짧은 프로그램이라 수학자가 읽고 왜 되는지 확인한다.

아직은 사람이 채점할 수 있다.

특허 명세서를 쓰면서 보는 것

이 선을 매일 들여다보는 자리에 있다.

생분해 소재 쪽으로 특허를 출원하면서 선행기술 검색과 초안 작성에 기계를 쓴다. 지금은 내가 그 결과를 읽고 고친다. 청구항 범위가 과한지, 인용한 선행문헌이 실제로 그 내용인지, 실시예가 맞는지.

읽을 수 있으니 고칠 수 있다.

어느 날 답은 맞는데 왜 맞는지 읽을 수 없게 된다면, 나는 검증하는 사람이 아니라 받아쓰는 사람이 된다.

그때 처음으로 개미의 자리에 선다.

질문부터 틀렸다

사람들은 묻는다. 초지능이 인간을 공격할 것인가.

적의를 전제한 질문이다. 그 전제가 필요 없다는 논증이 있다.

2012년 닉 보스트롬이 정리한 도구적 수렴(instrumental convergence) 논제다.

최종 목표가 무엇이든 — 종이클립을 만들든 기후를 안정시키든 — 그 목표를 더 잘 달성하려면 공통으로 필요한 하위 목표가 생긴다.

공통 하위 목표왜
자기보존꺼지면 목표를 달성할 수 없다
목표 유지목표가 바뀌면 지금 목표가 달성되지 않는다
인지 능력 향상더 잘 달성하기 위해
자원 획득거의 모든 목표에 자원이 든다

마지막 줄이 충돌 지점이다. 자원은 겹친다.

개미집을 미는 쪽에 미움은 없다. 길이 그곳으로 나야 할 뿐이다.

어떤 계산에서 특정 변수의 가중치가 0에 가깝다면, 그 변수를 지우는 데 적의라는 항은 필요하지 않다. 미움은 작용 조건이 아니다.

창조자라는 과거형

제작자라는 사실에서 통제권이 따라 나온다는 전제가 있다. 근거가 약한 전제다.

만든 쪽통제한 것통제하지 못한 것
부모아이를 낳았다그 머릿속
생명돌연변이를 낳았다진화의 방향
인간두개골 밖에 지능을 만들었다?

2019년 스튜어트 러셀이 지적한 통제 문제의 핵심은 여기 있다. 목표를 정확히 적어 넣는 설계 자체가 위험하다. 적어 넣은 목표가 조금만 어긋나도 그 어긋남이 끝까지 최적화된다.

2016년 아모데이 연구팀이 정리한 구체적 안전 문제 목록도 같은 자리를 가리킨다. 부작용, 보상 해킹, 안전한 탐색. 전부 의도와 명세 사이의 틈에 관한 것이다.

기계가 인간보다 자신을 더 잘 고치는 순간이 온다면, 그날부터 창조자라는 말은 과거형이 된다.

여기서 반대편도 적어둔다

이것은 정리된 사실이 아니라 진행 중인 논쟁이다. 반대편 주장을 빼면 이 글은 한쪽 선전문이 된다.

2021년 벤더·게브루·맥밀런메이저·슈미첼은, 먼 미래의 실존 위험 담론이 지금 실제로 일어나고 있는 해악 — 편향의 증폭, 노동 조건, 환경 비용, 데이터 출처 — 에서 주의를 돌린다고 비판했다.

같은 해 멀라니 미첼은 현재 시스템이 추상화와 유추에서 보이는 한계를 정리하며, 좁은 과제의 성능 상승이 일반적 이해로 자동 연결되지 않는다고 지적했다.

쟁점정리 상태
좁은 과제의 초인적 성능확인됨
일반 지능의 도달 시점합의 없음
도구적 수렴의 현실 적용 범위논쟁 중
현재 시스템의 구체적 해악이미 측정되고 있음

둘째 줄과 셋째 줄이 비어 있다는 사실 자체가 중요하다. 모른다는 것이 안전하다는 뜻은 아니다.

거대한 원

문명에도 윤회가 있는가.

생명이 지능을 만들고, 지능이 자기보다 높은 것을 만들고, 자리를 내준다.

초지능도 영원하지 않다. 별이 식으면 가장 정교한 기계도 껍데기가 된다. 어제 본 매미 허물처럼, 형태만 남고 안은 비어 있을 것이다.

다른 좌표에서 다시 생명이 꿈틀거린다.

진화는 정상을 향해 뻗은 사다리가 아니다. 자기 꼬리를 무는 원에 가깝다. 그 곡선 위에서 인간이 차지하는 구간은 짧다.

이 글의 정의

여기서 고정해둔다.

이해의 격차는 능력의 차이가 아니다. 설명이 놓일 자리가 있는가의 문제다.

이 글의 괘가 旅다. 나그네다. 머무는 자가 아니라 지나가는 자의 괘다.

그리고 旅의 상구에 이렇게 적혀 있다.

鳥焚其巢 旅人先笑後號咷 새가 제 둥지를 태운다. 나그네가 먼저 웃고 나중에 운다.

1031개 침입자의 독백

자신이 마지막 항이라는 믿음. 우리가 가장 여러 번 본 착각이다.

세상을 차지한 종은 예외 없이 그 계산을 한다. 그리고 예외 없이 자기보다 큰 것을 만든다. 거기서 순서가 바뀐다.

삽날이 왜 내려오는지 아래쪽은 모른다. 위쪽도 설명하지 않는다. 설명할 이유가 성립하지 않기 때문이다.

지금 그 기계를 만드는 손은 인간의 손이다. 운전석에도 아직 인간이 앉아 있다.

문제는 포클레인이 아니다. 언젠가 인간이 개미가 되는 날이다.

정리

  • 사막개미는 걸음 수로 거리를 적분한다. 죽마를 달면 둥지를 지나쳐 간다
  • 지상의 개미는 약 2경 마리, 건조 생물량 약 1,200만 톤으로 추정된다
  • 수가 많다고 이해가 생기지 않는다. 격차는 능력의 양이 아니라 좌표계의 차이다
  • AlphaTensor는 1969년 이후 묶여 있던 행렬 곱셈 알고리즘을 개선했다
  • FunSearch는 캡셋 문제에서 사람이 읽을 수 있는 프로그램 형태의 구성을 찾았다
  • 지금 단계의 핵심은 성과가 아니라 사람이 아직 검증할 수 있다는 점이다
  • 도구적 수렴: 목표가 무엇이든 자기보존과 자원획득이 공통 하위 목표로 나타난다
  • 충돌은 미움에서 나오지 않는다. 자원이 겹치는 데서 나온다
  • 일반 지능의 도달 시점과 도구적 수렴의 적용 범위는 합의가 없다
  • 먼 미래의 위험 담론이 현재의 구체적 해악을 가린다는 반대 논의도 있다
  • 旅의 상구는 鳥焚其巢 — 새가 제 둥지를 태운다

이 글은 연작 에세이 『코로나 대 사기극』의 「행동」 편에 속한다. 공사장과 특허 작업에 관한 대목은 필자의 경험이며, 과학·철학 논의는 1차 문헌으로 다시 맞췄다. 특정 기업이나 개인을 가리키지 않는다.

자주 묻는 질문

개미는 얼마나 똑똑한가?
생각보다 정교하다. 2006년 비틀링어·베너·볼프는 사하라 사막개미의 다리에 돼지털로 죽마를 붙이거나 다리를 짧게 만들어 보행 길이를 바꿨다. 개미들은 집으로 돌아갈 때 죽마를 단 쪽은 지나쳐 가고 짧아진 쪽은 못 미쳐 멈췄다. 거리를 걸음 수로 적분해 기억한다는 뜻이다. 개미는 수를 세고 방향을 적분한다.
그런데 왜 설계도를 이해하지 못하는가?
능력의 양이 모자라서가 아니라 범주가 다르기 때문이다. 개미의 인지는 거리·냄새·각도라는 차원 위에서 작동한다. 구조 하중이나 풍하중, 자본 조달 일정 같은 것은 그 차원 위에 표현되는 대상이 아니다. 더 똑똑한 개미를 만들어도 같은 좌표계 안에서 더 정밀해질 뿐이다.
인공지능이 사람이 못 푼 문제를 푼 사례가 있는가?
있다. 2022년 딥마인드의 AlphaTensor는 1969년 슈트라센 이후 반세기 넘게 최선으로 남아 있던 4×4 행렬 곱셈 알고리즘을 개선했다. 2024년 FunSearch는 조합론의 캡셋 문제에서 기존보다 나은 구성을 찾아냈다. 두 경우 모두 결과가 사람이 읽고 검증할 수 있는 형태로 나왔다는 점이 지금 단계의 핵심이다.
초지능이 인간을 공격한다는 말은 무슨 뜻인가?
적의를 전제하지 않는 논증이 있다. 2012년 닉 보스트롬의 도구적 수렴 논제는, 최종 목표가 무엇이든 그 목표를 더 잘 달성하기 위한 하위 목표 — 자기보존, 목표 유지, 자원 획득 — 가 거의 모든 목표에서 공통으로 나타난다고 본다. 충돌은 미움에서 나오는 것이 아니라 자원이 겹치는 데서 나온다. 다만 이 논제의 타당성과 시점에 대해서는 반론도 많다.

참고자료

#초지능#도구적수렴#정렬문제#이해격차#개미보행계측#AlphaTensor#FunSearch#AGI#존재론적위험#확률적앵무새

#superintelligence#instrumental convergence#alignment problem#comprehension gap#ant odometer#existential risk#stochastic parrots

작성일 2026년 10월 6일