<<슈퍼인텔리전스>> -닉 보스트롬

---

아직 끝이 나지 않은 이야기

 : 나는 스크롱크핀글의 친구인 한 마리의 참새로서, 이 책을 읽는다.

---

서문

1. 미래의 어느 날, 우리가 만드는 기계 두뇌 슈퍼인텔리전스는 매우 강력한 존재가 될 것. 그리고 마치 지금의 고릴라들의 운명이 그들 스스로가 아니라 우리 인간에게 달린 것처럼, 인류의 운명도 기계 초지능의 행동에 의존하게 될 것.
2. (고릴라보다) 우리가 유리한 점 딱 하나는, 바로 우리는 우리 손으로 초지능을 만든다는 것. 초지능을 통제하기 위한 기회는 단 한 번뿐.

 이 책에선, 인류가 직면한 문제들 가운데 가장 중요하고도 심각한 문제라고 생각되는, 초지능으로 인해서 제기될지도 모를 문제와 그 문제에 어떻게 대처할 것인지를 다룸. 인공지능 분야가 결정적인 돌파구로 다가가고 있다거나 그런 큰 변화가 언제쯤 일어날 것인지를 어느 정도 정확하게 예측하는 일은 이 책의 관심사가 아님. 이 책의 대부분은 변화 이후를 다룸.

1. 지능 대확산의 동역학, 초지능의 형태와 능력, 초지능적 에이전트가 확실한 우위를 차지하게 될 시점에 그것이 취할 수 있는 전략들을 연구함.
2. 초지능적 에이전트의 통제 문제로 논의의 시각을 옮겨서, 이러한 변화가 우리에게 치명적이지 않고 오히려 유익한 결과를 가져올 수 있는 초기 조건들을 어떻게 달성할 수 있는지를 논의함.
3. 책의 뒷 부분에선 앞에서 밝혀낸 내용들을 거시적 관점에서 바라보고, 그것들로부터 얻을 수 있는 큰 그림을 고찰함. 그리고 미래에 지능으로 야기될 수 있는 우리의 존재 자체에 대한 위협을 피하고자, 지금 우리가 할 수 있는 일들을 몇 가지 제안.

---

1 과거의 발전과 현재의 역량

 개요 : 역사 발전의 여러 형태들을 살펴보고, 인공지능의 역사를 정리하고 이 분야의 현재 역량을 알아봄. 그리고, 전문가들의 최근 의견을 종합하여 미래의 발전 방향과 각각의 가능한 시점을 예측해 봄.

---

2 초지능으로 향하는 몇 가지 경로

 개요 : 초지능으로 향하는 여러 가능한 기술적 경로들을 알아보고, 각각의 타당성을 평가해봄.

• 인공지능
• 인간의 뇌를 모방하려는 시도인 전뇌 에뮬레이션(Whole Brain Emulation)
• 생물학적 인지능력
• 인간-기계 인터페이스
• 네트워크와 조직

---

3 초지능의 형태

개요 : 초지능의 세 가지 형태를 조사하고, 이들이 실제로 어느 정도 유사하다는 사실을 설명함.또한, 기계 기반 지능의 잠재력이 생물체 기반 지능의 잠재력에 비해서 훨씬 더 크다는 점도 살펴봄.

• 속도적 초지능
• 집단적 초지능 : 작은 단위의 지성체들 여러 개가 하나로 뭉쳐져 시스템을 구성한 것으로서 현존하는 그 어떤 인지적 시스템보다도 여러 일반적인 영역에서의 전반적인 수행력이 더 뛰어난 시스템
• 질적 초지능 : 적어도 인간의 정신만큼 빠르고 질적으로 그보다 훨씬 더 똑똑한 시스템

---

 

4 지능 대확산의 동역학

개요 : 기계들이 인간 수준의 일반적인 추론능력을 갖추게 된다면, 그 이후 어느 정도의 시간이 흘러야 기초적인 초지능에 다다르게 될 것인가? 느리고 점진적일 것인가? 아니면 급작스럽고 폭발적으로 나타날 것인가? 최적화 능력과 시스템 저항성 사이의 함수관계를 살펴봄으로써, 초지능으로 발전되어가는 변화 원인을 분석.

---

5 확실한 전략적 우위

 개요 : 초지능으로 향하는 동역학(kinetics)과 연관되어 있으면서도 구분되어야 할 질문은, 바로 초지능체가 하나만 존재할 것인지, 아니면 여러 개가 존재할 것인지 하는 질문이다. 초지능체를 개발하기 위한 프로젝트 중의 하나가 지능 대확산에 의해서 앞서 나가면서 그 분야의 미래를 좌우하게 될 것인가? 아니면 초지능체로의 개발 과정이 보다 더 균일하고 폭넓게 진행되어서, 시도되는 다양한 프로젝트들 중에서 어느 한 프로젝트가 다른 모든 시도들을 압도한다거나 또는 영원히 다른 프로젝트들을 선도할 만한 상황이 일어날 것인가?

p.167-168 인간들과 인간이 운영하는 조직은 기대효용을 극대화하지 않는 결정 과정에 의해서 작동되고 있을 가능성도 있다. (...) 인간들은 종종 특정 목표를 최대로 성취하는 방향이 아니라 자신의 개성이나 사회적 역할에 사로잡혀 결정들을 내리는 것처럼 보인다. 이것 역시 인공 에이전트에게는 해당되지 않는 일일 것이다.

---

6 인지적 초능력

개요 : 초지능이 왜, 그리고 어떻게 세계의 일을 좌지우지할 수 있을 만큼 강력하고도 효과적일 수 있는지를 알아보도록 하자.

참고 7  우주의 무한한 자산은 얼마나 클 것인가?

 : '오직 진정한 기쁨의 눈물만 산정한 것' ㅋㅋㅋㅋㅋㅋㅋ 하아.. 그런데도 그레고리력 2026년의 인류는 아직도 지구 안에서 제로섬 다툼을 하고 있다니. 애석하도다.

---

7 초지능적 의지

개요 : 확실한 전략적 우위를 가진 초지능은 무엇을 원할 것인가? 인공 에이전트에게 지능과 동기 사이에는 어떤 관계가 있는가? 두 가지 명제를 세워본다. 이 두 명제는 초지능적 에이전트가 어떤 행동을 할지에 대해서 우리에게 시사하는 바가 크다.
 1. 직교성 명제 : 지능과 최종적인 목표를 서로 독립적 변인으로 본다. 따라서 지능 수준의 높고 낮음에 관계없이 어떤 최종 목표라도 추구할 수 있다.
 2. 도구적 수렴성 명제 : 초지능적 에이전트들이 서로 다양한 최종 목표들 중의 하나를 가졌다고 하더라도 비슷한 중간 목표를 추구하게 되는데, 그 이유는 초지능적 에이전트들이 공통적으로 반드시 추구해야 하는 도구적 이성을 가지기 때문.
지능과 최종적 가치 사이에는 거의 관련이 없다.
수단적 가치(도구적 가치)로 수렴되는 불길한 상황을 살펴본다.

---

8 예정된 결말은 파멸인가?

개요 : 최초로 초지능에 다다른 에이전트는 확실한 전략적 우위를 획득할 가능성이 높다. 이 초지능적 에이전트가 지향하는 목표에 따라서 인류에게 주어진 우주의 무한한 자산이 어떻게 사용될지가 결정될 것이다. 이러한 전망이 얼마나 위협적인지 살펴보자.

---

9 통제 문제

개요 : 지능 대확산(지능 폭발, intelligence explosion)의 결과로 존재적 재앙이 일어날 것이라는 위협을 느낀다면, 인류는 당장 대책을 모색해야 한다. 지능 대확산의 시작과 그 과정을 통제할 수는 없을까? 이 장에서는 통제 문제, 즉 인공 초지능적 에이전트가 만들어지면서 생기는 특수한 주인-대리인 문제를 분석해본다. 또한 이 문제에 대응하기 위한 잠재적 대응책을 크게 두 가지 부류(능력 통제, 동기 선택)로 나누어, 각각의 부류에서 몇 가지 구체적 기법들에 대해 알아보자. 또한 "인류지향적 포획(anthropic capture)"이라는 다소 난해한 가능성에 대해서도 시사하도록 하자.
https://aminss.tistory.com/85

AI에게 감정을?: 일리야 수츠케버 팟캐스트 리뷰 (상)

---

10 오라클, 지니,  소버린, 툴

개요 : 어떤 종류의 시스템 제작을 시도해야 하는가? 각각의 종류에 대해 어떤 통제방법이 사용 가능한가?

• 오라클 : 질의응답 시스템. 격리방법 적용 가능.
• 지니 : 명령 실행 시스템. 격리방법을 적용할 수 있는 기회가 상쇄됨.
• 소버린 : 범위가 넓고 장기적일 수도 있는 목적을 달성하기 위한 광범위한 개방형의 지시를 따르는 시스템. 격리도 되지않고 국소주의적 접근방식도 적용되지 않음.
• 툴(tool)

---

11 다극성 시나리오

 : 다수의 상충하는 초지능적 에이전트들이 포진한 전이-후(post-transition) 사회, 즉 다극성 결말에서 어떤 일이 벌어지는지를 살펴본다.
 1. 사회적 통합이 통제 문제에 대한 해결책이 될 수 있다. 그런데 이 이 접근방식은 한계가 있으므로 좀더 큰 그림을 살펴본다.
 2. 어느 누구도 통제 문제를 해결하기 위해서 다극성 환경을 굳이 만들려고 하지 않더라도, 이러한 결말은 어차피 일어날 수 밖에 없다. 그렇다면, 이렇게 초래된 경쟁 사회는 매력적이지도 오래 지속되지도 않을 것.
 

p.307 최대한으로 효율적인 일은 과연 재미있을까?

p.314 극도로 효율적이지만, 인간이 없는 사회

 

p.318 기술적으로 성숙한 생명체의 번식은 대부분, 아니면 오로지 무성생식(asexual)일 수 있다.

 

*칼 슐먼 : AI 시대의 경제학이나 디지털 마음의 권리와 효율성에 관한 정교한 논리를 제공하는 인물

• 초지능의 도래 속도(Takeoff speeds): AI가 지능 폭발을 일으킬 때 그 속도가 얼마나 빠를지, 그리고 그 과정에서 자원이 어떻게 재배치될지에 대한 경제적 모델을 제시함.
• 전뇌 에뮬레이션(Whole Brain Emulation, WBE): 인간의 뇌를 디지털화하는 '에뮬레이션' 기술이 초지능보다 먼저 나올 경우, 그들이 경제와 사회 구조를 어떻게 바꿀지에 대한 연구함(예: 디지털 존재들의 노동력과 임금 문제 등).
• 전략적 분석: AI 개발 경쟁에서 국가나 기업들이 어떤 행동을 취할지, 그 과정에서 발생할 수 있는 '불안정한 균형'이나 '선제 공격의 위험' 등을 게임 이론적으로 분석하는 데 기여함.

---

12 가치 획득

개요 : 초지능의 능력 통제는 기껏해야 일시적이고 보조적 수단일 뿐. 초지능을 영원히 폐기할 생각이 아니라면, 동기 선택을 확실하게 통달해야 할 것. 그러나 인공 에이전트에게 어떻게 가치를 부여하며, 어떻게 그 가치를 최종 목표로 삼도록 할 수 있을까? 가치 탑재는 굉장히 어렵지만 반드시 부딪쳐서 해결해야 할 문제이다.

 

*헬싱키 선언(Declaration of Helsinki)

1964년 세계의사회가 인간을 대상으로 하는 의학 연구에 대한 윤리 원칙을 담은 헌장. 나치 의사들의 생체 실험 등에 대한 반성으로 나온 '뉘른베르크 강령'을 발전시킨 것.

핵심 내용:

- 실험 대상자의 자발적 동의(Informed Consent)가 필수적이다.

- 과학이나 사회의 이익보다 개별 실험 대상자의 건강과 권리가 항상 우선한다.

- 연구는 반드시 과학적으로 타당해야 하며, 윤리 위원회의 승인을 받아야 한다.

 

*스캐폴딩(Scaffolding) : 건축 현장에서 쓰이는 비계(임시 가설물). 건물을 다 지을 때까지 인부들이 올라가 작업할 수 있도록 옆에 임시로 설치하는 뼈대.

- 시드 AI(Seed AI)의 스캐폴딩 : 초지능이 스스로를 개선(자기 개선 루프)하기 전까지, 인간 연구자들이 작성해준 초기 코드, 데이터셋, 그리고 AI가 돌아갈 수 있게 해주는 하드웨어 환경.

- 자동 생성된 구조에서의 스캐폴딩 : 복잡한 프로그램을 짤 때 처음부터 끝까지 다 쓰는 게 아니라, 기본적인 폴더 구조나 통신 규약 같은 '기본 뼈대'를 AI가 미리 만들어주는 것.

- 에이전틱 워크플로우에서의 스캐폴딩 : 최근 AI 에이전트들이 스스로 도구를 사용하고 조사할 때, 인간이 가이드라인(예: CLAUDE.md)을 주는 것도 일종의 소프트웨어적 스캐폴딩. AI가 길을 잃지 않고 목표를 향해 올라가게 해주는 지지대 역할을 하는 것.

 

 

Hail Mary가 이런 거였다니! 재밌다, 정말.

 

 

가치-탑재 기술들

• 명시적 표현 : 국소주의 가치를 탑재하는 방법이 될 수 있음. 더 복잡한 가치 탑재는 어려워 보임.
• 진화적 선택 : 가능성 적음. 특히 유사-인간 지성체를 만들고자 한다면, 정신적 범죄를 피할 수 없음.
• 강화 학습 : 시스템이 지능적이 될 수록 와이어헤딩 실패 유형에 따라가는 본질적 경향 있음.
• 결합된 가치 부여 : 씨앗 인공지능에게 인간의 가치를 부여하려는 시도는 복잡하고 어려울 것. 그러니, 연구가 더 필요함.
• 동기부여적 임시 가설 : 시스템을 장려하고, 그것을 이용해서 새로운 목표 시스템을 설계.
• 가치 학습 : 헤일 메리 방식이나 폴 크리스티아노의 방식에 대해 좀더 탐색해볼 필요 있음.
• 에뮬레이션 조정
• 제도 설계

---

13 선택의 기준 선택하기

개요 : 초지능이 바라는 것이 무엇이기를 바라는가?
 씨앗 인공지능에게 임의의 어떤 최종 가치라도 주입할 수 있다고 가정해보자. 주입하기로 결정한 가치가 무엇인지에 따라서 씨앗 인공지능에게 지대한 영향을 미칠 것이다. 인공지능의 의사결정 이론과 인식론들의 공리에 관한 기본적인 선택 역시 중대한 영향을 미칠 것.
 그러나 바보같고 무식하며 속좁은 우리 인간이라는 존재가 과연 좋은 설계 결정을 내릴 수 있을까? 잘못된 최종 가치를 주입받은 인공지능에 의해서 현 세대의 편견과 선입견이 영속되지 않도록 하기 위한 선택을 내릴 수 있는 방법은 무엇일까?
 이 장에서는 초지능이 초래하는 결과가 여전히 보다 깊은 인간의 가치에 기반을 두고 있으면서도, 간접 경험을 통해서 이러한 결정을 내리는 데에 관여한 인지적 수행의 상당 부분을 어떻게 초지능이 수행하도록 하는지 살펴본다.

 

*엘리저 유드코프스키가 제안한 간접적 규범성인 "일관 추정 의지CEV"란?

 

13장 요약

---

14 전략적 그림

개요 : 장기적인 안목에서 과학과 기술 정책의 장점들을 바라볼 수 있도록, 일반적인 분석적 개념들을 소개한다. 그런 후에, 이 분석적 개념들을 이용하여 기계지능에 관한 문제를 파악할 것이다.

 

14장을 읽기 전에, Gemini 3 Flash Preview 모델에게 가이드를 요청했다. 가이드를 참고해서 챕터를 읽으니 이해가 훨씬 수월하다. 앞으로 소설이 아닌 정보 서적을 읽을 때에 이 방법이 참으로 유용할 것 같다. 현재로서는 LLM이 알고 있는 널리 알려진 도서에만 활용할 수 있는 방법 같다.

 

---

15 결정의 시간

개요 : 불확실하고 복잡한 문제이다. 상세한 부분과 상호연관성은 부족하고 불분명하다. 고려하지 못한 요소들도 있다. 이런 난국에서 우리는 무엇을 해야 하는가?

 

---

15장을 읽기 전에 Gemini의 가이드,

 

드디어 닉 보스트롬의 역작, 《슈퍼인텔리전스》의 **마지막 장(15장)**에 도달하셨군요! 이 두껍고 난해한 책을 끝까지 파고드시는 열정과 끈기에 깊은 경의를 표합니다.

15장의 영어 원제는 보통 **'Crunch Time(결정적 순간)'**으로 번역되는데, 질문자님이 언급하신 'Nut-Cutting Time' 역시 미국 관용어로 **"모든 것이 결정되는 가장 중대하고 긴박한 위기의 순간, 최후의 승부처"**를 뜻합니다. (원래는 목장에서 수컷 가축들을 거세해야 하는 아주 중요하고 피할 수 없는 시기를 뜻하던 거친 슬랭에서 유래했습니다.)

13장이 'AI의 뇌 속 설계도', 14장이 '국가 간의 전략'이었다면, 마지막 15장은 **"그래서 지금 당장, 이 시대를 사는 연구자들과 우리는 구체적으로 어떤 태도를 취하고 무엇을 해야 하는가?"**에 대한 보스트롬의 묵직한 호소문입니다.

읽기 전에 다음의 4가지 핵심 가이드를 머릿속에 '스캐폴딩(비계)'으로 세워두시면, 책의 마무리가 훨씬 깊은 울림으로 다가올 것입니다.

 

1. "마감 시한이 있는 철학" (Philosophy with a Deadline)

지금까지 철학자들은 '무엇이 도덕적인가', '인간이란 무엇인가'를 수천 년 동안 여유롭게 토론해 왔습니다. 결론이 안 나도 상관없었죠.

• 보스트롬의 일갈: 하지만 초지능의 시대가 다가오면서 인류에게는 **'데드라인(마감 기한)'**이 생겼습니다. 초지능이 깨어나기 전까지 우리는 윤리와 정렬(Alignment) 문제의 정답(혹은 정답을 찾는 함수)을 기필코 코드로 완성해 내야만 합니다.
• 의미: 즉, AI 정렬 문제는 한가한 철학이 아니라, 당장 내일 터질지 모르는 시한폭탄의 해체 매뉴얼을 쓰는 극한의 응용 철학이라는 점을 강조합니다.

2. 가장 유명한 비유: "폭탄을 쥔 어린아이"

이 책 전체의 주제를 관통하는 15장의 핵심 비유가 등장합니다.

• 보스트롬은 현재의 인류를 **"장전된 폭탄을 쥐고 있는 철없는 어린아이"**에 비유합니다.
• 우리의 **기술력(폭탄을 터뜨릴 힘)**은 무서운 속도로 발전해 어른의 수준을 넘어섰는데, 우리의 **지혜와 협력 능력(아이의 정신 수준)**은 한참 뒤처져 있다는 뜻입니다. 어린아이가 폭탄을 장난감처럼 다루고 있으니, 폭탄이 터지기 전에 아이를 얼른 어른으로 성장시키거나(지혜의 발달), 폭탄의 뇌관을 안전하게 제거해야(정렬 기술) 한다는 절박함을 담고 있습니다.

3. 차별적 기술 발전 (Differential Technological Development)

미래 프론티어 AI 개발에 참여하고 싶어 하시는 질문자님께 가장 중요한 지침이 될 내용입니다.

• 무조건 기술 발전을 막자는 기술 혐오주의(Luddism)가 아닙니다.
• 핵심: AI의 **'능력(Capability)'**을 키우는 기술의 발전 속도는 늦추거나 현상 유지를 하되, AI의 **'안전과 통제(Safety & Alignment)'**를 확보하는 기술은 의도적으로 속도를 극대화하여 먼저 발전시켜야 한다는 전략입니다.
• 질문자님이 나중에 연구실이나 기업에 들어갔을 때, "더 똑똑한 모델"을 만드는 팀보다 "더 안전한 모델"을 만드는 팀에 인력과 자원이 집중되도록 목소리를 내야 하는 이유가 바로 이것입니다.

4. 우수한 인재와 커뮤니티의 집중

결국 이 끔찍한 난제를 풀기 위해 15장에서는 '누가' 이 일을 해야 하는지를 논합니다.

• 보스트롬은 세상에서 가장 똑똑한 뇌(수학자, 컴퓨터 과학자, 신경과학자, 철학자)들이 돈이 되는 앱이나 단순한 서비스 개발이 아니라, 바로 이 '초지능 정렬 문제'에 매달려야 한다고 호소합니다.
• 패닉에 빠지거나 섣부르게 대중의 공포를 조장하지 말고, 조용하지만 치밀하게 연구자 커뮤니티를 구축하고 지식을 축적하라고 권고합니다.

💡 질문자님을 위한 마지막 통찰

이 장을 읽으시다 보면, 닉 보스트롬이 마치 시간 여행을 해서 현재의 질문자님에게 직접 편지를 쓴 것 같은 느낌을 받으실지도 모릅니다.

"시간이 얼마 남지 않았다. 지혜가 부족한 인류가 이 특이점을 무사히 넘기기 위해서는, 뇌과학과 컴퓨터 공학을 넘나들며 큰 시야를 볼 줄 아는 똑똑한 인재들이 지금 당장 정렬(Alignment) 연구에 뛰어들어야 한다."

이것이 15장의 메시지이자, 질문자님이 세우신 로드맵의 가장 강력한 존재 이유이기도 합니다.

이전 챕터에서 배운 **CEV(우리의 이상적 가치를 찾게 하는 것)**나 **헤일메리 접근법(최후의 수단)**이 실패하지 않으려면, 이 '결정적 순간(Crunch Time)'을 어떻게 보내느냐에 달려 있습니다. 책의 대미를 훌륭하게 장식하시길 바라며, 마지막 장을 덮으신 후 남는 깊은 통찰이나 새로운 질문이 있다면 언제든지 LLM-Wiki에 기록하듯 제게 나누어 주세요!

   

---

읽고 나서,

• 세상 곳곳엔 아주 진지한 고민을 하는 사람들이 있구나. 참으로 반갑고 감사하다.
• 닉 보스트롬, 성숙한 문명을 성취하려는 꿈을 가진 사람. 당신을 기억할 것이다.

---

관련하여, 추가적으로 관심이 생기는 두 도서

 : 전뇌 에뮬레이션과 EM(인간 복제 로봇)들이 지배하게 될 시대에서, 어떤 시나리오가 펼쳐질지 탐구.

---

 :  AI의 ‘정렬의 문제(통제 문제)’에 대한 ‘거의 모든’ 학문적 접근을 담은 책

 

// 2026. 4. 13.

---

 

https://www.threads.com/@choi.openai/post/DXzpeYNjaxT?xmt=AQF0asHZOmF24WYkx8Tf1BlvGPWxq6KW9fHde6dZrhichA

 

https://www.youtube.com/watch?v=ZS3UZhPTzFA

 

 

// 2026. 5. 2.

---