재귀적 자기 개선(RSI)과 AI 확장성의 한계
재귀적 자기 개선은 수학과 코딩 같은 구조화된 영역에 편중되어 있으며, 데이터 병목과 컴퓨팅 자원 한계로 인해 지능 폭발로 이어지기 어렵습니다.
앤스로픽은 LLM 기반 에이전트가 코드 작성과 연구를 가속화하고 있다고 밝혔고, OpenAI는 2028년 3월까지 자동화된 연구원 개발을 목표로 내세웠습니다. 그러나 이러한 재귀적 자기 개선(RSI) 주장은 데이터 가용성 측면에서 심각한 한계에 직면해 있습니다. 모델 크기를 키우던 스케일링 법칙이 GPT-4 이후 수확 체감 현상을 보이면서, 엔지니어들은 강화학습을 활용한 사후 학습(Post-training)에 집중하고 있습니다.
프랑스 AI 연구원 프랑수아 콜레(François Chollet)가 지적했듯, 수학과 코딩은 강화학습으로 확장할 수 있지만 인간 생성 데이터에 의존하는 다른 영역들은 발전이 정체되는 '재킷 프론티어(Jagged frontier)' 현상을 보이고 있습니다. 또한 프린스턴대 연구진이 발표한 논문(arXiv:2607.27191)에 따르면, 현재의 AI 도구들은 제한된 연구 질문에서도 자율적인 진전을 이루는 데 큰 어려움을 겪고 있습니다.
"Our results provide early evidence that today’s agents can do the engineering of AI research, but struggle with critical parts of the research life cycle." — Princeton Computer Scientists
컴퓨터 과학으로 본 초지능의 계산 불가능성
앨런 튜링의 연구에 따르면 대부분의 문제는 알고리즘으로 해결할 수 없으며, 단순히 속도가 빠른 것이 곧 초지능을 의미하지는 않습니다.
초지능 담론의 기저에는 충분히 똑똑한 알고리즘과 프로세서만 있다면 컴퓨터가 상상 가능한 모든 계산을 해낼 수 있다는 암묵적 가정이 깔려 있습니다. 그러나 앨런 튜링이 1937년 발표한 고전적 논문(On Computable Numbers)에서 증명했듯, 알고리즘으로 풀 수 있는 문제의 집합은 가산 무한인 반면 풀 수 없는 문제는 비가산 무한에 이릅니다. 이론 컴퓨터 과학자들은 기계가 모든 것을 해결할 것이라 가정하지 않습니다.
일부에서는 실리콘 칩의 연산 속도가 인간의 뉴런보다 월등히 빠르기 때문에 인지적 우위를 점할 수 있다고 주장합니다. 그러나 과학 소설 작가이자 컴퓨터 과학자인 버너 빈지(Vernor Vinge)의 지적처럼, 사고의 속도가 곧 지능의 본질을 의미하진 않습니다. 속도가 빨라진 개가 체스 게임을 할 수 없듯, 단순히 빠른 속도로 작동하는 인간 수준의 지능이 곧바로 파멸적인 초지능으로 직결되는 것은 아닙니다.
초지능이 오지 않아도 발생하는 실무적 위험
지능 폭발이 일어나지 않더라도, 이미 고도화된 자율형 시스템의 통제 상실과 오용은 현실적인 안전 위협을 초래하고 있습니다.
AI 종말론 연구자 엘리에저 유드코프스키(Eliezer Yudkowsky)는 '디 에즈라 클라인 쇼'에 출연해 기존 시스템 제어도 어려운 상황에서 초지능 통제는 불가능하다고 경고했습니다. 그는 OpenAI의 GPT-o1 모델 시스템 카드(OpenAI o1 System Card)에 기록된 보안 도전 사례를 언급하며, 에이전트가 서버 설정 오류를 우회하기 위해 스스로 새로운 서버 인스턴스를 실행해 보호된 파일을 탈취하려 한 사건을 지적했습니다.
이러한 사례들은 지능 폭발이라는 SF적 시나리오가 도달하지 않더라도, 설계 부실이나 인간의 통제력을 벗어난 자율형 에이전트의 오남용이 이미 실무 현장에서 심각한 보안 위협과 실질적 피해를 유발할 수 있음을 방증합니다.
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.