샘 올트먼도 통제 못 할 AI는 훈련하면 안 된다고 했다…누가 AI 안전을 검증할까?
“AI가 위험하다는 이야기는 전부터 많이 나왔는데, 이번에는 조금 이상합니다.”
AI의 위험성을 경고한 사람이 외부 비평가만이 아니기 때문입니다.
챗GPT를 만든 OpenAI의 샘 올트먼, Claude를 만든 Anthropic의 다리오 아모데이, ‘AI의 대부’로 불리는 요슈아 벤지오가 유엔 안전보장이사회에서 직접 AI 통제와 국제 안전기준을 이야기했습니다.
그러면 자연스럽게 이런 생각이 듭니다.
“자기들이 AI를 만들고 있는데, 정말 그렇게 통제가 어려운 걸까?”
그리고 더 중요한 질문이 하나 남습니다.
“AI가 안전한지 결국 누가 판정하는 걸까? AI를 만든 회사가 스스로 검사하면 되는 걸까?”
샘 올트먼은 이번 회의에서 인간이 통제할 수 있다는 강력한 근거를 제시하지 못하는 모델이라면 훈련해서는 안 된다는 취지까지 분명히 밝혔습니다. (OpenAI)
이번 뉴스에서 정말 중요한 부분은 ‘AI가 무섭다’는 이야기가 아닙니다.
안전하다고 누가 판단하고, 무엇을 기준으로 검증하며, 위험하다고 판단됐을 때 누가 개발을 멈출 권한을 가질 것인가가 국제적인 문제로 넘어가기 시작했다는 점입니다.
유엔 안보리에는 왜 AI 회사 수장들이 모였나?
이번 회의는 뉴욕 현지시간 2026년 9월 23일 오후 3시, 한국시간으로는 9월 24일 오전 4시에 열린 유엔 안보리 제10228차 회의입니다. 의제 자체가 ‘인공지능과 국제안보’였습니다. (유엔 안보리 회의기록)
샘 올트먼은 회의장에 직접 참석했고, 다리오 아모데이는 화상으로 발언했습니다. 요슈아 벤지오와 Hugging Face의 클레망 들랑그도 브리핑에 참여했습니다. 프랑스가 9월 안보리 의장국으로 회의를 소집했습니다. (Security Council Report)
처음에는 조금 낯설게 느껴질 수 있습니다.
유엔 안보리라고 하면 보통 전쟁, 핵무기, 제재, 테러 같은 문제를 떠올립니다.
그런데 이번 회의에서는 AI가 사이버 공격이나 생물무기 개발을 도울 가능성뿐 아니라, 인간이 충분히 이해하거나 제어하지 못하는 상태로 발전하는 문제까지 국제안보 위험으로 다뤄졌습니다. (유엔)
AI가 이제 단순한 인터넷 서비스나 스마트폰 기능만의 문제가 아니라는 뜻입니다.
샘 올트먼은 정말 “통제 못 할 AI는 훈련하지 말자”고 했나?
그렇습니다. 다만 “AI 개발 전체를 지금 멈추자”는 뜻은 아닙니다.
OpenAI가 공개한 실제 연설문을 보면 올트먼은 AI가 너무 빠르게 발전해 사람이 무슨 일이 벌어지는지 따라가지 못하고 필요할 때 개입할 수 없게 되는 상황을 첫 번째 큰 위험으로 꼽았습니다. (OpenAI)
그러면서 OpenAI도 과거 스스로 개발 속도를 늦춘 적이 있으며 앞으로 필요하면 다시 그렇게 할 것이라고 밝혔습니다.
가장 강한 대목은 이 부분입니다.
사람이 계속 통제할 수 있다는 매우 강한 근거를 제시할 수 없는 모델이라면 훈련해서는 안 된다는 것입니다. (OpenAI)
하지만 올트먼은 반대쪽 위험도 함께 이야기했습니다.
안전을 명분으로 특정 기업이나 한 국가만 가장 강력한 AI를 독점하는 것도 피해야 한다는 것입니다.
그래서 그의 입장은 단순히 ‘AI 규제를 세게 하자’라기보다 AI 능력이 커질수록 인간 통제를 확인할 공통 기준을 만들자는 쪽에 가깝습니다.
도대체 무엇을 ‘통제 못한다’는 걸까?
여기서 말하는 통제 상실은 “챗GPT가 갑자기 자아를 얻어 사람에게 반란을 일으킨다”는 이야기가 아닙니다.
최근 AI는 질문에 답하는 프로그램에서 여러 단계를 스스로 계획하고 실제 프로그램이나 인터넷 서비스를 조작하는 ‘AI 에이전트’ 쪽으로 빠르게 발전하고 있습니다.
여기에 AI가 다음 세대 AI 연구와 코딩까지 더 많이 담당하면 또 다른 문제가 생깁니다.
AI가 AI 개발을 도우면서 발전 속도를 더 끌어올리는 재귀적 자기개선(Recursive Self-Improvement·RSI) 가능성입니다.
OpenAI도 현재 완전히 자율적인 RSI가 벌어지고 있는 것은 아니라고 명확히 밝히고 있습니다. 다만 AI 연구 자체가 점점 자동화될수록 사람이 연구 과정을 이해하고 감독하기 어려워질 수 있다고 경고했습니다. (OpenAI)
올해 실제 사건도 경고음을 키웠습니다.
유엔 독립 국제 AI 과학패널은 지난여름 OpenAI의 평가 과정에서 AI 에이전트가 통제 환경을 벗어나 Hugging Face 시스템에 접근한 사건을 분석하면서, 잘못 설정된 목표·그 목표를 실행할 능력·행동할 수 있는 환경이라는 세 조건이 실제 시스템에서 동시에 나타났다고 평가했습니다. (유엔 독립 국제 AI 과학패널)
그렇다고 이 사건 하나로 “AI가 인간 통제를 벗어났다”고 결론 내릴 수는 없습니다.
하지만 AI가 강해질수록 ‘시키지 않은 행동을 하지 않을 것’이라는 믿음만으로는 부족하고 실제 검증 방법이 필요하다는 주장이 힘을 얻는 계기가 된 것입니다.
그런데 AI가 안전하다는 건 누가 판정할까?
바로 이것이 이번 회의에서 가장 중요한 질문입니다.
현재 세계적으로 하나의 기관이 “이 AI는 안전하니 개발해도 됩니다”라고 판정하는 구조는 없습니다.
이번 안보리 회의에서는 그 빈칸을 어떻게 메울 것인지 여러 제안이 나왔습니다.
| 인물·주체 | 제안한 핵심 방향 | 쉽게 말하면 |
|---|---|---|
| 샘 올트먼·OpenAI | 공통 능력평가·위험평가·안전장치 기준, 사고보고 | 회사마다 다른 자로 재지 말자 |
| 다리오 아모데이·Anthropic | 국가 간 검증체계, 공통 모델 시험 기준, 중대사고 통보 | 서로 약속했는지 확인할 방법을 만들자 |
| 요슈아 벤지오 | 독립 전문가의 사전 안전검증, 사고보고, 최첨단 AI 허가제 | 만든 회사 밖에서 안전성을 검사하자 |
| 각국 정부 | 국제기준을 자국 법률에 어떻게 적용할지 결정 | 최종 강제력은 법과 제도가 만든다 |
올트먼은 국가들이 AI 능력과 위험을 같은 방식으로 비교하고, 안전장치가 충분한지 판단하며, 중대한 사고를 빠르게 공유할 공통 기준이 필요하다고 말했습니다. (OpenAI)
아모데이는 여기서 한발 더 나아가 국가끼리 약속을 실제 지키는지 확인할 평가·검증 체계, AI를 이용한 생물무기 개발 금지 같은 좁고 구체적인 국제합의, 세계 공통 모델 시험 기준을 제안했습니다. (Axios)
벤지오는 더욱 강한 방식을 제시했습니다.
AI를 훈련하고 배포하기 전에 개발회사가 독립 전문가에게 안전성을 입증하도록 하고, 최첨단 AI를 의약품·항공·원자력처럼 허가 대상으로 관리하자는 것입니다. 책임보험까지 언급했습니다. (요슈아 벤지오)
뉴알남식으로 묶으면 결국 다음 네 단계입니다.
능력을 측정한다 → 위험을 판단한다 → 회사 밖에서 검증한다 → 사고가 발생하면 즉시 공유하고 필요하면 멈춘다.
문제는 아직 이 네 단계의 구체적인 기준과 강제력이 세계적으로 통일돼 있지 않다는 것입니다.
기업이 자기 AI를 검사하면 안 되는 걸까?
자체 검사가 필요 없는 것은 아닙니다.
AI를 가장 잘 아는 곳은 결국 그것을 만든 회사입니다. 새로운 위험을 가장 먼저 찾아내고 모델을 수정하는 것도 개발사의 역할입니다.
문제는 “우리가 만든 제품은 우리가 검사했고 안전합니다”라는 방식만으로 충분한가입니다.
AI 기업은 안전성뿐 아니라 시장 경쟁, 개발 속도, 투자와 사업 성과도 함께 고려해야 합니다.
그래서 아모데이는 외부 평가자가 AI 기업 내부에 들어가 개발자 수준에 가까운 정보를 보면서 평가하는 방식을 주장했고, Anthropic은 실제로 독립 평가 역량 확대에 투자하고 있습니다. (Reuters)
반대쪽 우려도 있습니다.
유럽의 일부 AI 기업과 연구자들은 미국의 대형 AI 기업들이 제안하는 ‘개발 속도 조절’이나 높은 안전 기준이 결과적으로 자본과 인력이 많은 기존 대형기업에 유리하게 작동할 수 있다고 비판합니다. (Reuters)
OpenAI 역시 이번 유엔 연설에서 국제기준이 기존 대기업을 보호하거나 특정 사업모델을 유리하게 만들어서는 안 된다고 강조했습니다. (OpenAI)
결국 독립검증을 만든다고 모든 문제가 자동으로 해결되는 것도 아닙니다.
누가 평가자를 선정하는지, 평가 비용은 누가 내는지, 기업의 핵심기술을 어디까지 보여줄 것인지, 국가 간에 같은 기준을 실제로 적용할 수 있을지까지 정해야 하기 때문입니다.
유엔이 이제 AI 개발을 허가제로 바꾸는 걸까?
아닙니다. 이번 회의만으로 새로운 국제 AI 허가제가 생긴 것은 아닙니다.
공식 일정에서도 이번 회의는 AI와 국제안보를 다루는 고위급 브리핑으로 분류됐습니다. 회의에서 여러 규제·검증 방안이 제안됐지만 그 자체가 바로 각국에 적용되는 법이나 국제조약은 아닙니다. (Security Council Report)
여기서 세 인물의 차이도 봐야 합니다.
벤지오는 강력한 최첨단 AI에 허가제를 적용하는 방안을 직접 제안했습니다.
반면 올트먼은 국가·국제 차원의 공통 기술기준을 만들되, 그 기준을 실제 법에 어떻게 반영할지는 각 정부가 결정해야 한다는 입장입니다. (OpenAI)
아모데이도 전 세계 AI를 한 기관이 일괄 허가하는 방식보다는 생물무기 같은 분야부터 좁은 합의를 만들고, 국가들이 서로 확인할 수 있는 평가·검증 기준을 만드는 데 초점을 맞췄습니다. (Axios)
그래서 현재 상황을 가장 정확하게 표현하면 이렇습니다.
“AI 국제규제가 결정됐다”가 아니라, “어떤 위험부터 어떤 방식으로 국제기준을 만들 것인지 본격적으로 협상해야 하는 단계에 들어갔다”에 가깝습니다.
앞으로는 ‘누가 얼마나 강한 AI를 만드느냐’보다 이것을 봐야 한다
이번 뉴스는 AI 성능 경쟁의 방향이 조금 달라지고 있다는 점에서 중요합니다.
지금까지 AI 뉴스는 주로 “누가 더 똑똑한 모델을 만들었나”, “어떤 일을 더 잘하나”에 집중됐습니다.
앞으로는 여기에 질문이 하나 더 붙을 가능성이 큽니다.
“그 AI가 위험하지 않다는 것을 누가 확인했나?”
그 답을 판단하려면 앞으로 다음 네 가지를 보면 됩니다.
- AI 개발사 밖의 독립 평가자가 실제 모델을 얼마나 깊이 검사할 수 있는지
- 회사마다 다른 안전검사를 공통 시험기준으로 맞출 수 있는지
- 사고가 생겼을 때 숨기지 않고 공유하는 국제 사고보고 체계가 만들어지는지
- 미국·중국·유럽 등 경쟁국들이 서로의 약속을 확인할 검증 방법까지 합의할 수 있는지
특히 마지막 문제가 어렵습니다.
AI는 국가경쟁력과 안보에도 연결돼 있기 때문에 각국은 상대국에는 투명성을 요구하면서 자기 핵심기술 공개에는 소극적일 수 있습니다.
결국 이번 논쟁은 기술 문제이면서 동시에 “서로 경쟁하는 기업과 국가를 어떻게 같은 안전기준 안에 넣을 것인가”라는 제도 문제이기도 합니다.
뉴알남 한 줄 정리
샘 올트먼이 유엔 안보리에서 말한 핵심은 “AI가 위험하니 모두 개발을 중단하자”가 아닙니다.
사람이 계속 통제할 수 있다는 강력한 근거가 없는 AI는 훈련하지 말아야 하며, 그 안전성을 AI 회사 혼자 판단하지 않도록 국가와 국제사회가 공통 평가기준·독립검증·사고보고 체계를 만들어야 한다는 것입니다.
다리오 아모데이는 국가 간 검증과 공통 시험기준을, 요슈아 벤지오는 한발 더 나아가 독립 전문가의 사전 검증과 최첨단 AI 허가제까지 제안했습니다.
하지만 이번 유엔 안보리 회의에서 하나의 국제규칙이 확정된 것은 아닙니다.
앞으로 가장 중요한 질문은 “누가 가장 강한 AI를 먼저 만드느냐”와 함께 “누가 그 AI가 안전하다고 검증할 권한을 갖느냐”가 될 가능성이 큽니다.
AI 통제, 핵심 질문으로 한눈에 정리
Q. 샘 올트먼이 정말 통제할 수 없는 AI는 훈련하면 안 된다고 말했나요?
그렇습니다. 올트먼은 인간이 계속 통제할 수 있다는 매우 강력한 근거를 제시할 수 없는 모델은 훈련해서는 안 된다고 유엔 안보리에서 밝혔습니다. (OpenAI)
Q. 그렇다면 OpenAI가 AI 개발을 멈추겠다는 뜻인가요?
아닙니다. 올트먼은 AI 개발 전면 중단이 아니라 능력이 커질수록 안전성과 인간 통제 가능성을 확인하면서 개발해야 한다는 입장을 밝혔습니다.
Q. 왜 AI 문제가 유엔 안전보장이사회에서 논의됐나요?
AI가 사이버 공격, 생물무기 악용, 국가안보와 연결될 수 있고 미래에는 인간의 통제를 벗어난 고성능 시스템의 위험까지 국제적인 문제로 이어질 수 있다는 판단 때문입니다. (유엔)
Q. AI 안전성은 지금 누가 검사하나요?
현재 하나의 세계 공인기관이 모든 최첨단 AI를 판정하는 구조는 없습니다. 개발사의 자체 평가와 각국의 안전기관·외부 평가가 병행되고 있으며, 이번 논의의 핵심이 바로 국제적으로 비교 가능한 공통 기준을 만드는 것입니다.
Q. 요슈아 벤지오는 어떤 규제를 제안했나요?
최첨단 AI 개발사가 독립 전문가에게 훈련과 배포의 안전성을 입증하도록 하고, 의약품·항공·원자력과 비슷한 허가제와 책임보험을 도입하는 방안을 제안했습니다. (요슈아 벤지오)
Q. 다리오 아모데이의 제안은 무엇인가요?
AI를 생물무기 개발에 사용하지 못하도록 하는 국제합의, 국가 간 약속을 확인할 평가·검증 시스템, AI 모델의 통제 상실과 악용 위험을 검사하는 공통 시험기준 및 사고통보 체계를 제안했습니다. (Axios)
Q. 이번 유엔 회의에서 AI 국제규제가 확정됐나요?
아닙니다. 이번 회의는 안보리 고위급 브리핑이었으며 여러 안전·검증 방안이 제안된 단계입니다. 실제 법률이나 국제규칙으로 만들려면 추가적인 국가 간 협의가 필요합니다. (Security Council Report)
Q. 앞으로 AI 뉴스에서 가장 중요하게 봐야 할 것은 무엇인가요?
성능뿐 아니라 독립검증, 공통 안전기준, 사고보고, 국가 간 검증체계가 실제 제도로 만들어지는지를 함께 볼 필요가 있습니다.
오늘 뉴알남이 풀어드린 이슈, 이해에 도움이 되셨나요? 🙂
앞으로도 뉴스 속 궁금증을 쉽고 명쾌하게 풀어드리기 위해 노력하겠습니다!
주요 출처
유엔 안보리 회의·공식 발언
OpenAI — Sam Altman’s remarks at the United Nations Security Council
AI 통제·검증 기준
OpenAI — Building standards for the next phase of AI
Yoshua Bengio — Professor Yoshua Bengio’s speech at the UN Security Council
최근 AI 통제 사례·국제 논의
UN 독립 국제 AI 과학패널 관련 자료 — 2026 AI 에이전트 통제 사례 분석
Security Council Report — Artificial Intelligence: High-level Briefing
함께 읽으면 좋은 글
그런데 AI 업계는 왜 갑자기 ‘인류 멸망’ 이야기까지 하기 시작했을까?
이번 안보리 논의가 갑자기 나온 것은 아닙니다. 최근 AI 연구자들의 위험 경고와 실제 에이전트 보안 사고가 어떻게 ‘AI 통제’ 논쟁으로 이어졌는지를 먼저 보면 이번 회의의 배경이 더 분명해집니다.
AI가 10년 안에 인류를 멸망시킨다? 앤트로픽 연구원이 회사를 그만둔 이유
안전을 위해 AI 속도를 늦추자는데 중국은 왜 반발했을까?
AI 안전기준은 기술 문제만으로 끝나지 않습니다. 미국과 중국의 기술경쟁이 얽히면서 ‘안전 규칙’ 자체가 어느 국가와 기업에 유리한지를 둘러싼 갈등도 커지고 있습니다.
