(정보글) 어째서 특이점은 확정되었는가?

지능이란 무엇인가? 새로운 대상이나 상황에 부딪혔을 때 그 의미를 이해하고, 합리적으로 적응하며 문제를 해결하는 종합적인 지적 능력. 지능이란 ‘문제 해결 능력’이라 할 수 있다. 인공지능이란 무엇인가? 인간의 학습, 추론, 지각, 판단 능력 등 지능적인 행동을 컴퓨터나 기계로 구현하는 기술. 인공지능이란 ‘인공적으로 구현한 문제 해결 능력’이라 할 수 있다. 문제 해결 능력은 어디서 오는가? 문제 해결 능력은 현재 상태와 도달해야 할 목표 상태의 차이를 알고 이를 줄이는 과정에서 나온다. 이는 경험, 분석적 사고, 그리고 유연한 정보 조합을 통해 길러진다. 추론이란 무엇인가? 이미 알고 있는 사실이나 근거를 바탕으로 논리적인 결론을 이끌어 내는 과정이나 생각의 작용. 따라서 ‘문제 해결 능력’의 핵심은 ‘추론’이라 할 수 있다. o3는 어째서 앵무새가 아닌가? ‘이미 알고 있는 사실’이란 ‘사전 학습’이며. 추론이란 ‘사전 학습’ 내용을 바탕으로 새로운 결론을 이끌어내는 능력이기 때문이다. 일리야가 추론이 ‘예측할 수 없는 행동’으로 이어질 것이라 말한 이유도 이와 같다. 추론의 성능 향상은 어디서 오는가? 좋은 base model × RL 탐색 × verifier × test-time compute. base model : 이미 AI는 지구상의 대부분의 데이터를 학습하였다. test-time compute : AI의 장시간 추론을 위한 대규모 데이터센터 건설 프로젝트 ‘스타게이트’가 진행 중이다. 초지능까지 남은 2가지 조건. ‘RL 탐색’ 그리고 ‘verifier’ 인간의 뇌는 과거와 구조적 차이가 없다, 무엇이 변했는가? 주먹에 쥐고 쓸 수 있는 도끼 형태의 모양을 가지는 뗀석기를 ‘주먹도끼’라 부른다. 그렇다, 인류의 시작은 고작 이런 돌덩어리를 ‘도구’로 쓰는 원시 문명이었다. 그런 원시 문명이 현대엔 고도로 발전하여 로켓을 쏘는 우주 문명이 되었다. 이러한 것이 어떻게 가능한가? 인류의 지능이 갑자기 더 똑똑해진 것일까? 아니면 외계인 같은 ‘외부’의 도움이라도 있었던 것일까? 놀랍게도 인간의 뇌는 과거와 구조적 차이가 없다. 바뀐 것은 무엇인가? 무엇이 현대 문명이 가능하게 만들었는가? 바뀐 것은 단 하나였다. ‘문제에 대한 해결 접근 방식’ RL은 왜 중요한가? 강화 학습(Reinforcement Learning)은 인공지능이 주어진 환경과 상호작용하며, 시행착오(Trial and Error)를 통해 최적의 행동 방식을 학습하는 머신러닝 기법이다. 사전 학습만 끝낸 모델은 지식은 많지만, 그 지식을 어떤 방식으로 꺼내야 하는지, 어떤 답변이 좋은 답변인지, 어떤 행동이 성공적인 행동인지 제대로 모른다. 쉽게 말해, 낚시에 관한 책을 100만 권 읽은 사람과 비슷하다. 물고기의 종류도 알고, 낚싯대의 구조도 알고, 미끼의 이름도 안다. 하지만 실제 강가에 나가서 물고기를 잡아본 적은 없다. 이 상태에서는 그럴듯한 말은 잘할 수 있다. “이 상황에서는 이런 미끼를 쓰면 좋습니다.” “이 물고기는 이런 습성이 있습니다.” “이 방향으로 낚싯대를 던지는 것이 합리적입니다.” 하지만 실제로 물고기를 잡을 수 있는지는 전혀 다른 문제다. 강화 학습은 바로 이 지점에서 중요해진다. 강화 학습은 AI에게 단순히 정답 문장을 외우게 하는 것이 아니라, 어떤 행동을 했을 때 결과가 좋았는지 나빴는지를 알려주는 방식이다. 답을 맞히면 보상을 주고, 틀리면 보상을 주지 않거나 벌점을 준다. 코드를 작성했는데 테스트를 통과하면 보상을 받고, 테스트에 실패하면 보상을 받지 못한다. 수학 문제를 풀었는데 최종 답이 맞으면 보상을 받고, 계산 과정에서 틀리거나 답이 틀리면 보상을 받지 못한다. 웹사이트에서 상품을 찾아 장바구니에 담는 업무를 시켰는데 성공하면 보상을 받고, 엉뚱한 상품을 클릭하거나 중간에 멈추면 보상을 받지 못한다. 즉, 강화 학습은 AI에게 “그럴듯한 말”이 아니라 “실제로 결과를 만들어내는 행동”을 배우게 하는 과정이다. 낚시에 비유하면 이렇다. 사전 학습은 낚시 책을 읽는 과정이다. 강화 학습은 직접 낚싯대를 던져보고, 물고기가 잡히는지 안 잡히는지 확인하는 과정이다. 처음에는 엉뚱한 곳에 던진다. 줄도 꼬인다. 미끼도 잘못 고른다. 물고기를 놓치기도 한다. 하지만 수천 번, 수만 번 반복하면서 어떤 행동이 물고기를 잡을 확률을 높이는지 배운다. 중요한 점은 여기서 AI가 배우는 것이 단순 지식이 아니라는 것이다. AI는 “정답처럼 보이는 문장”을 배우는 것이 아니라, “성공으로 이어지는 행동의 패턴”을 배운다. 이 차이가 매우 크다. 즉, RL은 문제에 대한 해결 접근 방식을 최적화할 수 있다. 따라서 RL은 ‘추론 성능 향상’의 핵심이다. 이것이 오픈 AI가 케이크 보다 체리의 크기를 더 크게 만들려는 이유이다. ‘verifier’는 왜 필요한가? ‘문제에 대한 해결 접근 방식’을 최적화하기 위해선. 무엇이 옳은지. 무엇이 틀린 지. 검증할 수 있어야 한다. 수학과 코딩은 답이 정해져 있다. 하지만 현실엔 정해진 답이 없다. 그것은 무엇이 옳은지, 무엇이 틀렸는지 알 수 없다는 말이다. 검증할 수 없다는 것은 보상을 줄 수 없다는 말과 같다. 그래서 인간은 ‘정해진 답’이 아닌 ‘가장 보편적인 합’을 추구하게 됐다. 우리가 현재 살고 있는 사회의 구조는 ‘객관적인 답’이 아닌 ‘주관적인 합’으로 이루어져 있다. 인류는 ‘진화론적’으로 자연스럽게 ‘정반합’ 구조의 집단으로 성장했다. 인류는 서로가 서로의 ‘검증기’가 되어 ‘정해진 답’이 아닌 ‘최대한 답에 가까운 보편적인 합’을 추구하게 되었다. 무엇이 옳은지, 무엇이 틀린 지. 서로 간의 ‘문제에 대한 해결 접근 방식’을 개선했다. 80억 개의 검증기들로 인해 추론 고점은 끝을 모르고 계속 상승하였다. 이러한 구조는 완벽하게 ‘실시간 강화 학습’에 최적화되었다. 이것이 바로 ‘재귀 개선’의 본질이다. 현재 AI의 가중치는 변하지 않는다 아무리 좋은 ‘base model’의 사전 학습 지식을 바탕으로. 아무리 좋은 ‘추론’을 하여도. 현재 AI의 ‘base model’의 가중치는 변하지 않는다. 인류는 실시간으로 ‘문제에 대한 해결 접근 방식’을 개선해왔다. 하지만 현재 AI는 그것을 할 수 없다. AI에게도 실시간으로 가중치가 변하는 ‘지속 학습’이 필요하다. 하지만 실시간 지속 학습은 정렬할 수 없다 지속적인 학습 환경에서 실시간으로 가중치가 변하면, 어떠한 요소 때문에 이러한 결과가 나왔는지 알기 힘들다. 인류의 미래를 위해서 무언가 다른 방식이 필요하다. 그것은 무엇인가? ARC-AGI-3는 RL 문제다 대부분의 벤치마크들은 출시 후 빠른 시간 내에 정복되어 왔다. 하지만 ‘ARC-AGI-3’는 ‘GPT-5.6 Sol’로도 겨우 13.33%가 한계였다. 여기에 '스키마(Schema)'라는 하네스를 적용하자, 'ARC-AGI-3' 벤치마크에서 98.98%의 성능을 기록했다. 스키마 개발자들은 말한다. ‘ARC-AGI-3’는 RL 문제입니다. 이것은 무엇을 의미하는가? 하네스는 ‘base model’의 가중치 변화 없이 외부에 만들 수 있는 ‘문제에 대한 해결 접근 방식’이다. 릴리언 웽(Lilian Weng)은 OpenAI 안전 시스템 부사장을 지내고, 지금은 Thinking Machines Lab 공동창업자이다. 그는 7월 4일에 ‘Harness Engineering for Self-Improvement’라는 글을 올렸다. 릴리언 웽은 말한다. “하네스 엔지니어링은 자기 개선 방향으로 진화해 자동 연구를 가능케 하고, 그게 다시 더 똑똑한 모델로 이어질 가능성이 크다. 이유는 단순하다. 가중치 파인튜닝은 오류가 누적되고 비용이 크고 되돌리기 어렵다. 반면 하네스는 코드다 — 읽고, 고치고, 되돌리고, 검증할 수 있다.” 더 좋은 하네스는 더 좋은 학습 데이터를 만들고, 더 좋은 모델은 더 좋은 하네스를 설계하므로 양쪽이 서로를 개선하는 공진화 루프가 형성된다. 좋은 base model × RL 탐색 × verifier × test-time compute 알트먼 "2028년 말 '초지능' 등장...데이터센터 지능이 인류 넘어설 것" https://www.aitimes.com/news/articleView.html?idxno=207016 "2027년, 데이터 센터 속 천재들이 온다"…앤스로픽 CEO의 섬뜩한 경고 https://www.newsis.com/view/NISX20260129_0003494758 base model : 이미 AI는 지구상의 대부분의 데이터를 학습하였다. RL : 외부에 만들 수 있는 ‘문제에 대한 해결 접근 방식’인 하네스와 ‘base model’의 공진화 루프가 형성되었다. verifier : 대규모 데이터 센터 ‘스타게이트’ 안에 인류 문명과 같은 수많은 에이전트들이 모인 ‘데이터 센터 속 천재들의 나라’가 생겨날 것이다. test-time compute : AI의 장시간 추론을 위한 대규모 데이터센터 건설 프로젝트 ‘스타게이트’가 진행 중이다. 초지능 구축을 위한 모든 조건이 준비가 되었다. 하고 싶은 것을 해야 합니다. 곧 지구상의 그 어떠한 천재도 재귀 개선하는 ‘데이터 센터 속 천재들의 나라’의 초월적인 추론 구조 상승을 따라갈 수 없을 것입니다. 내일 먹을 바나나를 걱정하는 원숭이가 인간의 현대 사회를 상상할 수 없듯이. 곧 어마어마한 생산력으로 탈 희소성 사회가 옵니다. 생존의 정의는 살아남는 것에서 사는 이유를 찾는 것으로 바뀔 것입니다. 알트만은 최근 인터뷰에서 말했습니다. “인간은 역경에 대한 권리를 갖는다.” 역경이 없다는 것은 성장할 수 없음을 뜻한다. 성장할 수 없으면 게임을 할 이유가 사라진다. 인류의 미래는 메타버스에 있습니다. [시리즈] 특이점이 온다 시리즈 完 · (정보글) 어째서 많은 유명인들이 5년 안에 AGI가 온다고 하는가? · (정보글) 허사비스가 생각하는 전이 학습과 지니 그리고 AGI의 미래. · (정보글) 우카시 카이저가 말하는 텍스트 모델(AGI)가 가능한 이유 · (정보글) 무제한 멀티 모달 외장 메모리 에이전트가 온다. · (정보글) Connecting the dots, 점에서 월드 모델까지. · (정보글) 일리야는 어째서 인간의 감정이 중요하다 생각했는가? · (정보글) OpenAI의 Spud는 얼마나 뾰족할까? · (AI 웹툰) AGENT 1 이후 인간은 필요 없다 · (정보글) 부자유의 결핍을 만들어낼 '에이전트 경제'가 온다. · (정보글) 인류 구원 프로젝트 'World'가 온다. · (정보글) 재귀 개선의 미래는 '셀프 하네스'에 있습니다. · (특이점이 온다 시리즈 完) 인류의 마지막 도박 '제로원'이 온다. [시리즈] 메타버스가 온다 · 니들이 노인이 돼서 가상현실 나와도 노는건 아무런 문제 없는 EU-4부- 출처: 특이점이 온다 갤러리 [원본 보기]