GPT -6 유출 루머, 스케일은 계속 커진다.

5번대는 5.6 을 끝으로 6이 몇 주 내 출시 될 수 있다는 루머가 나왔습니다. 특징으로는 완전히 새로이 설계 되었고, 훨씬 더 큰 사전 훈련 기반 위에 구축 되어 기존 대비 큰 도약을 이룰 것이라고 합니다. 5.6을 먼저 살펴 봅니다. 추정이긴 하나 대략적인 페이블과의 차이점이 발생하는 원인을 전 이렇게 보고 있습니다. 페이블은 본래 엔트로픽이 갖고 있던 장점에 더해 큰 모델로서의 장점이 돋보이는 모델입니다. 그래서 지식 베이스 및 육각형의 성능을 자랑합니다. 구글 제미나이와 같은 방대한 정보를 품고 있진 못하나 가장 근접하면서 수학 과학 코딩 문학 모든 면에서 일정 수준 이상을 보입니다. 이는 똑똑하기도 하지만 동시에 모델의 크기가 받쳐주기 때문에 가능한 것으로, 그 만큼 막대한 토큰 소모를 갖게 됩니다. 이런 육각형 모델에 대한 니즈를 아는 엔트로픽은 자신들의 모델이 갖는 장점을 대체하려면 양질의 데이터를 보유하고 있는 곳이 없고, 자사의 노하우를 넘어선 사이즈 역시 어느 누군가가 쉽게 만들어 낼 수 없음을 알고, 당분간 자사 경쟁력이 대체가 안 되는 점을 알기에 그 대체 가능성을 줄이기 위해 온갖 시스템 지침을 설계 하는 것을 주요 개발 목적 중 하나로 삼아 왔던 것 같습니다. 그런데 GPT는 연산을 더 잘하고 사이즈 대비 지능은 가장 탁월합니다. 아무래도 GPT가 자사 점유율을 지키기 위해서 초기화권을 뿌리곤 하지만, 단지 그 때문만이 아니라 상대적으로 적은 비용이 발생하는 것도 사실이 아닐까 싶습니다. 아무튼 상대적으로 작지만(절대치로는 큰) 더 효율적인 모델을 생각의 깊이를 더해 더 많고 효율적인 추론으로 엔트로픽 대비 지피티의 기존 강점이었던 수학, 과학, 추론에 있어서 보다 더 강화한 모델이 5.6이라는 것이고, 6이 훨씬 더 큰 사전 훈련 기반이라는 말을 쓰는 것으로 보아, 기존에는 더 큰 사이즈를 만들기 위한 양질의 데이터 양이 발목이 되었다면, 이제는 양질이면서 동시에 양도 많은 데이터를 확보하고, 학습해 둔 것이 아닐까 하는 추측을 해보는 것입니다. 이렇게 되면 클로드의 장점이 커버할 수 있고 오히려 전반적인 지능 면에서 앞설 수 있게 됩니다. 사이즈가 갖는 효과까지 더해지는 것이니까요. 다만 이런 경우의 단점은... 6 울트라 사용은...토큰 소모가 미토스 보다 더 많을 가능성도 있을 것 같습니다. 요약하면 오픈AI가 사이즈를 키우는데 필요한 조건을 어느 정도 충족된 것이 아닌가... 하는 내용을 품은 루머가 있었다는 것이고, 사실이라면 이제 다시 사이즈 키우는 경쟁이 두어 번 정도는 더 있지 않을까 하는 추측입니다. 물론 사이즈 키우기가 두어 차례 이상 반복 될 것인지는 의문입니다. 양질의 데이터를 계속해서 추가로 확보하는 것이 그만큼 어렵습니다. 제 개인적인 생각은 당분간은 두어 차례가 마지노선이 아닐까 싶습니다. 수년이 더 지나면 몰라도... 당장 추가로 더 커지면 개인의 가격 접근성이 떨어질 뿐만 아니라 데센에도 엄청난 ...기존 대비 역대급 컴퓨팅 수요가 발생할 수 있으니까요. 결론입니다. 양질의 데이터 확보의 어려움과 컴퓨팅 자원의 한계로, 정체 되었던 사이즈 키우기는 6을 기점으로 당분간 이어지다, 두어 차례... 지피티로 치면 6.x 버전 정도가 당분간은 한계이지 않을까하는 추측입니다. 그 이후까지는 모르겠습니다.