구글 연구진, AI 학습을 조용히 망가뜨리는 반올림 버그 발견

구글 딥마인드의 선임 연구원 존 배런은 결과를 초래하는 오타와 다름없는 문제를 지적했다. 널리 쓰이는 학습 알고리즘의 표준 구현에서 정보를 담아야 할 숫자가 조용히 0으로 내림 처리되고 있는 것이다. 이 버그는 AI 모델 구축에 가장 흔한 소프트웨어 프레임워크인 PyTorch와 JAX, 그리고 교과서에 인쇄된 수식에서 나타난다.

그 영향은 충돌이 아니다. 느린 누출이다. 모델이 예측에 더 확신을 가질수록 올바른 학습 신호가 이 반올림 단계에서 사라질 가능성이 커진다. 교정 신호가 사라지면 모델 가중치를 조정하는 옵티마이저는 발판을 잃고, 학습 곡선은 안정되는 대신 요동친다. 쉽게 말해 모델의 확신이 바로 그것을 교정하기 위한 피드백 자체를 지워버릴 수 있다.

이것이 연구 세미나를 넘어 중요한 이유는 규모다. PyTorch와 JAX는 미국 연구소부터 DeepSeek와 알리바바의 Qwen 팀 같은 중국 개발자들이 같은 툴체인으로 구축한 오픈 모델을 공개하는 데 이르기까지, 상업적으로 사용되는 대형 언어 모델과 이미지 생성기의 대부분을 뒷받침한다. 공유 라이브러리의 미묘한 산술 결함은 태평양 양쪽의 경쟁자들을 동시에 건드릴 수 있는 몇 안 되는 것 중 하나다.

보고에 따르면 구글의 Gemini 모델은 자체 학습 설정에서 문제를 식별한 뒤 수정할 수 있었다. 모델이 모델을 만드는 코드를 감사하는 초기 사례다. 이 세부 사항은 버그 자체만큼이나 주목을 받을 가능성이 크다. 학습 파이프라인의 자동 검토가 신기한 일이 아니라 일상이 될 수 있음을 시사하기 때문이다.

실무적인 질문은 화려하지 않지만 크다. 잘 작동하는 학습과 흔들리는 학습 사이의 격차 중 얼마가 이 반올림 단계 때문이었을까? 라이브러리 기본값에 원인이 있었는데도 학습이 어렵다고 외면된 모델이 있었을까? 그리고 중국과 미국 모델을 서로 비교해 순위를 매기는 데 쓰인 것을 포함해, 공개된 벤치마크 비교 중 얼마나 많은 것이 이 결함을 안고 있는 학습에 기반하고 있을까?

대형 연구소 밖의 팀에게 당장의 교훈은 검증이다. 프레임워크 기본값은 대부분의 엔지니어가 절대적 진실로 여기며, 교과서 수식은 더욱 그렇다. 잘못 지정된 상수 하나가 미세조정, 증류, 평가를 거치며 아무도 모르게 전파될 수 있다. 출력물이 여전히 작동하는 모델처럼 보이기 때문이다. 단지 덜 안정적일 뿐이다.

더 넓은 요점은 AI의 진보가 이제 어디서 오는가에 관한 것이다. 최근의 도약 상당 부분은 더 큰 클러스터와 더 많은 데이터 덕분으로 여겨져 왔다. 이번 사건은 아무도 시연하지 않는 아래쪽의 수치적 배관이 여전히 모델이 무엇을 배울 수 있는지를 형성한다는 것을 상기시킨다. 반올림 규칙을 고치는 일은 새 모델 출시처럼 헤드라인을 장식하지는 않겠지만, 수정을 받아들이는 모든 이의 학습 곡선을 바꿀 수 있다.