JD광고, CPU 측면 재검토로 AI 추론 지연 15% 단축

JD의 광고 사업부는 GPU를 더 구매하는 대신 AI 서빙 스택의 CPU 측면을 재구축해 엔드투엔드 추론 지연을 15% 단축했다고 밝혔다. 이 작업은 화웨이 쿤펑 서버 팀과 함께 진행됐으며, 중국 최대 전자상거래 행사 중 하나인 618 중간 쇼핑 페스티벌 기간에 실시간 트래픽의 5%에서 테스트됐다.

문제는 산술이었다. 생성형 추천 모델로 컴퓨팅 수요가 약 1000배 증가했지만, 광고 경매는 여전히 약 300밀리초 이내에 응답해야 한다. JD는 병목이 그래픽 칩이 아닌 범용 컴퓨팅에 있다고 결론지었다. 화웨이의 링취(Lingqu) 인터커넥트를 사용해 양측은 4단계 캐시를 2단계로 압축하고 300TB 공유 메모리 풀을 구축한 뒤, 시스템을 연결하는 원격 프로시저 호출을 재작성했다. 회사 측은 KV 캐시와 RPC 성능이 크게 향상됐다고 밝혔다.

이 협력은 이제 광고에서 검색과 추천으로 확대되고 있으며, 양측은 SuperCache 계층과 AI 에이전트용 샌드박스 환경을 작업 중이다. 중국 플랫폼에게 범용 서버에서 효율을 끌어내는 것은 희소한 가속기를 확보하는 것만큼 중요해지고 있다.

광고에서 지연은 곧 돈이다. 경매가 느려지면 입찰이 줄고 재고 가격이 낮아진다. 이 개선이 전체 트래픽에서 유지된다면, 이 접근법은 GPU 예산이 따라가지 못하는 동일한 1000배 수요 곡선에 직면한 다른 플랫폼에게 템플릿을 제공할 것이다.