국내 연구진이 최신 GPU 대비 약 44% 낮은 전력을 소모하면서도 생성형 인공지능(AI) 모델의 추론 성능을 평균 60% 이상 높일 수 있는 핵심 기술을 개발했다.
박종세 한국과학기술원(KAIST) 전산학부 교수 연구진과 하이퍼엑셀(김주영 KAIST 전기및전자공학부 교수 창업기업)이 챗GPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력의 신경망처리장치(NPU) 핵심 기술을 개발했다고 4일 밝혔다. NPU는 인공신경망을 빠르게 처리하기 위한 AI 전용 반도체 칩이다.
오픈AI 챗GPT4, 구글 제미나이 2.5 등 최신 생성형AI 모델들은 높은 메모리 대역폭뿐만 아니라 많은 메모리 용량이 필요하다. 마이크로소프트(MS), 구글 등 생성형AI 클라우드 운영 기업들이 엔비디아 GPU를 수십만 장씩 구매하는 이유다.
연구진은 기존 GPU 기반 AI 인프라가 수많은 GPU 디바이스를 필요로 하는 점에 주목해, 이를 대체할 수 있는 기술을 개발했다. 생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 일종의 임시 저장 공간의 데이터 크기를 줄여, 적은 수의 NPU만으로 AI 인프라를 구성할 수 있도록 했다. 동시에 이에 최적화된 하드웨어 설계를 결합했다. 최신 GPU 대비 비용·전력 효율성이 우수한 NPU를 사용해 AI 클라우드를 구성할 경우, 운영 비용을 크게 절감할 수 있을 것으로 기대된다.
박종세 교수는 “이 기술을 통해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다”며 “AI클라우드 데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI’ 등으로 대표되는 AI 대전환(AX) 환경에서도 중요한 역할을 할 것”이라 말했다.
이번 연구는 지난 6월 일본 도쿄에서 열린 ‘2025 국제 컴퓨터구조 심포지엄(ISCA)’에 발표됐다. 국제 컴퓨터구조 심포지엄은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회다.
참고 자료
International Symposium on Computer Architecture(2025), DOI: https://doi.org/10.1145/3695053.3731019
