차세대 AI 반도체 마하2(Mach-2) 개발 착수중인 네이버-삼성

AI News

cho.nii 2024. 4. 9. 07:09

네이버가 SW를 설계하고 삼성전자가 칩 디자인 및 생산을 맡는 방식으로 진행된다.

이미 네이버와 삼성전자는 마하1을 공동으로 개발중이고, 연내 성능 검증을 진행할 예정이다.

그렇다면 Mach-1, Mach-2은 무엇이고 왜 개발되어야 하는가?

우선, 현존하는 AI 시스템의 보편적인 문제인 "메모리 병목으로 인한 성능 저하와 전력 문제" 해결을 위함이다.

"마하1은 여러 가지 알고리즘을 써서 메모리와 GPU 사이에 데이터 병목현상을 8분의 1 정도로 줄이고 전력 효율은 8배 높이는 것을 목표로 한다"

"고대역폭메모리(HBM) 대신에 저전력(Low Power) D램을 써서도 LLM의 추론이 가능하도록 할 것이다. (AI 가속기는 통상적으로 HBM을 붙여서 사용한다고 한다)"

고대역폭 메모리 (HBM)

High Bandwidth Memory, 여러 개의 D램을 수직으로 쌓아 올려 만든 고성능 메모리
연산을 담당하는 시스템 반도체와, 정보 저장을 담당하는 메모리 반도체 중 메모리 반도체의 일종에 해당
AI 학습을 위해 필요한 데이터를 시스템 반도체에 제공하는 역할을 해 초거대 생성형 AI와 같은 대규모 데이터를 학습한 인공지능이 원활하게 연산할 수 있도록 도와준다.
SK하이닉스가 2021년 10월 최초로 개발에 성공하여 2022년 6월에 양산하기 시작한 4세대 제품 'HBM3'를 예로 들 수 있다.
이후 삼성전자가 HBM3E 12단 제품을 개발 완료하였는데, HBM 업계 3위인 마이크론의 신제품과 동일한 5세대 제품이지만, 마이크론의 HBM의 경우 D램을 더 많이 쌓아 올려 그만큼 더 큰 용량을 차지한다.

이러한 HBM을 AI 가속기에 사용하게 될 시의 불편함은,

HBM이 GPU의 구성 요소이기 때문에 고성능 HBM을 개발했다 한들, 이를 탑재할 GPU가 없다면 실질적 매출로 연결이 불가하다는 것!

그렇기 때문에, Mach-1은 HBM 대신에 저전력 D램을 써도 추론이 가능토록 하는 것이다.

Mach-1보다 더 업그레이드될 Mach-2는, 1테라(T) 파라미터 이상의 큰 애플리케이션에 적용 가능할 것이라는 차별점이 있는데,

그러면 AI가 학습 가능한 총량을 의미하는 파라미터(parameter, 매개변수)가 클수록 어떤 현상이 발생하는가?

많은 파라미터는 그만큼 높은 계산 및 메모리를 요구하므로 대규모 모델을 훈련하고 실행하는 데 필요한 하드웨어 및 인프라 비용을 증가시키기도 한다.
개발 시 과적합 현상이 발생할 수도 있고, 많은 파라미터에 걸맞는 많은 양의 데이터가 필요하므로 데이터가 부족한 경우는 모델의 성능이 저하될 수 있다.
필요시에 사전 학습된 모델을 가져와 특정 작업에 맞게 재조정하는 전이 학습이 가능해지므로 작은 데이터셋에서도 효과적인 학습이 가능하다.
복잡한 패턴을 학습할 수 있기 때문에 더 정확하고 세밀한 추론이 가능해진다.
따라서 일반적으로 고성능을 달성할 수 있는데, 이는 다양한 유형의 작업에서 뛰어난 결과를 얻을 수 있음을 의미한다.

요즘 생성 AI에 대한 관심이 급증하면서, LLM 개발에 대한 관심 또한 증가하고 있는데, 최근에 "2년 내에 LLM 학습 데이터가 고갈되어 데이터 문제로 AI 발전이 중단될 것"이라는 글을 읽었다.

LLM의 규모가 커지면 당연히 이에 따라 요구되는 데이터량도 증가할 것인데, 학습 데이터로 사용될 고품질 텍스트 데이터에 대한 수요가 공급을 초과할 것이라는 것이다. (이 내용은 다음 포스팅에서 분석해봐야 겠다.)

네이버 뉴스

naver.is