삼성전자 AI 서버용 그래픽메모리 최적화 기술 발표
삼성전자가 AI 서버에서 그래픽처리장치의 메모리 활용도를 극대화해, AI가 답을 생성할 때 드는 원가를 크게 낮추는 서버용 신기술을 개발했다고 20일 밝혔다.
무슨 일인가요
AI 서비스는 사용자가 질문을 던질 때마다 수많은 그래픽처리장치와 메모리가 동시에 움직인다. 그런데 메모리가 충분히 활용되지 않으면 같은 성능을 내는 데 더 많은 서버와 전력이 필요하다. 삼성전자가 개발한 기술은 AI 서버 운영 과정에서 그래픽메모리가 쓰이는 방식을 정밀하게 분석하고, 데이터 배치를 재구성해 메모리를 빈틈없이 사용하도록 돕는다. 이를 통해 하나의 서버에서 더 많은 요청을 처리할 수 있어, 사업자 입장에서는 토큰당 생성 원가가 내려가는 효과를 볼 수 있다. 최근 AI 데이터센터의 전력과 운영 비용이 급등하면서, 성능 좋은 칩만큼이나 운용 효율을 높이는 소프트웨어적 기술의 중요성이 커지고 있다는 점에서 주목된다.
앞으로의 전망
AI 인프라 투자의 회수 압박이 커지는 상황에서, 삼성전자는 메모리 칩 자체의 성능과 함께 이를 효율적으로 쓰게 하는 풀패키지형 해법으로 차별화를 노리는 것으로 풀이된다. 고대역폭메모리에 이어 소프트웨어 최적화 영역까지 경쟁 무기로 삼으면서, AI 메모리 시장에서의 주도권 경쟁이 더 치열해질 전망이다.
자주 묻는 질문
Q1. 이 기술이 일반 사용자에게도 영향이 있나요?
네, 있습니다. AI 서비스 운영 원가가 내려가면 결국 서비스 요금 인상 폭이 줄거나 무료 사용 폭이 넓어질 수 있습니다.
Q2. 경쟁사와 비교해 어떤 점이 다른가요?
단순히 빠른 메모리를 파는 것을 넘어, 메모리를 효율적으로 쓰는 방법까지 함께 제공한다는 점이 차별점입니다.
Q3. 왜 원가 절감이 중요한 이슈가 되었나요?
AI 데이터센터의 전기요금과 서버 증설 비용이 급등하면서, 같은 성능을 더 적은 비용으로 내는 것이 사업자들의 최대 과제가 되었기 때문입니다.
출처: 연합뉴스