삼섬전자, 미디어텍, 퀄컴, 구글 등 글로벌 주요 IT 기업들이 인터넷 연결이나 클라우드 접속 없이도 생성형 AI 기능을 사용할 수 있는 온디바이스 AI 제품을 공개하고 있다. 더불어 관련 시장인 고대역폭 메모리HBA 수요와 온디바이스 AI에 특화된 D램 수요가 급증하고 있다.
인터넷・클라우드 접속 없어도 AI 기능 사용 가능한 온디바이스
2023년 11월 29일 IT 업계에 따르면 국내외 주요 IT 기업들이 서버나 클라우드 없이도 정보기술 기기 자체에 칩을 탑재해 연결성과 보안성을 높인 ‘온디바이스 인공지능(On Device AI)’ 제품을 공개하고 있다.
퀄컴은 2023년 10월 개최한 ‘스냅드래곤 서밋 2023’에서 온디바이스 AI 기능을 구현한 애플레케이션프로세서(AP) ‘스냅스드래곤8 3세대’ 칩셋을 공개했다. 차세대 모바일 컴퓨팅용 프로세서 ‘스냇드래곤 X 엘리트’도 발표하며 PC로 온디바이스 AI 생태계를 확장하겠다는 구상도 밝혔다.
대만 팹리스 업체 미디어텍은 자체 AI 가속기 차세대 APU(APU 790)을 적용한 디멘시티 9300을 발표했다. 디멘시티 9300은 초당 토큰 20개의 속도로 매개변수 최대 70억 개에 달하는 대규모언어모델(LLM)을 지원하며 비보, 오포, 샤오미 등 중국 스마트폰에도 대거 탑재된다.
구글은 구글폰 픽셀8 시리즈에 자체 개발한 온디바이스 AI AP ‘텐서 G3’를 적용하고 공개했다. 또한 자체 음성인식 AI ‘구글 어시스턴트’와 대규모 AI 모델 ‘바드’를 통합한 AI 비서 ‘어시스턴트 위드 바드(Asistant with Bard)’ 출시도 될 예정이다.
삼성전자는 온디바이스 AI 시장의 주도권을 잡기 위해 분투중이다. 2024년 1월에 출시 예정인 갤럭시 S24 시리즈에 자체 개발한 생성형 AI 가우스를 탑재하기로 했다. 가우스는 텍스트를 생성하는 언어 모델, 이미지를 생성하는 이미지 모델 등 3가지 모델로 구성된 프로그램이다.
삼성의 온디바이스 AI 기술이 탑재된 제품을 사용하면 개인정보 전송없이 기기 제어, 문장 요약, 문법 교정 등을 쉽게 활용할 수 있다.
온디바이스와 함께 성장하는 D램
온디바이스 관련 시장인 고대역폭 메모리(HBA) 수요가 증가하고 있다. 온디바이스 AI를 구동하는 추론용 AI의 신경망 처리장치인 NPU와 GPU에도 관심이 집중되고 있다.
온디바이스 AI에 특화된 D램 수요도 급증하고 있다. 온디바이스 AI 시대가 열리면서 고성능 D램을 제조하는 메모리 기업들도 수혜를 받을 전망이다.
삼성전자는 20224년 4・4분기 부터 온디바이스 AI에 특화된 저지연 와이드(LLW) D램 생산을 시작한다. SK하이닉스도 애플의 증강현실 디바이스인 비전 프로에 고대역 스페셜 D램을 공급한다.
AI 시장이 온디바이스 시장으로 다변화되면서 서버에서 차지하는 D램 비중은 2023년 17%에서 2027년에는 38%로 4년 만에 두배 증가할 것으로 예측된다.
삼섬전자, 미디어텍, 퀄컴, 구글 등 글로벌 주요 IT 기업들이 인터넷 연결이나 클라우드 접속 없이도 생성형 AI 기능을 사용할 수 있는 온디바이스 AI 제품을 공개하고 있다. 더불어 관련 시장인 고대역폭 메모리HBA 수요와 온디바이스 AI에 특화된 D램 수요가 급증하고 있다.
