On Device AI와 NPU

최근 가장 주목받고 있는 이슈 중 하나가 On Device AI입니다. 그리고, On Device AI와 함께 가장 주목받고 있는 반도체가 NPU입니다. 

 

On Device AI는 무엇일까요? 말 그대로 기기에 장착된 AI(인공지능)입니다. 기존의 AI(인공지능) 서비스는 클라우드 서버에 정보를 요청하고 받아왔기 때문에 유저는 AI(인공지능) 기능을 사용하기 위해 항상 온라인 상태로 있어야 했습니다. 이에 유저는 온라인 없이 오프라인에서 AI(인공지능) 사용할 수 없는 불편함이 있었는데, On Device AI는 이를 가능하게 해 주었습니다. 기기 자체에 AI(인공지능) 서비스가 가능하도록 NPU를 장착하여, 유저가 오프라인 상태에서도 보다 쉽게 AI(인공지능) 서비스를 이용할 수 있도록 한 것입니다.

 

스마트폰의 경우 기존에는 AI(인공지능) 서비스를 이용하려면 클라우드 서버에 접속하여야 했습니다. 하지만, 버퍼링 또는 통신장애로 인해 지연되거나 접속이 불가능하여 유저들이 사용하는데 어려움이 발생하는 경우가 종종 있었습니다. 그러나, On Device AI가 가능한 스마트폰의 경우는, 단말기 자체에서 AI(인공지능) 서비스를 제공할 수 있어서 통신장애 등 외부 환경에 간섭이 없이 유저가 보다 편리하고 빠르게 서비스를 이용할 수 있습니다. 또한 기존의 경우는 AI(인공지능) 서비스를 이용하기 위해 개인정보와 같은 민감한 정보들을 클라우드로 처리해야 했지만, On Device AI의 경우는 클라우드에 접속하지 않고 자체적으로 처리가 가능하여 보안상 유리합니다. 또한, AI(인공지능) 업체의 경우 클라우드 서버의 막대한 유지 관리비가 필요하여 대부분 유료 서비스를 제공하고 있습니다. 하지만, On-Devie AI의 경우는 각 단말기 자체에서 AI(인공지능) 서비스에 필요한 정보들을 처리하기 때문에 클라우드 서버 운용 비용을 절감하여 보다 경쟁력 있는 가격을 제시할 수 있을 것으로 예상합니다.

 

On Device AI의 한 가지 예로, 기존 애플의 Siri(시리), 삼성의 Bixby(빅스비) 같은 경우 클라우드 서버에 접속해야만 필요한 서비스를 받을 수 있었습니다. 따라서, 실시간 번역 및 통역 등을 이용하기 위해서는 항상 온라인에 접속이 되어 있어야만 했습니다. 반면에, On Device AI의 경우는 오프라인 상태에서도 실시간 통역 및 번역이 가능하며 그 외 다양한 AI(인공지능) 서비스가 제공될 것으로 예상됩니다.

 

그러면 NPU란 무엇일까요? NPU란 Neural Processing Unit(신경망 처리 장치)로써 AI(인공지능), 딥러닝 등을 위해 개발된 반도체입니다. 기존에는 AI(인공지능) 기능을 위해 병렬 처리 방식인 GPU를 활용해 왔지만, GPU의 경우 그래픽용으로 개발이 된 것으로 효율이 떨어지고 On-Device AI용으로 사용하기에는 비효율적인 칩이었습니다. 그래서 AI(인공지능) 연산에 특화되고 효율을 개선하기 위해 개발된 반도체가 NPU입니다. 작년 하반기 인텔의 울트라 코어 프로세스에 탑재가 되어 출시되었으며, 삼성의 갤럭시 S24에도 가우스라는 삼성의 NPU가 탑재되어 있습니다.