생성형 AI는 전례 없는 속도로 혁신과 발전을 거듭하고 있으며, 다양한 영역에서 빠르게 적용되고 있습니다. 이러한 AI 기술이 구현되는 환경 또한 빠르게 진화하고 있는데, 초기에는 대부분 클라우드 중심으로 개발되었고 앞으로도 클라우드는 필수적인 요소이지만, 현재 가장 큰 시사점은 디바이스 또는 엣지 자체에서 구현되는 AI입니다.
생성형 AI를 디바이스에서 자체적으로, 즉 온디바이스(on-device)로 실행하는 것은 생성형 AI의 확산을 가속화하며 경제 성장과 디지털 전환을 견인할 것으로 기대됩니다.

온디바이스 AI는 새로운 기술이기 보다 오래 전부터 다양한 곳에서 사용되고 있던 기술입니다. 본 세션에서는 온디바이스가 최근 주목을 받는 이유와 앞으로 어떻게 발전할 지 예측해 보고자 합니다.

지능을 가진 80억 명의 인류가 걸어온 역사. 앞으로 인류는 880억의 지능이 어우러진 역사를 쓰게 됩니다. 인간이 만들어 낸 온디바이스 AI를 통해, 인류가 소유한 800억 개의 기계가 지능을 품게 되기 때문입니다. 스마트폰, 냉장고, 집, 자동차 등 모든 것에 지능이 심어진 세상. 그 지능이 어우러진 세상은 어떤 모습일까요? 온디바이스AI로 인한 우리 일상, 노동, 경제 환경 등의 변화를 예상해 봅니다.

생성형 AI 서비스의 사용 증가로 전세계의 AI 전력 소모가 국가 단위를 초과하는 위기에 직면하고 있습니다. 이 전 지구적인 문제를 해결하기 위해 딥엑스는 전력, 성능, 비용을 획기적으로 최적화 한 온디바이스 AI 반도체를 개발하고 있습니다. 본 세션은 AI 일상화 시대를 위한 초저전력 온디바이스 AI 반도체의 초격차 기술과 발전 방향에 대해 제시합니다.

초거대 언어 모델을 실제 업무에 적용하기 위해 고려해야 할 환각/보안/비용 문제를 짚어 보고, 도메인별 특화 LLM 및 sLLM 도입 과정에서의 의사결정 기준에 대한 DO & DO NOT과 인사이트를 Q&A 형식으로 풀어봅니다.

온디바이스 AI는 사용자와 가장 가까운 곳에서 개인정보 이슈 없이 AI 서비스를 제공하기 위한 필수 기술입니다. 온디바이스 AI 실현을 위해 다양한 분야에서 기술 개발이 진행되고 있습니다. 본 세션에서는 국내외 온디바이스 AI 관련 기술 개발 동향과 그 전망에 대해 살펴봅니다.

매년 전세계에서 최신 기술이 담긴 60억개 이상의 문장이 텍스트로 발행되는 특허 빅데이터는, chatGPT 등 거대언어모델의 주요데이터로 사용되어서 더욱 활용도가 높아졌습니다. 특허 빅데이터에는 신규 비즈니스의 검증부터 기술 변화의 예측, 미래 유망기술의 예측까지 비즈니스 인사이트가 모두 담겨있습니다. 아이폰 다음 버전을 이미 알 수 있는 유일한 데이터이기도 합니다. 기업이 목적에 맞게 특허 데이터를 sLLM 구축에 활용하는 전략, 그리고 전세계 기술의 트렌드와 경쟁사를 누구나 쉽게 분석할 수 있는 sLLM 프레임워크를 바로 활용하는
방법에 대하여 소개합니다.

하드웨어 구성 요소에 따라 AI 모델을 최적화 하는 방식이 달라지기 때문에 온디바이스AI에서는 하드웨어를 이해하는 AI 모델 최적화 기술이 필수적입니다. 본 세션에서는 노타의 하드웨어를 이해하는 AI 모델 최적화 기술과 그 사례들에 대해 소개합니다.

각각의 기기에서 직접 실행되는 인공지능(AI) 기능을 통합한 애플리케이션 개발의 기술적 측면 및 최적화 방법 그리고 사용자 경험(UX)을 향상 시키고 시장에서 성공을 거둘 수 있는 '킬러앱'을 창출하기 위한 비즈니스 모델을 함께 고민해 봅니다.