• 강사 : 박종세 교수 (KAIST 전산학부)
• 일시 : 2026. 5. 11. (월) 16:00~17:30

최근 생성형 AI는 단순한 챗봇을 넘어, agent 기반의 복합적인 워크플로우로 빠르게 확장되고 있습니다. 이러한 변화는 LLM serving 인프라에 이전과는 비교할 수 없는 수준의 연산 자원 수요를 요구하고 있으며, 동시에 GPU, NPU, PIM, CXL 메모리 등 다양한 가속기와 분산형 시스템 구조가 등장하는 계기가 되고 있습니다. 그러나 현재의 AI 인프라는 여전히 GPU 중심 구조에 크게 의존하고 있으며, 새로운 하드웨어와 시스템 소프트웨어 기술들을 실제 서비스 환경에서 어떻게 조합하고 운영할 것인지는 여전히 중요한 도전 과제로 남아 있습니다. 본 세미나에서는 이러한 문제의식을 바탕으로, 다양한 가속기와 분산형 자원 구조를 활용하는 차세대 LLM serving 시스템 시대에 요구되는 새로운 시스템 소프트웨어 및 시뮬레이션 인프라에 대해 논의합니다. 특히 다양한 serving 기법과 가속기 조합이 빠르게 등장하는 환경에서, 실제 시스템을 구축하지 않고도 하드웨어-소프트웨어 통합 설계를 효과적으로 탐색할 수 있는 simulation infrastructure의 중요성을 소개하고, LLMServingSim 및 LLMServingSim 2.0을 중심으로 실행 환경 변화에 따라 동적으로 변하는 serving 동작, 다양한 가속기의 통합 활용, KV-cache 및 메모리 관리, prefill-decode 분리 구조, MoE serving 등의 최신 serving 기술들을 어떻게 모델링하고 분석할 수 있는지 설명합니다. 또한 최근에는 LLM serving 기술 자체가 매우 빠르게 진화하고 있다는 점에 주목하여, 이러한 변화에 기민하게 대응하기 위해 simulator 또한 빠르게 진화할 수 있어야 하며, 이를 위해 coding agent를 활용해 simulator 개발 및 확장을 자동화하는 새로운 프레임워크 방향에 대해서도 간략히 소개합니다.