NVIDIA AI, 8.6K 라인 코드로 에이전틱 강화학습 프레임워크 Molt 출시
NVIDIA AI가 약 8.6K 라인의 코드로 구성된 파이토치 네이티브 에이전틱 강화학습 프레임워크 Molt를 출시했습니다.
핵심 요약
NVIDIA AI는 약 8.6K 라인의 강화학습(RL) 코드로 구성된 프레임워크 Molt를 공개했습니다. 이 프레임워크는 메가트론(Megatron) 기반 스택과 동일한 처리량을 달성하며, 연구원들이 겪던 복잡한 코드 수정 문제를 해결합니다. 개발자는 이제 분산 백엔드나 롤아웃(Rollout) 코드를 뜯어고칠 필요 없이 일반 파이썬 코드로 에이전트를 제어할 수 있습니다.
한눈에 보기
· 코드 규모: Molt는 약 8.6K 라인의 RL 코드로 구성된 경량화된 프레임워크입니다.
· 핵심 구성: Ray, vLLM, NeMo AutoModel을 하나의 비동기 루프로 통합하여 작동합니다.
· 성능 목표: 메가트론 기반 스택과 동일한 수준의 처리량(Throughput)을 달성합니다.
· 개발 자율성: 에이전트는 일반 파이썬 코드로 유지되며, 궤적(Trajectory)은 토큰 단위로 정확하게 보존됩니다.
에이전틱 RL 연구의 물리적 비용
에이전틱 강화학습 연구는 끊임없는 알고리즘 수정 과정입니다. 새로운 추정기나 롤아웃 방식을 적용할 때마다 연구원은 기존 프레임워크의 복잡한 구조를 수정해야 합니다.
기존 메인스트림 프레임워크에서는 하나의 변화가 트레이너, 분산 백엔드, 롤아웃 접착 계층을 모두 관통하도록 요구했습니다. 이러한 구조적 비용은 알고리즘을 개선하는 연구원의 몫으로 떠넘겨졌습니다.
결과적으로 연구원은 모델 자체의 성능을 높이기보다 프레임워크 코드를 수정하고 디버깅하는 데 많은 시간을 소모해야 했습니다. Molt는 바로 이 지점에서 발생하는 물리적, 시간적 비용을 줄이는 것을 목표로 합니다.
Molt의 통합 아키텍처 구성
Molt는 Ray, vLLM, NeMo AutoModel을 하나의 비동기 루프 주변으로 결합하여 작동합니다. 비동기 루프(Asynchronous loop)는 여러 작업을 동시에 처리하면서 병목을 최소화하는 핵심 실행 사이클입니다.
구성 요소
프레임워크 내 역할
Ray
분산 컴퓨팅 및 비동기 작업 스케줄링
vLLM
효율적인 모델 추론 및 텍스트 생성 가속
NeMo AutoModel
파이토치 기반 모델 구조의 자동 로드 및 관리
이 통합 구조는 외부 의존성을 최소화하면서도 전체 시스템의 성능을 극대화합니다. 약 8.6K 라인의 RL 코드로 이루어진 이 루프는 무거운 메가트론 기반 스택과 동일한 처리량을 안정적으로 끌어냅니다.
파이썬 네이티브 에이전트와 궤적 보존
이 프레임워크의 가장 큰 특징은 에이전트가 여전히 일반적인 파이썬 객체로 유지된다는 점입니다. 연구원은 프레임워크의 특정 문법을 배울 필요 없이 익숙한 파이썬 코드로 에이전트의 행동을 제어할 수 있습니다.
여기에 모델의 궤적, 즉 에이전트가 생성하는 텍스트 시퀀스는 토큰 정확도(Token-exact)를 유지합니다. 이는 모델이 생성하고 학습하는 모든 과정에서 데이터 손실이나 왜곡 없이 정확한 로그 확률을 계산할 수 있게 만듭니다.
결과적으로 연구원은 알고리즘의 순수한 성능 자체에만 집중할 수 있는 환경을 얻게 됩니다. 프레임워크와 얽혀 있던 복잡한 분산 처리 코드는 Molt 내부에서 알아서 처리됩니다.
그래서 무엇이 달라지나
에이전틱 강화학습 연구 방향의 패러다임이 프레임워크 디버깅에서 알고리즘 자체로 이동합니다. 개발자는 이제 수많은 계층의 코드를 뜯어고치지 않고도 새로운 추정기나 롤아웃 스킴을 즉각 테스트할 수 있습니다.
이는 향후 다양한 형태의 자율형 에이전트 모델이 훨씬 빠르고 쉽게 개발될 수 있음을 의미합니다. 적은 코드 라인으로 높은 처리량을 달성한 Molt의 접근 방식은 차세대 RL 프레임워크의 표준적인 설계 모델로 자리 잡을 가능성이 있습니다.
정리
Molt는 복잡한 분산 백엔드와 롤아웃 코드를 숨기고 일반 파이썬 인터페이스만 노출하여 개발 생산성을 크게 높입니다. 적은 코드로 기존 스택과 동일한 성능을 증명함으로써, 복잡성이 곧 성능을 의미하지 않는다는 점을 보여줍니다. 이는 연구원들이 에이전트 알고리즘 자체의 진화에 박차를 가할 수 있는 기반을 마련한 것입니다.