NLP47 [논문 Review] 27. SIMA 2: A Generalist Embodied Agent forVirtual Worlds 더욱 발전된 SIMAAbstract단순한 언어 명령 수행에 국한되었던 이전 SIMA 1 연구와 달리, 대화형 파트너로서의 범용 체화 에이전트 (generalist embodied agent) 역할을 수행한다.이 에이전트는 고차원적 목표에 대해 추론하고, 사용자와 대화하며, 언어와 이미지를 통해 전달되는 복잡한 지시 사항을 처리할 수 있는 능력을 갖추고 있다.다양한 게임 포트폴리오 전반에 걸쳐 SIMA 2는 인간의 성능과의 격차를 상당히 좁혔으며, 기본 모델의 핵심 추론 능력을 유지하면서도 이전에 본 적 없는 새로운 환경에 대해 강력한 일반화 능력을 입증했다.나아가 SIMA2에서는 open-ended self-improvement 역량을 제시한다. SIMA 2는 Gemini를 활용해 스스로 과제를 생성하고.. 2026. 2. 2. [논문 Review] 26. Cultivating Game Sense for Yourself: Making VLMs Gaming Experts 에이전트에게 "Game Sense" 를 만들어주자AbstractAI에이전트를 통해 게임 플레이를 하도록 하는 최근 연구에서는 VLM을 직접적인 컨트롤러로 활용하며, 언어 추론을 통해 화면을 분석하고 행동을 계획하기 위해 게임을 빈번하게 일시정지하는 방식을 사용한다.Cradle(Tan et al., 2024): 화면 정보 분석과 의사결정 과정에서 발생하는 상당한 지연 시간(latency) 때문에 빠른 반응이나 역동적인 적응이 필요한 작업에 부적합 VARP (Chen et al., 2024): Cradle과 마찬가지로 VLM과 시각 도구를 함께 사용하여 게임 화면을 분석하고 행동을 계획하며, 이를 위해 주기적으로 게임을 일시정지해야 하는 한계 SIMA 1 같은 경우에는 시간 offset 예측하도록 학습되어 .. 2026. 1. 4. [논문 Review] 25. Scaling Instructable Agents Across Many Simulated Worlds 서로 다른 3D 상용 게임에서 자연어 지시를 수행하는 범용 AI 에이전트Abstract임의의 3D 환경에서 자연어 지시를 따라 행동할 수 있는 embodied AI system을 구축하는 것은 general AI를 만들기 위한 핵심 과제이다.* embodied AI : 인공지능이 물리적 세계와 상호작용 할 수 있도록 통합하는 것을 의미함https://www.nvidia.com/en-us/glossary/embodied-ai/이를 달성하기 위해서는, 복잡한 작업에서 "언어"를 "인지(perception)"와 "행동(embodied actions)"에 연결하는 학습이 필요하다.이번 SIMA 프로젝트에서는 연구용 환경부터 상업용 비디오 게임까지, 다양한 3D 가상환경에서 자유형(free-form) 언어 지시를.. 2025. 11. 25. [논문 Review] 24. ClueCart 게임의 내러티브를 파고들고 싶은 유저를 위한 Creativity Support ToolAbstract최근 게임에서 유행하는 Indexical Storytelling(지시적 스토리텔링) 에 대한 문제를 다룬다.이 방식은 창의적 해석과 팬 커뮤니티의 활발한 토론을 촉진하지만, 단편적이고 비선형적인 단서 구조 때문에 스토리 해석과 조직화가 어렵다는 문제가 있다.이를 해결하기 위해 연구진은 다음 세 가지 단계를 수행했다. 서사 단서의 계층적 분류체계(hierarchical taxonomy) 를 제안하고,이를 기반으로 ClueCart라는 창의적 스토리 해석 지원 도구(Creativity Support Tool, CST)를 설계했으며,Miro를 베이스라인으로 한 40명 규모의 실험을 통해 ClueCart가 단서 조.. 2025. 11. 3. [논문 Review] 23. Generative Agents 25명의 에이전트와 자연어로 상호작용해보자! 꽤나 예전에 나왔던 논문인데, 분량도 꽤 있고 좀 더 꼼꼼하게 읽고 싶어서 정리를 미루고 있었다. 예전에 나왔던 논문인만큼 사용하는 백본 모델도 gpt-3.5로 예전 버전이고, 최근에는 모델 성능도 발전했기 때문에 본 논문에서 제시한 문제점 중 해결이 된 부분들도 많을 것이라 생각한다.하지만 자연어로 상호작용하는, 페르소나를 가진 game agent는 꼭 연구해보고 싶은 분야였기 때문에 근본 논문인 generative agent부터 조사를 진행해보았다.https://arxiv.org/abs/2304.03442 Generative Agents: Interactive Simulacra of Human BehaviorBelievable proxies of human.. 2025. 4. 10. [논문 Review] 22. Evaluating Human-LM Interaction Human - LM Interaction을 평가하기 위한 벤치마크 구축HCI 분야에 관심을 가지게 된만큼 당분간 논문 리뷰는 해당 분야가 올라올 것 같다. 야호!원래는 근본 논문이자 최근에 가장 흥미롭게 읽었던 Generative Agents 논문을 먼저 가져오려고 했으나, 그건 정리가 길어질 것 같아서 우선은 미뤘다. 이 논문을 보게 된 이유도 바로 Generative Agents 논문 때문이다.실험 세팅이나 구성이 매우 흥미로워서 1저자분 블로그를 탐독했더니, 이러한 벤치마크 연구도 하셨더라.https://www.joonsungpark.com/ Joon Sung ParkJoon Sung Park's personal site.www.joonsungpark.com 지난 번 네부캠 프로젝트였던 "찐친이되.. 2025. 3. 6. 이전 1 2 3 4 ··· 8 다음
