IT이야기

Data Agents: Levels, State of the Art, and Open Problems

딜레이라마 2026. 4. 23. 09:19
반응형

데이터 에이전트의 자율성 계층 구조와 기술 현황 및 지능형 데이터 생태계를 향한 연구 로드맵

현대 데이터 생태계는 이기종 및 다중 모드 데이터 소스, 끊임없이 진화하는 데이터 스키마, 그리고 데이터와 인공지능이 밀접하게 결합된 파이프라인의 출현으로 인해 그 복잡성이 과거와 비교할 수 없을 정도로 증대되었다.1 이러한 환경에서 대규모 언어 모델(LLM)을 기반으로 한 에이전트 기술은 데이터 관리, 데이터 준비, 그리고 데이터 분석 작업을 자동화할 수 있는 데이터 에이전트라는 새로운 패러다임을 탄생시켰다.3 그러나 데이터 에이전트라는 용어는 현재 학계와 산업계에서 매우 일관성 없게 사용되고 있으며, 단순한 질의 응답 보조 도구부터 완전한 자율성을 지향하는 인공지능 데이터 과학자에 이르기까지 그 범위가 모호하게 설정되어 있다.1 이러한 정의의 모호함은 시스템의 역량 경계와 책임 소재를 불분명하게 만들어 사용자, 시스템 설계자, 그리고 규제 기관이 데이터 에이전트의 실질적인 능력을 판단하는 데 큰 혼란을 야기한다.2

본 보고서는 이러한 혼란을 종식시키기 위해 제안된 최초의 계층적 분류 체계인 수준 0(L0, 자율성 없음)부터 수준 5(L5, 완전 자율성)까지의 프레임워크를 심층적으로 분석한다.1 또한 데이터 생명주기 전반에 걸친 데이터 에이전트의 기술적 진화 과정을 검토하고, 현재 연구의 최전선에 있는 수준 3(L3) 시스템들의 아키텍처를 상세히 대조한다.5 나아가 선제적이고 생성적인 미래의 데이터 에이전트를 구현하기 위해 해결해야 할 핵심 연구 과제와 로드맵을 제시함으로써 향후 10년의 데이터 시스템 발전 방향을 조망한다.1

데이터 에이전트의 개념 정립과 차별성 분석

데이터 에이전트는 원시 데이터

가 존재하는 환경

내에서 대규모 언어 모델

을 핵심 지능으로 활용하여 주어진 데이터 관련 작업

를 수행하고, 최적화된 결과물

를 생성하는 지능형 아키텍처

로 정의된다.1 이를 추상화된 수식으로 표현하면

와 같으며, 여기서 환경

는 데이터베이스 관리 시스템(DBMS), 코드 인터프리터, 다양한 API 등을 포함하는 복합적인 생태계를 의미한다.1

데이터 에이전트는 일반적인 목적의 LLM 에이전트와 비교했을 때 매우 독특하고 엄격한 요구 사항을 충족해야 한다.1 일반적인 LLM 에이전트가 정적인 지침 하에 텍스트나 이미지를 생성하는 작업에 집중한다면, 데이터 에이전트는 방대하고 동적인 데이터 레이크를 직접 탐사하고 항해해야 하는 탐구적 성격을 지닌다.2 또한 입력 데이터의 규모가 매우 크고 노이즈가 많은 원시 데이터 상태인 경우가 많으며, 도구 호출 시에도 SQL 검증기나 데이터 시각화 라이브러리와 같은 전문적인 데이터 툴킷을 정교하게 다루어야 한다.1 특히 데이터 파이프라인 내부에서 발생하는 오류는 하위 단계로 연쇄적으로 전이되어 분석 인사이트를 완전히 왜곡할 수 있으므로, 데이터 에이전트에게는 고도의 신뢰성과 거버넌스, 그리고 재현성이 요구된다.1

비교 항목 일반 LLM 에이전트 데이터 에이전트
주요 초점 작업 및 콘텐츠 중심 (텍스트 생성 등) 데이터 생명주기 중심 (관리, 준비, 분석)
문제 범위 명시적 지침 및 정적 프롬프트 하에 작동 방대하고 동적인 데이터 레이크 탐색
입력 데이터 소규모 및 정제된 데이터 대규모, 이기종, 노이즈 섞인 원시 데이터
도구 호출 범용 도구 (웹 검색, 계산기 등) 전문 데이터 도구 (DB 로더, SQL 검증기 등)
주요 출력 대화, 이미지, 추론 결과 등 처리된 데이터, 인사이트, 시각화 보고서 등
오류의 영향 직접적인 출력물에 국한됨 하위 파이프라인 및 인사이트로 연쇄적 전이

이러한 차별적 특성으로 인해 데이터 에이전트는 단순히 언어 모델의 성능에만 의존하는 것이 아니라, 데이터 시스템의 물리적 제약 조건과 논리적 구조를 깊이 있게 인지하고 그 안에서 최적의 경로를 계획할 수 있는 능력을 갖추어야 한다.6

자율성 수준별 계층 구조: L0에서 L5까지의 진화

자동차 주행 자동화 표준인 SAE J3016에서 영감을 얻은 데이터 에이전트의 6단계 자율성 분류 체계는 인간과 인공지능 간의 주도권 전이 과정을 명확하게 보여준다.1 각 수준은 에이전트의 인지 능력, 계획 수립 범위, 그리고 환경과의 상호작용 정도에 따라 구분된다.4

수준 0 및 수준 1: 수동 작업과 보조 단계

수준 0(L0, 자율성 없음)은 데이터 에이전트가 전혀 개입하지 않는 상태를 의미한다.4 이 단계에서는 데이터 관리, 준비, 분석의 모든 과정이 인간 전문가(DBA, 데이터 엔지니어, 분석가)에 의해 수동으로 수행된다.5 인간은 도메인 지식과 기술적 전문성을 바탕으로 모든 워크플로우를 직접 통제하며, 자동화 기술은 인간의 명령을 단순 실행하는 수준에 머문다.4

수준 1(L1, 보조)은 에이전트가 상태 비저장(stateless) 프롬프트-응답 방식으로 인간의 작업을 지원하기 시작하는 단계이다.1 L1 에이전트는 질문에 답하거나 코드 스니펫을 생성하고 쿼리를 제안할 수 있지만, 실제 환경을 인지하거나 도구를 직접 호출하여 실행하지는 않는다.4 이 단계에서 에이전트의 역할은 '응답자(Responder)'에 국한되며, 제안된 내용의 실행 여부와 검증에 대한 모든 책임은 인간에게 남아 있다.1 대표적인 예로 텍스트를 SQL로 변환해주는 단순 챗봇이나 특정 파이썬 코드 생성을 도와주는 코파일럿 시스템들이 이에 해당한다.5

수준 2: 부분 자율성과 환경 상호작용

수준 2(L2, 부분 자율성)에 도달하면 데이터 에이전트는 환경을 인지하고 직접 상호작용할 수 있는 능력을 갖추게 된다.1 에이전트는 데이터 레이크, DBMS, 코드 인터프리터, 외부 API 등에 접근하여 특정 작업을 자율적으로 수행할 수 있는 '실행자(Executor)'의 역할을 수행한다.1 L2 에이전트는 메모리를 보유하여 작업 상태를 유지할 수 있으며, 실행 피드백을 받아 전략을 수정하는 반복적인 프로세스를 가질 수 있다.4 그러나 전체적인 파이프라인의 설계와 작업의 선후 관계 결정은 여전히 인간이 담당하는 파이프라인 내에서 이루어진다.1 수준 2의 핵심은 인간이 설계한 워크플로우 내에서 특정 절차적 작업을 에이전트가 위임받아 독립적으로 완수하는 데 있다.1

수준 3: 조건부 자율성과 오케스트레이션의 혁신

수준 3(L3, 조건부 자율성)은 에이전트가 단순한 실행자를 넘어 워크플로우의 '조율자(Orchestrator)'이자 '주도자(Dominator)'로 진화하는 단계이다.1 수준 3 데이터 에이전트는 사용자의 고수준 의도를 해석하여 데이터 관리, 준비, 분석 전 과정을 아우르는 맞춤형 파이프라인을 스스로 설계하고 실행한다.1 인간은 더 이상 세부적인 단계별 지침을 제공하지 않으며, 에이전트가 제안한 계획과 최종 결과물을 검토하고 승인하는 감독자(Supervisor) 역할을 수행한다.1 이 단계에서 작업의 지배력과 일차적 책임은 인간에서 에이전트로 이동하며, 에이전트는 환경의 피드백과 중간 결과를 바탕으로 파이프라인을 동적으로 최적화해야 한다.1 현재 학계에서 제안되는 AgenticData, DeepAnalyze, Data Interpreter와 같은 프로토-L3(Proto-L3) 시스템들이 이 영역의 기술적 한계를 돌파하기 위해 경쟁하고 있다.16

수준 4 및 수준 5: 고도화된 자율성과 생성적 비전

수준 4(L4, 고도 자율성)는 인간의 명시적인 명령 없이도 에이전트가 스스로 가치 있는 작업을 발견하고 수행하는 '선제적(Proactive)' 단계를 지향한다.1 L4 에이전트는 데이터 생태계를 지속적으로 모니터링하며 데이터 품질의 저하나 성능 저하, 새로운 분석 기회 등을 스스로 감지한다.1 감지된 문제나 기회에 대해 에이전트는 자율적으로 우선순위를 정하고 파이프라인을 설계하여 조치하며, 인간은 사후에 보고를 받는 방관자(Onlooker) 또는 위임자 역할을 하게 된다.1

마지막인 수준 5(L5, 완전 자율성)는 에이전트가 기존 방법론을 적용하는 것을 넘어 새로운 알고리즘과 이론, 패러다임을 발명하는 '생성적(Generative) 데이터 과학자'로 기능하는 비전을 제시한다.1 L5 에이전트는 현재 방법론의 한계를 인식하고 새로운 해결책을 제안하며 실험을 통해 이를 검증한다.5 이 단계에서 인간의 개입은 불필요해지며, 데이터 에이전트는 독자적인 연구와 혁신을 주도하는 주체로 거듭나게 된다.1

데이터 생명주기별 에이전트 기술의 현황

데이터 에이전트는 데이터 관리, 데이터 준비, 그리고 데이터 분석이라는 세 가지 주요 영역에서 자율성을 확장해가고 있다.1 각 영역에서 수준 1부터 수준 2까지의 기술적 진화 양상을 구체적으로 살펴보는 것은 현재 수준 3으로 나아가기 위한 토대를 이해하는 데 필수적이다.1

지능형 데이터 관리: 구성 튜닝에서 시스템 진단까지

전통적인 데이터베이스 관리(Database Management) 작업은 고도의 전문 지식을 갖춘 DBA의 수동 작업에 의존해왔다. 하지만 수준 1 에이전트의 등장으로 구성 튜닝과 쿼리 최적화에 LLM의 추천 기능이 도입되기 시작했다.1 예를 들어,

-Tune이나 E2ETune은 워크로드 특성을 바탕으로 LLM을 활용하여 최적의 구성 후보를 추천하며, Andromeda는 구성 디버깅을 위한 진단 제안을 생성한다.1

수준 2 단계에 들어서면 에이전트는 단순 추천을 넘어 DBMS와 직접 연결되어 실제 모니터링 정보를 수집하고 실행 계획을 동적으로 조정한다. Rabbit이나 R-Bot과 같은 시스템은 환경 피드백을 통해 쿼리 재작성과 구성 조정을 반복적으로 수행하며, D-Bot은 데이터베이스 장애 진단을 위해 LLM 에이전트가 직접 진단 보고서를 작성하고 조치를 실행하는 수준에 도달했다. 이러한 기술적 진보는 데이터 시스템 운영 비용을 획기적으로 낮추고 시스템 안정성을 높이는 결과로 이어지고 있다.

데이터 준비의 자동화: 정제, 통합, 발견의 혁신

데이터 준비(Data Preparation) 단계는 원시 데이터의 품질을 확보하기 위한 데이터 정제, 이기종 데이터 소스의 통합, 그리고 방대한 데이터 레이크에서의 데이터 발견을 포함한다.1 수준 1 에이전트는 RetClean이나 LakeFill과 같이 결측치를 추론하거나 정제 규칙을 생성하는 보조 도구로 활용되었다. 또한 AutoDDG와 LLMCTA는 데이터셋의 메타데이터를 생성하거나 컬럼 타입을 주석 처리하는 기능을 제공한다.

수준 2 에이전트는 데이터 레이크나 데이터베이스에 직접 접근하여 정제 작업을 수행하고 제약 조건을 검증한다. CleanAgent는 LLM 기반 에이전트가 데이터 표준화 작업을 자동화하며, SEED나 Agent-OM은 온톨로지 매칭과 엔티티 해상도(Entity Resolution) 작업을 위해 에이전트가 반복적으로 의사결정을 내린다.20 특히 LEDD와 같은 최신 기술은 데이터 레이크 전반에 걸친 데이터 발견 과정을 지능화하여 수많은 데이터 소스 중 분석에 필요한 가장 적합한 데이터를 스스로 찾아내고 프로파일링한다.1

정교화된 데이터 분석과 시각화 및 보고서 생성

데이터 분석(Data Analysis) 영역에서는 자연어를 SQL이나 시각화로 변환하는 기술(NL2SQL, NL2VIS)이 수준 1 에이전트의 중심을 이루었다.1 BINDER나 Prompt4Vis와 같은 시스템은 정제된 데이터셋 위에서 사용자의 질문에 답하거나 시각화 차트를 제안하는 역할을 수행한다.10

수준 2로의 진화는 정적인 쿼리 생성을 넘어 다단계 분석 프로세스를 동적으로 수행하는 능력을 의미한다. DeepEye-SQL이나 nvAgent와 같은 시스템은 SQL 엔진, 플로팅 라이브러리, 검색 모듈과 같은 외부 도구를 직접 호출하며 분석 과정을 스스로 검증하고 수정한다.13 또한 SiriusBI나 DataTales와 같은 비즈니스 인텔리전스(BI) 지향 에이전트는 분석 결과물들을 결합하여 인간 분석가 수준의 분석 보고서를 생성하거나 데이터 기반 기사를 작성하는 단계까지 발전했다.

데이터 생명주기 수준 1 (보조) 사례 수준 2 (실행자) 사례
데이터 관리 -Tune, Andromeda, LLMTune Rabbit, R-Bot, D-Bot, GaussMaster
데이터 준비 RetClean, LakeFill, AutoDDG, LLMClean CleanAgent, SEED, Agent-OM, LEDD
데이터 분석 NL2SQL(DIN-SQL), NL2VIS, TableQA DeepEye-SQL, nvAgent, SiriusBI, Data Interpreter

프로토-L3 데이터 에이전트: 자율적 오케스트레이션의 선구자들

현재 학계와 산업계의 가장 뜨거운 화두는 수준 2의 '실행자' 단계를 넘어 수준 3의 '조율자'로 도약하는 것이다.1 수준 3 에이전트는 파이프라인의 각 단계를 사전에 정의된 규칙에 따라 수행하는 것이 아니라, 작업의 복잡성과 데이터의 특성에 맞춰 최적의 워크플로우를 스스로 구성해야 한다.1 이러한 도전을 해결하기 위해 등장한 대표적인 프로토-L3 시스템들의 기술적 상세 내용을 대조 분석한다.5

AgenticData: 이기종 데이터 분석을 위한 다중 에이전트 협업

HKUST에서 개발한 AgenticData는 정형 및 비정형 데이터가 혼재된 복잡한 데이터 레이크에서 자연어 질의를 처리하기 위한 혁신적인 아키텍처를 제시한다.13 이 시스템은 단일 에이전트의 한계를 극복하기 위해 역할을 분담한 세 가지 핵심 에이전트를 조율한다.13

  1. 데이터 프로파일링 에이전트(Data Profiling Agent): 방대한 데이터 저장소에서 작업과 관련된 데이터셋을 식별한다. 텍스트 파일이나 데이터베이스로부터 스키마 정보를 추출하고, RAG를 활용하여 각 컬럼의 의미를 풍부하게 기술함으로써 시맨틱 카탈로그를 구축한다.13
  2. 데이터 계획 에이전트(Data Planning Agent): 프로파일링 정보를 바탕으로 고수준의 시맨틱 실행 계획을 수립한다.13 이 계획은 관계형 대수 연산자뿐만 아니라 감성 분석이나 시맨틱 필터와 같은 지능형 연산자를 포함하는 트리 구조로 구성된다.13
  3. 데이터 조작 에이전트(Data Manipulation Agent): 수립된 계획을 실제 실행 가능한 코드로 변환하고 실행한다.13 사전 정의되지 않은 특수 연산이 필요한 경우, LLM을 활용해 동적으로 파이썬 코드를 생성하여 문제를 해결한다.13

AgenticData의 핵심 차별점은 **시맨틱 교차 검증(Semantic Cross-validation)**과 스마트 메모리 에이전트에 있다.13 LLM이 복잡한 계획 수립 시 범할 수 있는 논리적 오류를 잡아내기 위해, 생성된 계획을 별도의 검증 모듈이 문법적, 논리적으로 검사하고 피드백을 주어 계획을 반복적으로 수정한다.32 또한 스마트 메모리는 작업 중 발생한 성공과 실패 사례를 장기 지식으로 축적하여 향후 유사한 작업의 효율성을 높인다.30

DeepAnalyze: 학습 기반의 자율 데이터 과학 모델

DeepAnalyze-8B는 고정된 워크플로우에 의존하는 기존 에이전트들과 달리, 데이터 과학 전 과정을 자율적으로 수행할 수 있도록 직접 훈련된 에이전틱 언어 모델이다.16 이 모델은 80억 개의 파라미터를 가진 기초 모델 위에 **커리큘럼 기반 에이전틱 훈련(Curriculum-based Agentic Training)**을 적용하여 인간 데이터 과학자의 숙련 과정을 모방하도록 설계되었다.16

DeepAnalyze는 다음과 같은 다섯 가지 전문화된 액션 토큰을 통해 환경과 상호작용한다 34:

  • <Analyze>: 계획 수립 및 반성적 사고를 수행한다.
  • <Comprehend>: 데이터베이스나 복잡한 문서 구조를 파악한다.
  • <Generate>: 환경 조작을 위한 파이썬 코드를 생성한다.
  • <Execute>: 생성된 코드를 실행하고 피드백을 수집한다.
  • <Report>: 최종 분석 결과와 시각화가 포함된 심층 보고서를 작성한다.

DeepAnalyze는 데이터 기반 궤적 합성(Data-grounded Trajectory Synthesis) 프레임워크를 통해 훈련 데이터를 확보한다.16 이는 복잡한 다단계 작업에서 정답에 도달하기까지의 긴 추론 과정을 LLM이 스스로 생성하고 정제하도록 함으로써, 훈련 시 발생하는 보상 희소성 문제를 극복한다.34 실험 결과, DeepAnalyze는 훨씬 큰 규모의 유료 모델 기반 에이전트들보다도 복잡한 데이터 과학 벤치마크(DataSciBench 등)에서 뛰어난 성능을 보여주었으며, 특히 자유 형식의 데이터 탐사 작업에서 분석가 수준의 보고서를 생성하는 능력을 입증했다.16

Data Interpreter: 계층적 그래프 기반의 동적 계획법

Data Interpreter는 복잡하고 의존성이 높은 데이터 과학 작업을 해결하기 위해 작업을 그래프 구조로 모델링하는 접근 방식을 취한다.17 이 시스템은 문제 해결 과정을 '작업 그래프(Task Graph)'와 '행동 그래프(Action Graph)'라는 두 단계의 계층 구조로 관리한다.23

  • 동적 계획 수립: 데이터 과학 작업 중 중간 데이터의 특성이 변하거나 예기치 못한 실행 결과가 나올 경우, 계층적 그래프 구조를 실시간으로 업데이트하여 계획을 동적으로 수정한다.23
  • 자동화된 도구 통합: 실행 과정에서 필요한 도구를 스스로 식별하여 통합하며, 필요한 경우 새로운 도구 함수를 작성하여 자신의 라이브러리를 확장한다.37
  • 논리적 버그 인지 추론: 실행 결과의 신뢰도 점수와 테스트 주도 검증을 통해 코드 내의 논리적 오류를 감지하고 스스로 디버깅하는 능력을 갖추고 있다.24

Data Interpreter는 InfiAgent-DABench와 같은 벤치마크에서 기존 에이전트 대비 25% 이상의 성능 향상을 기록하며, 복잡한 머신러닝 모델링 및 수학적 문제 해결에서 그 효용성을 증명했다.17

수준 4 및 수준 5를 향한 핵심 연구 과제와 로드맵

현재 프로토-L3 시스템들이 보여주는 가능성에도 불구하고, 진정한 수준 4 및 수준 5 데이터 에이전트를 구현하기 위해서는 넘어야 할 기술적, 거버넌스적 장벽이 여전히 존재한다.1 향후 연구 로드맵은 이러한 한계를 돌파하기 위한 네 가지 핵심 방향으로 압축된다.1

인과 추론 및 메타 추론의 고도화

현재의 데이터 에이전트는 주로 데이터 간의 상관관계에 의존하여 계획을 수립하기 때문에, 복잡한 시스템 장애나 데이터 왜곡의 근본 원인을 파악하는 데 한계가 있다.28 수준 4 이상의 에이전트는 인과 추론(Causal Reasoning) 능력을 갖추어 '왜' 특정 결과가 발생했는지를 이해하고, 가상의 시나리오를 시뮬레이션할 수 있어야 한다.28 예를 들어, 자동차 진단 데이터의 복잡한 오류 패턴을 분석하는 CAREP 시스템은 인과 발견 에이전트를 통해 단순 통계적 일치가 아닌 물리적 인과 관계에 기반한 진단 규칙을 생성한다.39

또한 에이전트가 자신의 추론 과정 자체를 평가하고 최적화하는 메타 추론(Meta-reasoning) 기술이 필요하다.1 이는 에이전트가 현재의 작업 방식이 비효율적임을 깨닫고 스스로 전략을 변경하거나, 연쇄적으로 발생할 수 있는 오류를 사전에 예측하여 방어 기제를 작동시키는 지능을 의미한다.1

선제적 문제 발견과 장기적 계획 수립

수준 4 에이전트의 가장 큰 특징은 '선제성(Proactivity)'이다.1 이를 구현하기 위해서는 에이전트에게 **내재적 동기(Intrinsic Motivation)**와 작업 발견 능력을 부여해야 한다.1 에이전트는 데이터 레이크를 지속적으로 관찰하면서 데이터 드리프트(Data Drift)를 사전에 감지하거나, 특정 데이터 소스의 잠재적 가치를 스스로 판단하여 분석 프로젝트를 제안하고 실행할 수 있어야 한다.1

또한 수많은 중간 단계를 거치는 장기적 계획 수립(Long-horizon Planning) 능력이 필수적이다.5 이는 단순한 단계별 최적화가 아니라, 초기 단계의 데이터 정제 비용이 최종 분석 결과의 정확도에 미치는 영향을 고려하여 전체 비용 대비 이익(ROI)을 최적화하는 전략적 의사결정 능력을 포함한다.5

에이전트 중심의 데이터 아키텍처와 메모리 시스템

기존의 데이터 시스템은 인간이 사용하기 편리하도록 설계되었으나, 미래의 시스템은 에이전트가 주체적으로 데이터를 인지하고 행동할 수 있는 에이전트 우선(Agent-first) 아키텍처로 진화해야 한다.15 이는 에이전트의 '감각' 역할을 할 수 있는 요약 메타데이터, 구체화된 뷰(Materialized View), 그리고 시맨틱 인덱스 등을 시스템 수준에서 에이전트에게 도구 형태로 제공하는 것을 의미한다.1

특히 세션과 작업을 가로질러 지식을 축적하는 스마트 메모리 시스템의 발전이 결정적이다.42 에이전트의 메모리는 현재 작업 중인 문맥을 담는 '작업 메모리(Working Memory)', 과거의 특정 실행 사례를 저장하는 '일화적 메모리(Episodic Memory)', 그리고 도메인 지식과 노하우를 담는 '시맨틱 메모리(Semantic Memory)'로 계층화되어야 한다.31 이를 통해 에이전트는 한 번 겪은 실패를 반복하지 않고 시간이 갈수록 점점 더 똑똑해지는 자기 개선 능력을 갖추게 된다.42

신뢰성, 보안 및 거버넌스 프레임워크

에이전트의 자율성이 높아질수록 그에 따른 책임과 보안 리스크도 정비례하여 커진다.4 에이전트가 데이터베이스 설정을 변경하거나 민감한 데이터를 처리할 때 발생할 수 있는 사고를 방지하기 위해, 에이전트 가시성 및 통제(Agent Visibility and Control, AVC) 메커니즘이 필요하다.15 모든 에이전트의 행동은 로깅되어 추적 가능해야 하며, 거버넌스 정책에 따라 특정 행동이 실시간으로 차단될 수 있는 가드레일이 구축되어야 한다.7

최근 연구에 따르면, 에이전트가 중간 메모리나 실행 로그를 통해 민감한 정보를 유출하거나(AgentLeak), 간접적인 프롬프트 주입 공격을 받을 가능성이 제기되고 있다.7 따라서 샌드박스화된 실행 환경과 권한 최소화 원칙에 기반한 보안 아키텍처 설계가 수준 4 및 수준 5 구현의 전제 조건이 될 것이다.42

평가 방법론과 벤치마크의 진화

데이터 에이전트의 자율성을 객관적으로 평가하는 것은 기술 발전의 속도를 조절하고 신뢰를 구축하는 데 필수적이다.1 전통적인 작업별 정확도 평가를 넘어, 에이전트가 얼마나 복잡한 오케스트레이션을 수행하는지, 오류 발생 시 얼마나 스스로 잘 복구하는지를 측정하는 새로운 지표들이 도입되고 있다.42

KDD Cup 2026: 복잡한 데이터 분석을 위한 데이터 에이전트 챌린지

2026년 열리는 KDD Cup은 데이터 에이전트 기술의 현재 좌표를 확인할 수 있는 가장 권위 있는 시험대가 될 것이다.27 이번 대회는 사용자의 복잡한 분석 질문을 받아 이기종 데이터 소스 전반에 걸쳐 다단계 추론을 수행하고 정확한 답변을 도출하는 에이전트를 구축하는 것을 목표로 한다.27

대회 주최측인 HKUSTDial 팀이 공개한 스타터 키트는 에이전트가 환경과 상호작용하기 위해 사용하는 핵심 도구들을 다음과 같이 정의하고 있다 49:

도구 이름 주요 기능 입력값 예시
list_context 현재 환경 내의 파일 및 디렉토리 목록 조회 max_depth
read_csv CSV 파일의 내용을 읽고 미리보기 생성 path, max_rows
execute_context_sql SQLite 데이터베이스에 대해 읽기 전용 SQL 실행 path, sql, limit
execute_python 환경 내부에서 임의의 파이썬 코드 실행 code
inspect_sqlite_schema 데이터베이스 내 테이블 및 스키마 구조 확인 path
answer 최종 분석 결과 테이블 제출 및 작업 종료 columns, rows

이러한 도구 구성은 수준 2 이상의 에이전트가 환경을 인지하고 조작하기 위해 필요한 최소한의 능력을 시사하며, 대회를 통해 수준 3의 자율적 오케스트레이션 능력이 실질적으로 어느 수준까지 도달했는지가 증명될 것이다.49

다차원적 에이전트 평가 프레임워크

단순 성능 지표 외에, 실제 운영 환경에서의 에이전트 가치를 판단하기 위한 다차원적 평가 기준들이 제시되고 있다 42:

  • 메모리 아키텍처 성능: 문맥 창을 넘어 세션 간 지식이 얼마나 효율적으로 유지되고 재활용되는가.42
  • 자율 운영 능력: 인간의 개입 없이 다단계 작업을 완수하는 비율은 어느 정도인가.42
  • 자기 개선 속도: 실패 사례를 학습하여 유사한 작업을 수행할 때 성능 향상이 일어나는가.42
  • 배포 복잡도 및 비용: 실제 운영 환경에 구축하기 위한 비용과 추론 시 발생하는 LLM API 비용의 효율성은 어떠한가.30

데이터 에이전트가 가져올 미래 산업의 변화

데이터 에이전트의 발전은 데이터 전문가의 역할을 근본적으로 재정의할 것이다.51 전통적인 데이터 분석가가 SQL 쿼리를 작성하고 보고서를 만드는 'Pulling Reports' 업무에 집중했다면, 미래의 분석가는 데이터 에이전트가 수행할 작업의 '왜(Why)'를 정의하고 전략적 의사결정을 내리는 '의사결정 과학자(Decision Scientist)' 또는 'AI 조율자'로 진화하게 된다.51

산업적으로는 인력난을 겪고 있는 데이터 엔지니어링 분야에서 에이전트가 파이프라인 유지보수를 자율적으로 수행함으로써 기업의 데이터 기민성을 극대화할 것이다.8 또한 금융이나 의료와 같이 데이터 거버넌스가 엄격한 분야에서는 에이전트가 실시간으로 정책 위반을 감시하고 데이터를 정제함으로써 규제 준수 비용을 획기적으로 낮출 수 있다.29

결론적으로, 수준 0에서 수준 5로 이어지는 데이터 에이전트의 자율성 계층 구조는 단순한 기술 분류를 넘어 인류가 방대한 데이터 정보를 처리하고 지식화하는 방식의 거대한 전환점을 보여준다.1 현재 우리는 수준 2의 실행 단계를 지나 수준 3의 조율 단계로 진입하고 있으며, 인과 추론과 선제적 행동 능력이 갖춰질 수준 4 및 5의 미래는 데이터가 스스로 가치를 창출하는 진정한 지능형 데이터 생태계의 완성이 될 것이다.1

참고 자료

  1. DataAgents.pdf
  2. Data Agents: Levels, State of the Art, and Open Problems - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/pdf/2602.04261
  3. [2602.04261] Data Agents: Levels, State of the Art, and Open Problems - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/abs/2602.04261
  4. Data Agents: Levels, State of the Art, and Open Problems - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/html/2602.04261v1
  5. HKUSTDial/awesome-data-agents - GitHub, 4월 22, 2026에 액세스, https://github.com/HKUSTDial/awesome-data-agents
  6. A Survey of Data Agents: Emerging Paradigm or Overstated Hype? - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/html/2510.23587v1
  7. When AI Agents Misbehave: Governance and Security for Autonomous AI - Our Take, 4월 22, 2026에 액세스, https://ourtake.bakerbotts.com/post/102me2l/when-ai-agents-misbehave-governance-and-security-for-autonomous-ai
  8. Agentic Data Management: The Next Step for Enterprise Data Ecosystems | IBM, 4월 22, 2026에 액세스, https://www.ibm.com/think/insights/agentic-data-management
  9. The 6 Levels of Vehicle Autonomy Explained | Synopsys Automotive, 4월 22, 2026에 액세스, https://www.synopsys.com/blogs/chip-design/autonomous-driving-levels.html
  10. Autonomy Levels for Agentic AI - Cloud Security Alliance (CSA), 4월 22, 2026에 액세스, https://cloudsecurityalliance.org/blog/2026/01/28/levels-of-autonomy
  11. The Art of Agent Autonomy: A 5-Level Framework | Digixr Insights, 4월 22, 2026에 액세스, https://www.digixrtech.com/insights/the-art-of-agent-autonomy
  12. Levels of Autonomy for AI Agents - | Knight First Amendment Institute, 4월 22, 2026에 액세스, https://knightcolumbia.org/content/levels-of-autonomy-for-ai-agents-1
  13. AgenticData: An Agentic Data Analytics System for Heterogeneous Data - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/pdf/2508.05002
  14. We keep talking about AI agents, but do we ever know what they are? - VentureBeat, 4월 22, 2026에 액세스, https://venturebeat.com/ai/we-keep-talking-about-ai-agents-but-do-we-ever-know-what-they-are
  15. Agent-First Data System Architecture - Emergent Mind, 4월 22, 2026에 액세스, https://www.emergentmind.com/topics/agent-first-data-system-architecture
  16. DeepAnalyze: Agentic Large Language Models for Autonomous Data Science - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/html/2510.16872v1
  17. [2402.18679] Data Interpreter: An LLM Agent For Data Science - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/abs/2402.18679
  18. KDD 2026 - Generating Realistic Human Mobility Data with Hybrid Large Language Model Agent, 4월 22, 2026에 액세스, https://www.youtube.com/watch?v=UCJRdKehPzg
  19. Data Agents: Levels, State of the Art, and Open Problems - Yuyu Luo, 4월 22, 2026에 액세스, https://luoyuyu.vip/files/SIGMOD26-Tutorial-DataAgents.pdf
  20. The State of AI Agents - Cobus Greyling - Medium, 4월 22, 2026에 액세스, https://cobusgreyling.medium.com/the-state-of-ai-agents-3e13fa123ab8
  21. AGENTIC AI vs AI AGENTS - a JBHF Collection - Hugging Face, 4월 22, 2026에 액세스, https://huggingface.co/collections/JBHF/agentic-ai-vs-ai-agents
  22. Data Intelligence and Analytics Lab @ HKUST(GZ) · GitHub, 4월 22, 2026에 액세스, https://github.com/HKUSTDial
  23. Data Interpreter: An LLM Agent For Data Science - ACL Anthology, 4월 22, 2026에 액세스, https://aclanthology.org/2025.findings-acl.1016.pdf
  24. [R] Data Interpreter: An LLM Agent for Data Science : r/MachineLearning - Reddit, 4월 22, 2026에 액세스, https://www.reddit.com/r/MachineLearning/comments/1bdxqt4/r_data_interpreter_an_llm_agent_for_data_science/
  25. Data Agents Explained | Levels (L0–L5), State-of-the-Art AI & Open Challenges, 4월 22, 2026에 액세스, https://www.researchgate.net/post/Data_Agents_Explained_Levels_L0-L5_State-of-the-Art_AI_Open_Challenges
  26. The Levels of Autonomous Driving (L0–L5) - News | Westwell, 4월 22, 2026에 액세스, https://en.westwell-lab.com/article.html?id=278
  27. KDD Cup 2026 Call - Hugging Face Forums, 4월 22, 2026에 액세스, https://discuss.huggingface.co/t/kdd-cup-2026-call/174314
  28. Causal Reasoning Lab - causaLens, 4월 22, 2026에 액세스, https://causalens.com/causal-reasoning-lab
  29. Agentic AI Architecture and the Semantic Gap Challenge in Data-Centric Systems - SoftwareSeni, 4월 22, 2026에 액세스, https://www.softwareseni.com/agentic-ai-architecture-and-the-semantic-gap-challenge-in-data-centric-systems/
  30. AgenticData: An Agentic Data Analytics System for Heterogeneous Data - ChatPaper, 4월 22, 2026에 액세스, https://chatpaper.com/paper/174370
  31. An Agentic Data System for Analyzing Heterogeneous Data - IEEE Xplore, 4월 22, 2026에 액세스, https://ieeexplore.ieee.org/abstract/document/11402159/
  32. AgenticData: An Agentic Data Analytics System for Heterogeneous Data - ResearchGate, 4월 22, 2026에 액세스, https://www.researchgate.net/publication/394397031_AgenticData_An_Agentic_Data_Analytics_System_for_Heterogeneous_Data
  33. [2510.16872] DeepAnalyze: Agentic Large Language Models for Autonomous Data Science, 4월 22, 2026에 액세스, https://arxiv.org/abs/2510.16872
  34. [Literature Review] DeepAnalyze: Agentic Large Language Models for Autonomous Data Science - Moonlight, 4월 22, 2026에 액세스, https://www.themoonlight.io/en/review/deepanalyze-agentic-large-language-models-for-autonomous-data-science
  35. DeepAnalyze: Agentic Large Language Models for Autonomous Data Science, 4월 22, 2026에 액세스, https://ruc-deepanalyze.github.io/
  36. Data Interpreter: An LLM Agent For Data Science | OpenReview, 4월 22, 2026에 액세스, https://openreview.net/forum?id=aYwHiDkAdI
  37. Data Interpreter: An LLM Agent For Data Science - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/html/2402.18679v1
  38. Mastering Causal Reasoning Agents in AI Systems - Sparkco, 4월 22, 2026에 액세스, https://sparkco.ai/blog/mastering-causal-reasoning-agents-in-ai-systems
  39. Multi-Agent Causal Reasoning System for Error Pattern Rule Automation in Vehicles - arXiv, 4월 22, 2026에 액세스, https://arxiv.org/html/2602.01155v1
  40. Multi-Agent Causal Reasoning System for Error Pattern Rule Automation in Vehicles - arXiv, 4월 22, 2026에 액세스, https://www.arxiv.org/pdf/2602.01155
  41. 10 Data + AI Predictions For 2026 - Monte Carlo, 4월 22, 2026에 액세스, https://www.montecarlodata.com/blog-data-ai-predictions/
  42. The Best Open Source AI Agents in 2026: A Developer's Honest Comparison, 4월 22, 2026에 액세스, https://www.tencentcloud.com/techpedia/144032
  43. A Practical Guide to Memory for Autonomous LLM Agents | Towards Data Science, 4월 22, 2026에 액세스, https://towardsdatascience.com/a-practical-guide-to-memory-for-autonomous-llm-agents/
  44. Agentic Master Data Management Platform - CluedIn, 4월 22, 2026에 액세스, https://www.cluedin.com/agentic-data-management-platform
  45. Agentic AI, explained | MIT Sloan, 4월 22, 2026에 액세스, https://mitsloan.mit.edu/ideas-made-to-matter/agentic-ai-explained
  46. The dark side of autonomous intelligence: a survey on data leakage and privacy failures in agentic AI - Frontiers, 4월 22, 2026에 액세스, https://www.frontiersin.org/articles/10.3389/fcomp.2026.1802727
  47. How Different Types of AI Agents Work: A Comprehensive Taxonomy and Guide, 4월 22, 2026에 액세스, https://www.xcubelabs.com/blog/how-different-types-of-ai-agents-work-a-comprehensive-taxonomy-and-guide/
  48. AI Agents Are Here. What Now? - Hugging Face, 4월 22, 2026에 액세스, https://huggingface.co/blog/ethics-soc-7
  49. HKUSTDial/kddcup2026-data-agents-starter-kit - GitHub, 4월 22, 2026에 액세스, https://github.com/HKUSTDial/kddcup2026-data-agents-starter-kit
  50. Call for KDD Cup Proposals - KDD 2026 - SIGKDD, 4월 22, 2026에 액세스, https://kdd2026.kdd.org/call-for-kdd-cup-proposals/
  51. AI-powered data agent vs human analyst 2026: The Definitive Guide - Energent.ai, 4월 22, 2026에 액세스, https://www.energent.ai/use-cases/en/compare/ai-powered-data-agent-vs-human-analyst

 

반응형