Minjun Park 2026.08.27

[ACL 2026] ReSQL: RAG 기반 오류 추론을 통한 자가 개선형 Text-to-SQL 시스템

기업의 데이터는 꾸준히 쌓이고 있고, 이 데이터를 어떻게 활용하는가가 기업 경쟁력의 핵심 지표가 되었습니다. 그럼에도, 기업 데이터베이스(DB)에 축적된 정보를 비즈니스에 실시간으로 활용하기 위해서는 여전히 전문 SQL 개발자의 전문 역량이 필요합니다. 이러한 한계를 해결하기 위해, 자연어만으로도 복잡한 데이터베이스를 조회할 수 있게 하는 'Text-to-SQL' 기술이 기업의 데이터 활용성과 DB 접근성을 높이는 핵심 기술로 주목받아 왔습니다.

Large Language Model (LLM)의 등장 이후 Text-to-SQL의 완성도는 높아졌습니다. 그러나 비용 효율성이 중요한 엔터프라이즈 환경에서 주로 활용되는 중소형 모델의 경우, 여전히 SQL 실행 과정에서 빈번한 실행 오류(Execution Error)를 일으키고 Self-Correction(자가 교정) 능력도 제한적이라는 명확한 한계가 있었습니다.

이에, LG AI연구원은 엔터프라이즈 환경에서도 완성도 높은 Text-to-SQL을 적용할 수 있도록 하는 자가 개선(Self-Improving) 프레임워크, ‘ReSQL(Retrieval-augmented error reasoning for Text-to-SQL)’을 제안했습니다. 자연어처리 분야 학회인 ACL 2026에서 해당 연구를 발표하는 성과로도 이어졌습니다.

엔터프라이즈 환경의 한계

LLM 기반 Text-to-SQL 기술의 비약적인 발전에도 불구하고, 이를 실제 산업 현장에 적용하는 과정에서는 두 가지 극명한 한계가 존재합니다.

첫째는 보안과 운영 통제의 한계입니다. GPT-5와 같은 상용 LLM도 전략적 파트너십이나 프라이빗 클라우드 구성을 통해 보안 리스크를 상당 부분 완화할 수 있습니다. 그러나 많은 대기업은 여전히 데이터 주권, 규제 준수, 비용 예측 가능성, 외부 플랫폼 종속성, 모델 통제권 등의 이유로 자체 모델의 도입과 구현을 적극적으로 검토하고 있습니다.

둘째는 온디바이스 적용 가능성입니다. 온디바이스 환경은 메모리와 연산 자원이 제한적이기 때문에 경량화된 모델이 필수적입니다. 특히 Text-to-SQL 기능을 단말이나 엣지 환경에서 직접 실행하면 데이터가 외부 서버로 전송되지 않아 응답 지연을 줄이고, 네트워크 연결이 불안정한 환경에서도 서비스를 제공할 수 있습니다. 이러한 측면에서 1B~9B 규모의 경량 오픈소스 모델은 현실적인 대안이 될 수 있습니다.

셋째는 기존 자가 교정 방법론의 한계입니다. 기존 연구들은 주로 추론 시점(Inference Time)에 재순위화나 반복 수정 등의 프롬프팅 기법에 의존해 SQL을 개선해왔습니다. 그러나 경량 모델은 제한된 추론 능력으로 인해, 이러한 추가 컨텍스트를 충분히 소화하지 못했고 결과적으로 프롬프팅기반의 자가 교정 효과도 제한적임을 확인할 수 있었습니다.

LG AI연구원은 이 문제를 해결하기 위해 "모델이 생성한 오류를 학습의 원동력으로 재활용한다"는 방법론을 제안했습니다. 오류 메시지와 실측 데이터(Ground Truth)를 기반으로 모델이 스스로의 실수를 진단·설명하도록 유도함으로써, 오류 분석 과정 자체를 고도화된 추론(Reasoning) 데이터셋으로 치환한 것입니다.

ReSQL은 모델의 실패 사례를 체계적으로 수집·분석·재학습하는 폐쇄 루프(Closed-Loop) 파이프라인을 구축하여, 외부의 지도 학습 없이도 경량 모델이 자율적으로 오류 교정 메커니즘을 내재화하도록 설계되었습니다.

ReSQL 프레임워크 : 스스로 배우고 개선하는 3단계 폐쇄 루프

ReSQL은 하나의 언어 모델이 자신의 Text-to-SQL 오류를 자율적으로 생성하고, 진단하며, 교정하는 통합 프레임워크입니다.

구조는 크게 세 단계로 나뉩니다.

1단계: 오류 추론 데이터 자동 생성 (Reasoning Data Construction)

모델이 SQL을 생성한 후 실행에 실패하면, 정답 쿼리와 오류 메시지를 함께 제공합니다. 이를 바탕으로 모델 스스로 ① 잘못된 쿼리의 동작을 설명하고, ② 구체적인 문제 지점을 진단하며, ③ 교정 방향을 제시하는 구조화된 오답 노트를 만들게 합니다. 1B 규모의 작은 모델도 정답과 가이드라인만 주어지면 정확한 오류 분석이 가능하다는 점을 활용했습니다.

2단계: 자기 개선 학습 (Self-Improving Training)

이렇게 확보한 오류 추론 데이터를 원본 데이터와 결합해 동일한 모델을 다시 파인튜닝(LoRA)합니다. 단순히 정답을 외우게 하는 것이 아니라, 오류 원인을 단계적으로 분석하는 사고 과정(Chain-of-Thought)을 모델 파라미터에 내재화시켜 작은 모델의 한계를 근본적으로 극복합니다.

3단계: 검색 기반 추론 (Retrieval-Augmented Inference)

실제 추론 중 오류가 발생하면, 과거의 오류-추론 사례 저장소에서 현재 에러와 가장 유사한 상위 3개 사례를 찾아 Few-Shot 예시로 활용합니다. 파인튜닝이 전체적인 추론 능력을 잡고, 검색(RAG)이 흔치 않은 희귀 오류를 보완하는 상호보완적 설계입니다.

이미지 1. ReSQL 프레임워크의 3단계 루프 ^[1]

ReSQL 프레임워크의 성능 : GPT-4를 뛰어넘은 7~9B 모델

ReSQL은 Text-to-SQL 분야의 대표적 벤치마크인 SPIDER와 BIRD에서 기존 자가 교정 기법들을 압도하는 성과를 보였습니다.

소형 모델의 극적인 대반전

BIRD 벤치마크에서 Llama-3.2 1B의 실행 정확도가 3.78%에서 24.84%로 약 7배 향상되었습니다. 실행 정확도(Execution Accuracy, EX)란, 생성된 SQL의 실행 결과가 정답 SQL의 실행 결과와 일치하는 비율로, 문법이 달라도 의미가 같으면 정답으로 인정합니다. Gemma-2 2B(13.36% → 26.92%)와 특화 모델인 CodeS-1B(22.23% → 34.94%) 역시 큰 폭으로 개선되었습니다.

상용 대형 LLM 추월

ReSQL로 학습한 7~9B 모델은 SPIDER에서 최대 81.29%, BIRD에서 53.78%의 정확도를 기록했습니다. 이는 고도화된 교정 기법을 적용한 GPT-4(SPIDER 79.98%, BIRD 49.87%)를 앞서는 수치입니다.

고난도 쿼리 해결 능력 향상

처음 틀린 쿼리 중 모델의 오류 수정 과정을 거쳐 의미적으로 올바른 결과를 내도록 고쳐내는 '교정률(Correction Rate, CR)'이 SPIDER 평균 64.38%로 일반 파인튜닝 대비 2배 이상 향상되었습니다. 특히 최고난도(Extra Hard) 쿼리에서도 39.32%의 교정률을 보여 강건함을 입증했습니다.

이미지 2. SPIDER와 BIRD에서 두 번째 수정 단계 이후 남아 있는 실행 오류를 난이도별로 나타낸 결과 ^[2]

ReSQL 프레임워크에서 확인한 핵심 인사이트

'희귀 오류(Long-Tail Errors)'에서 빛난 검색 증강(RAG)의 진가

오류를 유형별로 분석한 결과, 자주 발생하는 문법 오류 등은 파인튜닝 단계에서 해결 가능하지만 학습 데이터에서 드물게 등장하는 장꼬리(Long-Tail) 오류에서는 검색 증가(Retrieval-Augmented Generation, RAG)의 효과가 더욱 두드러졌습니다.

컬럼명 모호성 오류 36.5% 감소
다중 문장 오류 39.4% 감소

UNION 앞 ORDER BY 오류 73.1% 감소
GROUP BY 내 집계 함수 오류 100% 제거

제거 실험(Ablation)에서도 이러한 결과는 다시 한번 확인되었습니다. 오류 추론 데이터를 제외하자 BIRD 실행 정확도가 17.61%p나 급락한 것입니다. 이는 구조화된 오류 추론 데이터가 ReSQL의 핵심 요소임을 보여줍니다.

데이터 품질과 실용성까지 함께 검증

AI가 스스로 만든 데이터의 신뢰성도 확실하게 검증했습니다. LLM 자동 평가(G-Eval)에서 생성 데이터의 정확성이 85% 이상(Llama-3.1 8B는 97.2%)을 기록했으며, 소형 모델이 만든 데이터에 대한 인간 평가에서도 97.5%의 진단 정확성을 확인했습니다.

실제 서비스 적용을 고려한 추론 오버헤드 역시 평균 약 100토큰, 1.2초 미만으로 매우 가볍습니다. 70B나 32B급 대형 모델에서도 일관된 성능 향상이 확인되어 확장성까지 입증했습니다.

LG AI연구원은 이번 연구의 재현성과 오픈소스 생태계 발전을 위해 ReSQL 데이터 생성 프레임워크 코드는 물론, 1B~9B 모델로 생성한 전체 추론 데이터셋을 GitHub에 전면 공개했습니다.

What’s Next

LG AI연구원은 ReSQL 연구를 통해 "모델의 실패를 재사용 가능한 교정 지식으로 바꾼다"는 패러다임의 전환을 증명해냈습니다. 그리고, LG AI연구원은 다음 도전을 준비하고 있습니다. ReSQL을 더 완벽하게 만들기 위해 다음의 세 가지 방향으로 연구를 확장할 계획입니다.

선제적(Proactive) 오류 예방: 현재 ReSQL은 에러가 발생한 뒤에 고치는 '사후 교정'에 집중하고 있습니다. 앞으로는 에러가 나기 전에 미리 예측하고 차단하는 선제적 추론 메커니즘을 도입할 예정입니다.
완전한 비지도 자기 개선: 데이터셋을 만들 때 정답 SQL(Gold Query)의 도움을 받았던 기존 구조를 넘어, 정답이 없는 상태에서도 AI가 홀로 자가 개선을 이뤄내는 완전한 비지도 학습을 목표로 합니다.

실전 환경에서의 강건함 검증: 실험실 벤치마크를 넘어, 한 번도 보지 못한 데이터베이스 구조(Unseen Schema)나 새로운 산업 도메인 등 실제 서비스 배포 환경에서도 흔들림 없는 성능을 발휘하도록 고도화할 것입니다.

나아가 ReSQL이 증명한 '자가 개선 패러다임'을 Text-to-SQL에만 가두지 않고 코딩, AI 에이전트의 도구 사용(Tool Use) 등 실행 피드백을 받을 수 있는 다양한 영역으로 확장할 것입니다. 인간의 개입 없이도 스스로 학습하고 성장하는, 가장 신뢰할 수 있는 AI 시스템을 향한 LG AI연구원의 연구를 앞으로도 지켜봐 주세요!

참고

[1] Park, Minjun, et al. "ReSQL: Self-Improving Framework for Reasoning-Aware Text-to-SQL Dataset Generation." Findings of the Association for Computational Linguistics: ACL 2026. 2026.

[2] Yu, Tao, et al. "Spider: A large-scale human-labeled dataset for complex and cross-domain semantic parsing and text-to-sql task." Proceedings of the 2018 conference on empirical methods in natural language processing. 2018.

[3] Li, Jinyang, et al. "Can llm already serve as a database interface." A big bench for large-scale database grounded text-to-SQLs 2305 (2023).

[4] Askari, Arian, Christian Poelitz, and Xinye Tang. "Magic: Generating self-correction guideline for in-context text-to-sql." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 39. No. 22. 2025.

[5] Chen, Xinyun, et al. "Teaching large language models to self-debug." International Conference on Learning Representations. Vol. 2024. 2024.

[6]. Wang, Xuezhi, et al. "Self-consistency improves chain of thought reasoning in language models." arXiv preprint arXiv:2203.11171 (2022).

[7] Hu, Edward J., et al. "Lora: Low-rank adaptation of large language models." Iclr 1.2 (2022): 3.

[8] Liu, Yang, et al. "G-eval: Nlg evaluation using gpt-4 with better human alignment, 2023." arXiv preprint arXiv:2303.16634 12 (2023): 1.

목록보기