n8n과 Supabase를 활용한 문서 기반 RAG AI 에이전트 구축 완벽 가이드

n8n 기반 데이터 파이프라인 구축

n8n 워크플로우를 활용하면 문서를 자동으로 수집하고 처리하는 시스템을 손쉽게 만들 수 있습니다. 기본 구조는 다음과 같습니다.

1. Trigger (Form Node): 사용자가 문서를 업로드할 수 있는 입력 인터페이스를 제공합니다.
2. Data Extraction: 업로드된 파일(PDF 등)에서 텍스트 본문을 추출합니다.
3. Processing: 추출된 텍스트를 적절한 크기의 청크(예: 500자)로 나누고, 문맥 유지를 위해 오버랩(Overlap)을 설정합니다.

Supabase 벡터 스토어 설정 및 연동

단순한 임시 저장소가 아닌 영구적인 데이터 보관을 위해 Supabase를 사용합니다. Supabase의 pgvector 확장 기능을 통해 고성능 벡터 검색 기능을 구현할 수 있습니다.

-- 벡터 확장 기능 활성화
create extension if not exists vector;

-- 문서 저장 테이블 생성
create table documents (
  id bigserial primary key,
  content text,
  metadata jsonb,
  embedding vector(1536) -- OpenAI embedding 차원과 일치
);

문서 업데이트 및 중복 관리 전략

단순히 데이터를 쌓기만 하면 중복 답변이 발생할 수 있습니다. 이를 방지하기 위해 ‘Record Table’ 기반의 관리 로직을 추가해야 합니다.

• 신규 문서 확인: 업로드된 파일명이 기존 DB에 존재하는지 먼저 체크합니다.
• 데이터 교체: 동일 파일명이 존재할 경우, 기존 벡터 데이터를 삭제하고 새로운 데이터를 인베딩하여 무결성을 유지합니다.
• 버전 관리: 업데이트 시간을 기록하여 최신 정보가 우선적으로 반영되도록 설계합니다.