#RAG

기존 벡터 DB 단독 검색 방식의 한계를 극복하기 위해 키워드 기반 BM25 검색과 벡터 검색을 융합하는 Hybrid Search, 그리고 LLM의 컨텍스트 품질을 극대화하기 위한 Reranking을 내 프로젝트에 직접 도입한 과정과 교훈.

LLM은 학습 데이터 밖의 지식을 모른다. RAG가 이 문제를 어떻게 해결하는지, 문서 수집부터 청킹, 임베딩, 벡터 저장, 검색, 생성까지 전체 파이프라인을 Python과 TypeScript 예제로 구축한다.

컴퓨터는 '사과'와 '배'가 비슷한 과일이라는 것을 어떻게 알까요? 원-핫 인코딩의 한계부터 Word2Vec, 그리고 현대 AI의 핵심인 트랜스포머(Transformer) 기반 임베딩까지. 텍스트를 숫자로 변환하여 의미를 계산하는 임베딩의 세계와 이를 활용한 RAG(검색 증강 생성) 아키텍처를 다뤄봤습니다.

고객 상담 챗봇이 엉뚱한 대답을 해서 식은땀 흘린 경험, 그리고 RAG(검색 증강 생성)를 도입해 '오픈북 테스트'를 치르게 한 과정을 공유합니다. 벡터 DB, 임베딩, 그리고 하이브리드 검색까지 파헤쳐봅니다.

AI, 머신러닝, 딥러닝의 차이를 '마트료시카 인형' 비유로 설명합니다. 최신 Transformer 아키텍처, RAG vs Fine-tuning 비교, AI 윤리, 그리고 개발자가 AI 엔지니어로 커리어 전환하는 법까지 총정리.