251208 AI 강의 정리

• 과거 데이터다
• 실시간 데이터를 검색할 수 없다
  • AI가 필요한 경우 도구를 직접 활용하도록 판단 할 수 있도록 함
    • 이것이 에이전트임
      • 추론이라는것
• 단순하게 질문,답변하는게 아니라 생각(판단)을 하여 내장된 도구를 활용하는 것
  • 추론 -> 액팅
• LLM관점이 아니라 기본적으로 에이전트 관점임.

• Fast API로 프론트엔드와 백엔드를 연결해줌
  • 앞단에서 요청을 받아주는 역할

• 가장 혁신적인 모델
• 왜 게임체인저가 되었냐면
  • RML, LSTM과 달리 병렬처리를 함
  • 긴 문맥을 읽음.
  • 단어간의 관계 뿐만 아니라 문장과의 관계를 바라보며, 이를 병렬적으로 읽고 해석함.

• 병렬적인 작업이 혁신적임.
  • 병렬작업이 되면 블루스크린을 볼 일이 적음

• 병렬처리
• [[Self attention]] <- 가장 중요함
  • 각 단어가 어떻게 연관되는지 계산
  • • 포지션 인코딩 -> 문장을 만들고 다듬기

• 외부 지식을 실시간 검색
  • 검색엔진 활용과는 다름
    • 구조화 된 외부 지식을 LLM이 검색한다는 의미임
• 기업에서는 우리만의 정보를 임베딩 처리해서 활용하고 싶어 함.
  • 임베딩
    • 텍스트를 숫자,실수화 처리하는것
      • 뒤에서 배울거임

• LLM이 api, 검색 등 직접 호출하여 작업

• 복잡한 문제를 여러 단계로 해결
• 최근 AI는 대부분이 추론 모델임.

• retriever
  • 유사한 문서나 내용을 벡터 검색
• documents
  • 검색된 텍스트
• generator
  • 검색 결과를 바탕으로 응답 생성

• QA
• 사내 위키 봇
• 학습 보조

• 실제 실행은 외부 Tool이 처리

• LLM : 주어진 입력에 대해 확률적으로 가장 그럴듯한 출력 생성
• AI Agent : LLM을 기반으로 다양한 행동을 수행, 능동적 시스템

• 단일 Agent 아키텍처
  • 하나의 Agent가 모든 역할
• 멀티 Agent 아키텍처
  • 역할별 Agent가 협력

• 계층형
• Router 기반
• Workflow 기반
• FSM 기반
• MCP 기반

인코더, 디코더의 역할

RAG 프로세스

• 지식 베이스를 만드는 단계
  • 프리 프로세싱
    • 원본 데이터 정제
    • 텍스트 추출
  • 인덱싱
    • chunk 분할
    • 벡터 변환
    • 벡터디비 저장
• 런타임
  • retrieval
    • 사용자 질문 기반으로 문서 검색
    • 질문 벡터화
  • generation
    • 검색된 K개의 청크와 사용자 질문을 결합하여 LLM에 Prompt로 전달
    • LLM은 입력받은 Context 기반으로 최종 응답 생성
• 답변

RAG 프로세스 상세

• Document Loader
  • 여러 문서를 통일된 형식으로 취급
  • Document Object로 만드는 과정임
    • page contents
    • metadata
  • 보통 페이지 컨텐츠를 임베딩하고, 메타데이터는 검색 시 필터링/출처 제시에 활용
  • 취급할 문서의 유형에 따라 적절한 Document Loader를 선택해야함.
    • 랭체인에서 이러한 Document Loader 를 제공함
      • 그렇기때문에 랭체인을 써야한다.
  • 일괄 처리를 위해서는 Directory Loader 와 연계 가능
    • 각각의 문서를 연결해줘야 제대로 동작함.
• Text Splitter
  • 크고 복잡한 문서를 LLM이 받아들일 수 있도록 작게 쪼개는 작업
  • 과정
    • 문서 구조 파악
      • 문서의 헤더, 푸터, 페이지번호, 섹션제목, 테이블 구조 등을 식별
    • 단위 선정
      • 문서를 어떤 단위로 나눌지 결정
      • 단위는 문서의 내용과 목적에 따라 정의하는 것이 필요
    • 단위 크기 선정(chunk size)
      • 문서를 몇개의 토큰으로 나눌지 결정
    • chunk overlap
      • 분할된 끝 부분에서 맥락이 이어질 수 있도록 일부를 겹쳐서 분할하는 것이 필요함.
      • 사실 청크가 굉장히 중요함

토큰과 임베딩

• 토큰은 단어조각
  • 문장을 단어 또는 서브워드로 쪼개어 나눈 조각 -> 단어 조각
  • 텍스트를 처리 가능하도록 최소 단위로 분할
  • 예시 : "I love Orange" -> [I, love, Orange]
• 임베딩은 토큰을 벡터 공간으로 변환한 수치표현
  • 단어별 의미 점수
  • 토큰-> 숫자로 바꿔 신경망이 학습 가능하게 함.
    • 단어에 의미를 입한 숫자 ID카드

토큰과 청크

• 토큰은 모델 입력의 기본 단위임
• 모델 학습 시 토큰ID로 변환되어 사용

청크

• 정의
  • 긴 텍스트를 일정한 크기의 토큰으로 나눈 블록
    • 토큰의 집합
    • 여러 토큰을 하나의 청크로 구성
• 역할
  • 모델이 한번에 처리할 수 있는 길이를 초과하는 경우 여러 블록으로 분할
• 방식
  • 고정 길이 청크
  • 슬라이딩 청크(일부 겹치게 잘라서 문맥 유지)
    • 오버랩

청킹

• 예시 텍스트
  • This is an example text for demonstration.

1. Tokenizer (WordPiece 적용 예)
   • 토큰 결과:
     This, is, an, example, text, for, demonstration
   • 토큰 개수: 7개
2. Chunking
   • chunk size: 4
   • chunk overlap: 2
   • 생성된 청크:
     • Chunk 1: This, is, an, example
     • Chunk 2: an, example, text, for
     • Chunk 3: text, for, demonstration

토크나이저 vs 청킹

• 2가지 방식 모드 유효하며, 목적에 따라 전략적으로 선택 가능함.

임베딩

• Text Split 단계에서 생성된 문서 단위들을 기계까 이해할 수 있는 수치적 형태로 변환하는 과정
• 사용자가 입력한 질문에 대해 DB에 저장된 문서 조각/단락을 검색하여 가져올때 유사도 계산 시 활용
• 임베딩의 필요성
  • ㅇ

벡터 스토어

• 이전 단계에서 생성된 임베딩 벡터들을 효율적으로 저장하고 관리하는 과정
• 향후 검색과정에서 벡터들을 빠르게 조회하고 관련 문서를 신속하게 찾아내는데 필수적

고차원 공간에서의 거리 계산 한계

• 차원이 증가하면 문제 발생
  • 고차원 희소성 문제
    • 2차원에서는 유사한 점들이 가깝지만 100차원에서는 모든 점들이 비슷해짐
  • 차원의 저주
    • 차원이 커질수록 벡터 간 거리가 균등하게 증가
      • 거리 기반 검색이 무의미해짐
    • 데이터가 희소해져서 유사 벡터 못찾음
• 유클리드 거리
  • 가장 기본적인 거리 측정 방식
  • 피타고라스 정리 기반으로 벡터간의 직선 거리 계산
  • 차원이 증가할수록 의미가 약해짐
    • 모든 점들이 멀리 떨어짐
• 해결방법 -> 코사인 유사도
  • 고차원에서 벡터 간 거리는 무의미할 수 있지만 방향은 의미를 가짐.
    • 단어벡터는 방향을 비교하는 것이 효과적임.

벡터 디비 인덱싱이란

• 임베딩을 효율적으로 저장하고 빠르게 검색하기 위해 데이터 구조와 검색 알고리즘 설계하는 방식
• 벡터 데이터를 구조화한 인덱스에 담는 행위
• KNN이 아닌 ANN 가능한 구조로 설계
• GOAL
  • 검색 정확도와 검색 속도 tradeoff 관계 최적화

벡터 스토어 간 비교

• pinecone
• faiss
• chroma
• 등등

벡터 데이터베이스 솔루션 비교

• faiss
• pinecone
• weaviate
• milvus
• qdrant
• chroma
• 등등

retriever

• 저장된 벡터디비에서 사용자의 질문과 관련된 문서를 검색하는 과정 -> 정보 검색의 질을 결정하는 핵심 역할
• 사용자 질문에 가장 적절한 Context를 제공하며, 언어 모델이 보다 정확한 답변을 생성할 수 있도록 함

코사인 유사도

• 문서간, 질문 + 문서간의 유사성 평가
• 두 벡터 간의 코사인을 계산하여 유사도를 측정하는 기법
• 방향에 초점을 맞추므로 문서와 쿼리 간의 유사도를 비교하는데에 사용함.

MMR

• 이미 선택된 문서들과 새로운 문서 간의 중복 최소화와 쿼리와의 유사성 최대화를 동시에 고려하는 방법
• 검색 결과의 관련성은 유지하면서 중복은 줄이고 다양성은 높이는 전략
• 질문과의 관련성은 최대화하면서, 서로 비슷한 문서는 줄이는 기법

이러한 일련의 과정들이 간단한 코드로 만들어져 있음.

• 그냥 함수만 쓰면 됨.

sparse retriever vs dense retriever

• 표현식으로 보면 sparse는 대부분이 0이고 일부만 실수
  • dense 는 대부분이 실수
• sparse
  • 키워드 중심이라 계산비용이 낮음
  • 의미적 연관성을 고려하지 않기 때문에 품질이 키워드의 선택에 크게 의존
    • 등장 빈도를 통해 단어의 중요도 계산
  • 긴 문서에 취약
• dense
  • 의미적으로 관련된 문서 검색
  • 가장 관련성 높은 문서를 찾음
  • 언어의 뉘앙스와 문맥을 이해하는데에 유리함.
  • 비쌈

Retriever Summary

• 목적
  • 대용량 문서 집합에서 관련성 있는 문서를 빠르게 찾아내는 것
  • RAG 파이프라인에서 가장 먼저 수행되는 단계
• 우선순위
  • 속도 중심
• 예시
  • “카페 추천”이라는 질문 → 유사 단어를 포함하는 문서 Top N 검색
• Output
  • 후보 문서 집합(Candidate Documents)
• 처리 방식
  • 임베딩 벡터 생성 → Cosine Similarity 기반 유사도 계산
• 모델 구조
  • Bi-Encoder
    • 질문과 문서를 독립적으로 임베딩
    • 임베딩 벡터 간 거리 또는 유사도 비교
• 주요 모델
  • BGE
  • E5
  • Jina Embedding 등
• 장점
  • 빠른 처리 속도
  • 질문/문서 임베딩을 병렬 처리 가능
  • 대규모 문서 검색에 필수적인 구조
• 단점
  • 의미적 정밀도가 떨어질 수 있음
  • 반환되는 후보의 품질이 낮을 가능성 있음

Prompt

• 검색기(Retriever)에서 검색된 문서들을 바탕으로 언어 모델이 사용할 질문이나 명령을 생성하는 과정
• 검색된 정보를 바탕으로 최종 사용자의 질문에 가장 잘 대응할 수 있는 응답을 생성하기 위한 필수적인 단계
• 프롬프트 템플릿
  • 지시사항
  • 질문
  • 문맥
• 이러한 것들도 다 랭체인에서 제공함.

LLM

• Prompt 단계에서 구성된 입력을 기반으로 대규모 언어 모델을 활용하여 응답을 생성하는 과정
  • 결국은 말 생성하는 기능
• 언어 모델의 능력을 최대한 활용하여 사용자의 질문에 대해 정확하고 자연스러운 답변을 생성함
• LLM단계는 필요 데이터와 컨텍스트를 종합하여 사용자의 질문에 대한 답변의 질과 자연스러움 반영
  • 즉 사용자의 질문을 LLM이 받아서 전처리하는것임.

모든 AI 관련 기술은 랭체인 생태계에 들어가고싶어 안달이 남

• 랭체인 랭그래프가 1.0이 나옴
• LLM을 개발하던 업체들이 다 그 에코안에 들어가서 활용되려고 애를 씀
  • 왜지? 제대로 못들음
• 우리회사도 돈 엄청 씀
  • api key 사용 비용이 그정도로 나옴

체인

• 이전의 과정을 하나로 묶어 RAG Pipeline으로 조립하여 완성하는 단계
• 단 몇줄로도 AI를 구현할 수 있음

Output Parser

• 결과물을 전처리하여 일관적이고 구조화된 답변으로 만들어줌
• 실제 AI Application 개발에서는 필수적임.

• 비정형 데이터를 벡터화하여 유사한 데이터를 빠르게 찾도록 설계

• 이거보면 눈에 확들어옴
• 이미지를 막 한번에 그림
  • 바야흐로 병렬처리의 세상임

• LangChain = 단방향/양방향 모델 개념이 아님
• 대신 단계적 흐름을 구성하는 프레임워크

• 서버 성능 업그레이드
• 성능 개선 한계

• 어려움
• 클러스터로 쉽게 확장

• 샤딩
  • 벡터 데이터를 여러 노드에 분산 저장
  • 예를들어 10억개의 벡터를 10개 노드에 1억개씩 배치
• 분산 인덱싱
  • 검색 시 여러 노드에서 병렬로 처리
• 부하분산
  • 대량의 검색 요청을 균등하게 분배하여 성능 유지

• 검색용 알고리즘 활용

• 단순 검색 결과가 아니라 메타데이터 기반 고품질 결과

• HNSW, IVF,PQ 등

• 어떤 데이터1
  • 원천 문장
  • 벡터
  • 메타
• 어떤 데이터2
  • 벡터
  • 요약문장

• 벡터
• 원천문장
• 메타

• 간소화된 검색

• 복합 표현의 한계
• 벡터 크기 증가

• 특정 분야에서 전문적인 지식이나 기술을 갖추고 일을 처리

• 특정 목표를 수행하기 위해 자율적으로 목표를 달성하기 위해 행동하는 소프트웨어 시스템

• 외부 자극에 반응하는 것이 아니라 스스로 목표를 설정하고 행동하는 자기주도적 행동
• 특정 Task 수행을 넘어서
  • 목표 설정
  • 계획
  • 도구 선택
  • 협업까지 진행

• 특정 업무에 특화된 알고리즘 기반의 학습모델

• GPT4
• LLM
• 로봇 제어 AI
• 자율주행

• 광범위하고 유연한 학습 및 추론 능력

• LLM한테 연결해주기만 하면 됨

• 랭체인에서 제공하는 도구와 툴킷

• 사용자가 직접 도구를 정의하여 사용
• langchain.tools 모듈에서 제공하는 @tool 데코레이터를 사용하여 함수를 도구로 변환하면 됨
• 데코레이터를 통해 일반 파이썬 함수를 도구로 변환하여 자동화된 업무 프로세스에 반영하는 것이 용이

• 도구 호출을 하면 모델이 하나 이상의 도구가 호출되어야 하는 시기를 감지하고 해당 내용을 전달할 수 있어야 함
• 일반 텍스트 완성하는 것 보다 더 안정적으로 유효하고 유용한 도구 호출Tool Calling을 반환함

• 질문 - 이번주에 볼만한 영화를 추천해줘
• LLM - 사용자 요청 이해
  • 어떤 도구를 사용할지 호출 결정
  • 필요한 도구를 찾아서 작업 수행
  • 도구 호출 결과 분석
• 정보 확인
• 답변 - 최종 응답 전달

• 순차적이고 능동적인 프로세스를 통해 복잡한 사용자 요청 처리
• 작업이 완료될 때까지 지속적으로 사고와 행동을 조율하는데에 적합

• 최초 - 순차적 실행
  • Reasoning 과 Acting을 하나의 시스템으로 결합한 연구
• 2024 - Multi Agent로의 확대
  • 에이전트간 협업, Supervisor의 동적 task 할당 처리 등 고려

• 제공할 도구 정의
• @tool decorator로 구분

• ChatPromptTemplate를 활용하여 정의

• 실행할 에이전트를 하나로 묶어서 생성

• 도구를 사용하는 에이전트를 실행
• LangChain의 AgentExecutor 통해 처리

• 생각의 전개 과정에 초점

• 결론 또는 추론된 결과

• 문제를 나누어 생각하게 만들고
• 논리적 단계를 스스로 생성하도록 하고
• 최종 결론이 더 정확해지도록 돕는다.

• 특징 : 과거 경험이나 내부 상태 없이, 현재 환경 상태에서만 반응
• 예시 : 간단한 조건-행동 규칙
• 장점 : 빠르고 단순
• 단점 : 복잡한 상황이나 추론에는 한계

• ...

• 1) Perception Layer — “입력을 받아들이는 단계”
• 2) Cognitive Layer — “생각하는 단계(가장 핵심)”
• 3) Execution Layer — “행동하는 단계”

• 1. Environment / User Input / Output
• 2. Perception Layer (입력 이해 단계)
• 3. Cognitive Layer (생각하고 판단하는 단계)
• 4. Execution Layer (행동 실행 단계)

• 이 층이 생기면서 에이전트는 “주어진 명령을 수행하는 존재”에서 “스스로 판단하고 목표를 조정하며 반복 작업을 관리하는 존재”로 발전한다.

• 문제 정의란 해결하고자 하는 문제의 성격, 목표 사용자, Agnet의 역할 등을 명확히 규정하는 단계
• 좀 훑어보기

• Agent가 수행해야 할 기능을 세분화하여 각 구성 요소의 책임을 명확히 함
• 어떤 기능을 LLM, 어떤 기능을 Tool, 어떤 기능을 Memory가 담당할지 결정
• 이후 시스템 설계 시 구성 요소 간 인터페이스를 명확하게 정의할 수 있음

• Agent 구성요소LLM, Tool, Memory 등 의 상호작용 방식 설계
• 실제 구현 구조를 반영한 데이터 흐름 및 컴포넌트 책임 명확화
• LangChain의 실행 흐름 AgentExecutor, Tool, Memory, Prompt이 어떻게 조립되는지 시각화
• 설계 예시 살펴보면 좋음.

• 설계한 아키텍처를 코드로 구현
• 다양한 입력에 대해 Agent가 적절히 Tool을 사용하거나 LLM으로 직접 응답하는지 테스트
• Memory가 제대로 작동하는지 확인
• 예상치 못한 입력에 대한 Fallback 처리도 확인

• Agent의 정확성, 유용성, 안정성을 검증
• 도구 호출 판단과 응답 생성이 적절하게 작동하는지 평가
• 사용자 경험UX 중심으로 실제 사용성 문제 개선