먹보의 개발일지

Java8에는 어떤것들이 바뀌었나?

먹보 개발자 — Thu, 1 May 2025 18:41:44 +0900

Java8이 출시하고 많은 변화를 겪었다고 하여 Java8을 기준으로 전 후를 알아보고 싶었다.

Lambda expression(람다 표현식)
Functional interface(함수형 인터페이스)
Default method(디폴트 메서드)
Stream(스트림)
Optional(옵셔널)
새롭게 추가된 날짜 API
CompletableFuture(컴플리터블 퓨처)
JVM의 변화

1. lambda 표현식

Java8때 출시한 lambda 표현식에 대해서 먼저 알아봤다.

lambda가 탄생하게된 목적이 무엇일까? lambda 표현식이란 하나의 메소드를 하나의 식으로 표현한것이다.

처음엔 저 한 문장이 이해가 안갔다. Java8이전에 있었던 '익명함수'라는 놈을 살펴보면 익명함수란 함수에 이름을 붙이이 않고 바로 정의해서 사용하는 방법인데

Runnable oldWay = new Runnable() {
            @Override
            public void run() {
                System.out.println("익명클래스 방식");
            }
        };

이렇게 구현체를 따로 생성하지 않고 인터페이스를 구현할 수 있었다. 하나의 함수인것이다. 또한 '일회용 함수'로서 유용했다.

익명함수의 존재와 목적을 알고나니 람다의 탄생과 목적이 조금이나마 이해가 갔다. 위의 코드에 나와있는것처럼 익명 내부클래스는 그 구성이 복잡해질수록 코드도 장황해져 함수처럼 간편하게 다루기가 힘들었다. 여기서 람다 표현식의 탄생이유가 이해되었다.

Runnable lambdaWay = () -> System.out.println("람다방식");

람다 표현식을 사용하면 익명 클래스보다 훨씬 간결하고 가독성이 뛰어나다.

1. 불필요한 반복코드 즉 보일러플레이트를 제거하고

2. 함수형 인터페이스(추상 메서드를 하나만 가지고 있음)를 구현하기에 메서드의 매개변수로도, 반환값으로도 바로 전달할 수 있다.

3. 또한 코드를 읽을때 어떤 일을 하는 함수라는게 한눈에 파악 가능하다.

람다 표현식을 조금씩 파헤쳐보며 새로안 사실이 있었다. 위에서도 기입했지만 함수형 인터페이스만 가능하다는것. 즉 메서드가 두 개 이상 있는 인터페이스에서는 쓸 수 없고 일반 클래스나 추상 클래스에서는 쓸 수 없다는 사실도 처음 알았다. 사실 공부하며 '아니 람다가 있으면 더 이상 익명함수는 필요가 없겠네? 익명 함수에서 발전된거니까...?' 라고 느끼고 있었는데 람다 표현식을 쓸 수 없는 상황에는 익명함수로 쓸 수 있다는게 재밌었다. 더불어 익명함수에는 제약이 없다는것, 인터페이스 구현도 되고, 추상 클래스 상속도 된다는것 = "람다가 쓰지 못하는 곳에서는 언제나 익명 내부 클래스로 대체할 수 있다." 라는 것.

2. 함수형 인터페이스

자연스럽게 함수형 인터페이스로 넘어가서 함수형 인터페이스가 java8에 생겼나? 그건 아닌것같다. 정확히 말하자면 "추상 메서드가 하나인 인터페이스"는 만들 수 있었다. Java8부터 @FunctionalInterface 애너테이션을 통해 추상 메서드가 정확히 하나인지 컴파일러가 검증해주고, 람다 표현식과 스트림 API 같은 함수형 프로그래밍 요소들을 함수형 인터페이스 전용으로 정의 할 수 있게 지원해줬다. 여기서 java개발자가 사용자들의 니즈(?)를 반영하려하는 마음이 크게 느껴졌다. 역시 무언가 생기기 까지의 과정과 배경 및 목적을 알았을때 프로그래밍의 재미가 더해지는것같다. 정리해보면 함수형 인터페이스는 "추상메서드가 하나만 있는 인터페이스"인것이다.

3. 디폴트 메서드

충격이었다. 디폴트 메서드가 Java8에 도입된 기능이라니. 이것을 모르고 java17부터 온갖 편한 기능이 다 있는 상태속 공부를 하기 시작했던 나는 당연한줄 알았던 디폴트 메서드가 원래 처음부터 있다고 생각했었다. 결국 Java7까지는 인터페이스의 모든 메서드가 추상 메서드였다는게 아닌가. 그렇다면 새로운 기능을 추가할 때 기존 인터페이스를 구현하고 있는 구현체들은 반드시 메서드를 오버라이딩해야하는 상황이 발생하는데 어허.. 이러면 불편한점이 반드시 생겼었을것같다. default 메서드는 인터페이스에 default 키워드를 붙여 기존 구현체를 건드리지 않고도 인터페이스에 메서드를 추가할 수 있게 해준다.

Charmander - CICD 파이프라인 구축

먹보 개발자 — Thu, 13 Mar 2025 19:19:16 +0900

1. EC2 인스턴스 생성

2. EC2 인스턴스 접속

3. Docker, Docker Compose 설치

# 패키지 업데이트
sudo yum update -y

# Docker 설치
sudo yum install -y docker

# Docker 데몬 시작
sudo service docker start

# (선택) 부팅 시 Docker 자동 시작
sudo systemctl enable docker

# ec2-user(또는 원하는 사용자)를 docker 그룹에 추가
sudo usermod -aG docker ec2-user

# (권장) 최신 버전 설치를 원한다면, GitHub 릴리스 페이지에서 버전 번호를 바꿔 사용하세요.
# https://github.com/docker/compose/releases

# 1) 바이너리 다운로드
sudo curl -L "https://github.com/docker/compose/releases/download/2.33.1/docker-compose-$(uname -s)-$(uname -m)" \
     -o /usr/local/bin/docker-compose

# 2) 실행 권한 부여
sudo chmod +x /usr/local/bin/docker-compose

# 3) (옵션) 편의를 위해 심볼릭 링크 생성
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

4. ECR 생성

1. Mutable

• 동일한 태그를 여러 번 덮어쓸 수 있는 모드.

• 예: latest 태그로 이미지를 한 번 푸시한 뒤, 다시 빌드된 이미지를 동일한 latest 태그로 푸시하면 이전 이미지는 덮어쓰임.

• CI/CD 파이프라인에서 항상 latest 태그로 이미지를 올리는 식으로 손쉽게 사용할 수 있지만, 이미 존재하는 태그가 다른 이미지로 바뀔 수 있기 때문에, “태그가 가리키는 이미지가 시간에 따라 변할 수 있다”는 점에 유의해야 함.

2. Immutable

• 한 번 푸시된 태그를 이후에 덮어쓸 수 없는 모드.

• 예: latest 태그로 이미지를 푸시한 후, 동일 태그(latest)로 새 이미지를 푸시하려고 하면 오류가 발생하여 덮어쓸 수 없음.

• 운영/프로덕션 환경에서 특정 태그가 한 번 정해지면 절대로 바뀌지 않게 함으로써, “태그 = 특정 이미지”라는 불변성을 보장할 수 있다.

• 하지만 매번 새 버전의 이미지를 푸시할 때마다 새 태그를 발행해야 하므로, 태그 관리가 다소 번거로울 수 있다.

1. AES-256 (기본 S3 서버 사이드 암호화, SSE-S3)

• AWS가 기본적으로 제공하는 서버 사이드 암호화 방식.

• 별도의 KMS(Key Management Service) 키를 사용하지 않고, AWS가 자동으로 관리하는 키로 데이터를 암호.

• 설정이 간단하고 추가 비용 없이 사용 가능.

• 하지만 고객이 직접 키를 관리하거나, 세부적인 키 정책을 설정하기는 어려움.

2. AWS KMS (SSE-KMS)

• AWS Key Management Service(KMS)에서 제공하는 고객 관리형 키(CMK) 또는 AWS 관리형 키를 사용해 암호화함.

• 세부적인 키 제어, 키 정책, 접근 권한 등을 설정할 수 있으며, 키 회전 등을 통한 보안 강화를 할 수 있다.

• 다만 KMS 사용에 따른 소정의 비용이 발생할 수 있으며, KMS 권한/정책을 잘 설정해야 함.

Redis 개요

먹보 개발자 — Thu, 6 Mar 2025 11:45:16 +0900

shoplink - 모니터링 시스템 구축 (prometheus + grafana)

먹보 개발자 — Thu, 20 Feb 2025 12:10:50 +0900

1. Spring Boot 애플리케이션에 Prometheus 메트릭 내보내기

1.1. 의존성 추가

1) Spring Boot Actuator - 애플리케이션의 다양한 지표(헬스 체크, 정보, 메트릭 등)를 제공하는 핵심 라이브러리

2) Micrometer Registry Prometheus - Micrometer를 통해 Actuator에서 수집한 메트릭을 Prometheus가 이해할 수 있는 형태로 노출

1.2. 설정 파일(yml) 변경

application.yml(혹은 application.properties)에서 Actuator 엔드포인트 설정 해주기

Prometheus가 수집할 수 있도록 /actuator/prometheus 엔드포인트를 공개해야 함

server:
  port: 8080

management:
  endpoints:
    web:
      exposure:
        include: "*"
  endpoint:
    prometheus:
      access: unrestricted

• include: "*"를 하면 모든 Actuator 엔드포인트가 열리지만, 보안 혹은 내부 운영 정책에 따라 필요한 엔드포인트만 열어주는 것이 좋음.

1.3. 애플리케이션 실행 후 확인

프로젝트를 실행한 뒤, 웹 브라우저 혹은 cURL을 통해 다음 URL로 접속.

http://localhost:8080/actuator/prometheus

위의 사진과 같이 뜨면 접속 성공

2. Prometheus 설정 및 실행

Spring Boot 애플리케이션에서 /actuator/prometheus를 통해 지표가 잘 노출되는지 확인했다면, 이제 Prometheus 서버가 해당 엔드포인트를 스크레이핑하도록 설정해야 함.

2.1. Prometheus 다운로드

Prometheus 공식 GitHub Releases 페이지에서 OS/아키텍처에 맞는 버전을 다운로드 하기. (필자는 Mac)

#다운로드
wget https://github.com/prometheus/prometheus/releases/download/v2.42.0/prometheus-2.42.0.darwin-arm64.tar.gz

#압축해제
tar xvfz prometheus-2.42.0.darwin-arm64.tar.gz

#해당폴더 이동
cd prometheus-2.42.0.darwin-arm64

2.2. Prometheus 설정 파일(prometheus.yml) 편집

압축을 해제하면 prometheus.yml 파일이 함께 제공되는데, 아래처럼 Spring Boot 애플리케이션을 스크랩하도록 설정을 추가하기.

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "shoplink"
    scrape_interval: 15s

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    metrics_path: "/actuator/prometheus"
    static_configs:
      - targets: ["localhost:8080"]

2.3. Prometheus 서버 실행

#프로메테우스 서버 실행
./prometheus --config.file=prometheus.yml

• 실행 로그를 보면 설정이 제대로 로드되었는지, 스크레이핑 대상에 제대로 접근되고 있는지를 확인할 수 있음.

• 웹브라우저에서 http://localhost:9090 으로 접속해 Status -> Targets 메뉴로 이동하면, UP 상태인지 확인이 가능함.

3. Grafana로 데이터 시각화

3.1. Grafana 다운로드/설치

#다운로드
curl -O https://dl.grafana.com/enterprise/release/grafana-enterprise-11.5.2.darwin-amd64.tar.gz

#압축해제
tar -zxvf grafana-enterprise-11.5.2.darwin-amd64.tar.gz

#해당폴더 이동
cd grafana-v11.5.2

#그라파나 서버 실행
./bin/grafana server

3.2. Grafana 첫 접속 및 Prometheus 데이터 소스 추가

1) 웹 브라우저에서 http://localhost:3000 접속.

2) 기본 아이디/비밀번호: admin / admin (최초 로그인 시 비밀번호 변경해야 할 수 있음)

3) 좌측 사이드바에서 Connections -> Data Sources 선택

4) Add data source 버튼 클릭

5) 목록에서 Prometheus를 선택

6) Prometheus URL 예시: http://localhost:9090

7) Save & Test 버튼을 눌러 성공 여부 확인

3.3. 대시보드 만들기

Prometheus 데이터를 Grafana에서 시각화하기 위해 새 대시보드를 만들기.

1. Create -> Dashboard 클릭

2. Add new panel 클릭

3. Query 부분에서 Prometheus 데이터 소스 선택

4. 예시:

• CPU 사용량(단순 예시): rate(process_cpu_seconds_total[1m])

• JVM Heap 사용률: jvm_memory_used_bytes{area="heap"}

• HTTP 요청 수: sum by (uri, method) (rate(http_server_requests_seconds_count[1m]))

5. 그래프가 표시되는지 확인 후, Save 버튼을 눌러 대시보드를 저장

Spring Boot Actuator + Micrometer는 JVM 메모리, GC, 스레드, HTTP 요청, DB Connection Pool 등 다양한 지표를 기본적으로 노출함. 실제 운영 환경에서는 필요한 정보를 골라서 시각화하면 됨.

4. 구축 흐름 요약

1) Spring Boot 애플리케이션

• spring-boot-starter-actuator, micrometer-registry-prometheus 의존성 추가

• /actuator/prometheus로 메트릭 노출

2) Prometheus

• prometheus.yml에서 Spring Boot 애플리케이션의 메트릭 엔드포인트 설정 (예: localhost:8080)

• Prometheus 서버 실행

3) Grafana

• Prometheus를 데이터 소스로 설정

• 원하는 메트릭을 쿼리하여 대시보드 생성/시각화

5. 추가 고려사항

1) 보안

• /actuator/prometheus 엔드포인트에 인증/인가가 필요한지 여부를 검토해야 함.

• 운영 환경이라면 HTTPS 적용 여부, Prometheus->애플리케이션 통신 제한(IP 화이트리스트 등)도 고려대상.

2) 프로메테우스 스크레이핑 주기

• scrape_interval은 너무 짧으면 Prometheus 서버 부하가 커지고, 너무 길면 모니터링 응답성이 떨어짐.

• 일반적으로 15초 ~ 1분 사이 정도가 많이 쓰이는 설정.

3) 대시보드 템플릿

• Spring Boot + Prometheus를 위한 Grafana 대시보드 템플릿이 이미 오픈소스 커뮤니티나 Grafana Labs에서 공유됨.

• 필요한 템플릿을 가져와서 커스터마이징하면 빠르게 구축 가능.

4) 알람(Alerts)

• Prometheus에는 Alertmanager 연동을 통해 특정 지표가 임계값을 넘었을 때 Slack/이메일/Webhook 등으로 알람을 보낼 수 있음.

• Grafana의 Alerting 기능으로도 대시보드 기반 알람을 설정할 수 있음.

5) 운영 환경 배포

• Docker Compose나 Kubernetes를 사용하면 Spring Boot + Prometheus + Grafana를 한꺼번에 쉽게 구성할 수 있음.

• 각 컨테이너를 분리하여 유지보수/확장이 용이함.

패스트캠퍼스 토이프로젝트3 쇼핑몰 잡화 서비스 회고

먹보 개발자 — Wed, 5 Feb 2025 13:46:04 +0900

회고할 내용

1. 개발문화정립

2. LLM경험

1. 개발문화정립

약 2주간의 토이프로젝트가 2월 4일 발표를 기점으로 끝이 났다. 이번 프로젝트에서 가장 인상깊었던 부분은 개발 문화에 대한 정립이었는데, 이전 프로젝트에서 개발 프로세스에 여러 문제점을 느낀 한 팀원분이 좋은 개발 문화를 정립하는데 큰 기여를 해주셨는다. 특히 그 부분이 프로젝트 진행에 있어 크나큰 도움이 됐다. 팀원 분께서 느낀 (전)프로젝트의 문제점은 세가지였다.

1. 한 PR의 많은 커밋

2. 잦은 충돌

3. 대기 / 병목으로 인한 효율 저하

이 문제점을 다음과 같이 수정했다.

1. 하나의 PR에는 최소한의 코드만 작성 / 변경

2. 개발하는 시간 이외에 충돌 문제를 해결하는 시간 줄이기

3. 목표를 수치화

스프링 부트 오픈소스나 다른 이름있는 프로젝트들의 깃헙 협업 방식을 참고하여 개발 협업과정이 원활히 진행 될 수 있도록 설계했다. 그 결과 사진에도 볼 수 있듯이 초반에는 복잡하고 여러개의 브랜치가 merge되었으나 후반부로 갈 수록 브랜치가 잘 정리되어있고 흐름이 단순화 되어있는것을 확인할 수 있었다.

2. LLM모델을 활용한 챗봇 서비스 개발

Fast API를 활용한 OpenAI 챗봇 개발이 주제였고 LLM을 활용한 챗봇서비스는 처음 접하는 주제였다. 여러 강사님께서 특강을 해주실때 RAG에 대한 부분을 언급해주셨고 할루시네이션을 일으키고 전문성이 부족한 LLM모델이 RAG와 결합될 때 기존에 발생하는 LLM의 문제를 어느정도 해소할 수 있다는 내용으로 받아들였다. 따라 나는 RAG를 기반으로한 LLM챗봇서비스를 개발하려했고 서비스 개발을 위해 youtube GPTers에 있는 이상연님의 영상에 나오는 RAG구조를 참고했다.

https://www.youtube.com/watch?v=m7cNjCVpSrw&t=234s&ab_channel=GPTers%EC%BB%A4%EB%AE%A4%EB%8B%88%ED%8B%B0

참고한 영상을 바탕으로 아래와 같은 RAG 기반 LLM application 구조를 설계했다.

토이프로젝트 잡화몰 챗봇서비스 RAG 구조

잡화 쇼핑몰이 주제였기에 크롤링을 담당하신 팀원분께서 데이터를 스크랩해주셨고, 그 데이터를 바탕으로 벡터db에 저장시킬 docx파일을 만들었다. upstage는 회원가입을 하면 10달러짜리 api key를 제공해주기에 upstage를 사용했고 임베딩 모델과 ai 언어 모델은 upstage에서 제공해주는 모델을 사용했다. 구조에서 나와있듯이 쇼핑몰 데이터를 먼저 임베딩화 시켜 벡터db에 저장하고 사용자의 질문이 컨텍스트를 통해 입력되었을때 사용자의 질문을 임베딩해서 벡터화 되어있는 쇼핑몰 데이터 정보와 유사도 검색을 한다(코사인 유사도 검색으로 되어있다. 코사인 유사도 검색은 벡터의 각도로 유사도 측정하는 것이다.) 이렇게 사용자의 질문과 검색결과 N개(나는 4개로 설정했다.)를 포함해 AI 언어모델에 전달하고 모델은 입력 토큰과 검색 결과를 바탕으로 답변을 생성하게 된다.

시연 영상 중 한 장면

IoC 디자인 원칙과 스프링 프레임워크

먹보 개발자 — Sat, 11 Jan 2025 03:17:20 +0900

IoC는 디자인 원칙이다.

스프링 프레임워크는 IoC디자인 원칙을 따르고 있다. IoC 원칙을 구현하기 위해 스프링은 *IoC컨테이너를 제공하고 이 컨테이너의 핵심 인터페이스는 BeanFactory이다.

*(IoC컨테이너는 실제 구현되어있는 클래스나 인터페이스가 아닌 개념에 가깝다. IoC컨테이너를 제공한다는것은 IoC컨테이너라는 개념을 구현한 실제 인터페이스와 구현체를 제공한다는 것이다.)
스프링에서 제공하는 대표적인 IoC 컨테이너에는 BeanFactory라는 인터페이스가 있다. IoC 원칙을 적용해서 객체 생성, 의존성 주입, 빈 생명주기 관리 등을 수행한다. 가장 기본적인 스프링 IoC컨테이너이자, 경량 컨테이너이다. 이 인터페이스의 대표적인 구현체로는 DefaultListableBeanFactory가 있다.

다음으로는 BeanFactory를 확장시킨 ApplicationContext라는 인터페이스가 있다. BeanFactory의 모든 기능과 추가 기능을 제공한다.

스프링 애플리케이션에서는 대부분 ApplicationContext를 사용한다. 이 인터페이스의 구현체로는 ClassPathXmlApplicationContext, FileSystemXmlApplicationContext, AnnotationConfigApplicationContext, WebApplicationContext등이 있다.

자바에서 가장 많이 호출되는것은 무엇일까

먹보 개발자 — Fri, 10 Jan 2025 19:12:23 +0900

자바에서 가장 많이 호출되는 클래스는 사용자의 코드와 환경에 따라 다를 수 있지만, 일반적으로 핵심 Java API 클래스들이 가장 많이 호출됨. 그중에서도 아래 클래스들이 자주 호출됨:

1. java.lang 패키지

이 패키지의 클래스는 기본적으로 import 없이 사용되므로 매우 자주 호출됨.

• String:

• 문자열 처리와 관련된 작업에 사용.

• 예: System.out.println("Hello");에서 문자열 리터럴 "Hello"가 포함됨.

• Object:

• 모든 클래스의 최상위 부모 클래스.

• 객체 생성, 비교, 해시코드 계산 등에서 자주 호출됨.

• 예: equals, hashCode, toString 메서드.

• Math:

• 수학적 계산(예: Math.sqrt, Math.pow)에 사용.

2. java.util 패키지

컬렉션 및 유틸리티 클래스가 포함된 자바의 필수 패키지.

• ArrayList:

• 리스트를 동적으로 관리하는 데 가장 많이 사용.

• 예: List<String> list = new ArrayList<>();.

• HashMap:

• 키-값 쌍을 저장하고 검색할 때 자주 사용.

• 예: Map<String, Integer> map = new HashMap<>();.

• Collections:

• 컬렉션 조작을 위한 유틸리티 메서드 제공.

• 예: Collections.sort(list).

3. java.io 패키지

입출력 작업과 관련된 클래스.

• BufferedReader / BufferedWriter:

• 파일이나 콘솔 입력을 처리할 때 사용.

• File:

• 파일 경로와 관련된 작업에서 사용.

• 예: new File("path/to/file").

4. java.nio 패키지

보다 효율적인 I/O 작업을 위해 사용.

• Path:

• 파일 시스템 경로를 나타내는 데 사용.

• Files:

• 파일 복사, 이동, 삭제 등의 작업에서 사용.

5. java.time 패키지

날짜와 시간 처리.

• LocalDate, LocalDateTime, Instant:

• 최신 날짜/시간 API로 매우 자주 사용.

• 예: LocalDate.now().

6. System 클래스

• System.out:

• 콘솔 출력에서 가장 많이 호출.

• 예: System.out.println("Hello World");.

• System.currentTimeMillis():

• 현재 시간을 밀리초 단위로 가져오는 데 사용.

결론: 가장 자주 호출되는 클래스

1. java.lang.String: 문자열 작업에서 필수.

2. java.util.ArrayList: 컬렉션 관리.

3. java.lang.Object: 모든 클래스의 최상위 부모.

4. java.lang.System: 출력과 시간 측정.

5. java.util.HashMap: 키-값 저장.

패스트캠퍼스 중간회고(240928~250110)

먹보 개발자 — Fri, 10 Jan 2025 12:37:38 +0900

먹보블로그에서의 첫 회고

겉핥기 공부를 하고있다 생각된다. 집중도 있게 공부를 하는것과 별개로 내가 소프트웨어 지식을 보고 탐구하는 시각의 두께가 꽤나 얇은것같다. 간단한 예로 변수는 간단히 '변경이 가능한 공간'이라고 생각하고 있었다. 하지만 변수는 정확히 말하면 메모리의 특정 주소를 가리키는 식별자라는것을 최근에 깨닫게 되었다. 실패라는 개념은 쉽게 적용되지 않는것같다. 일단 부딪혀보되 대상의 본질과 역할을 파악하려 노력하자.

Vector Database

먹보 개발자 — Wed, 8 Jan 2025 17:38:25 +0900

답변을 생성할 때 필요한 데이터는 사용자가 원하는 정보이다.

- 사용자의 질문과 관련있는 데이터여야한다.

관련이 있다는것을 어떻게 판단할까?

관련성 파악을 위해 vector를 활용한다.

- 단어 또는 문장의 유사도를 파악해서 관련성을 측정한다.

벡터를 어떻게 생성하는가?

Embedding 모델을 활용해서 vector를 생성한다.

임베딩 모델은 문장에서 비슷한 단어가 자주 붙어있는 것을 학습한다.

ex) 왕은 왕자의 아버지다 / 여왕은 왕자의 어머니다

=> "왕자의" 라는 단어 앞에 등장하는 "왕"과 "여왕"은 유사할 가능성이 높다

벡터 데이터베이스란
1. Embedding 모델을 활용해 생성된 vector를 저장

- 단순히 vector만 저장하면 안되고 metadata도 같이 저장해야한다 **이 부분이 상당히 중요하다

- 문서의 이름, 페이지 번호 등 같이 저장 -> LLM이 생성하는 답변의 퀄리티가 상승함

2. Vector를 대상으로 유사도 검색 실시

- 사용자의 질문과 가장 비슷한 문서를 가져오는 것 - Retrieval

- 가져온 문서를 prompt를 통해 LLM에 제공 - Augmented

- LLM은 prompt를 활용해서 답변 생성

=========+

벡터란?

벡터는 숫자 배열로, 공간에서 크기와 방향을 나타낸다.

벡터 데이터란?

숫자의 배열로 이루어진 데이터

예시:

• 텍스트: “apple” → [0.5, 0.1, 0.8]

• 이미지: 고유한 패턴을 나타내는 벡터 [0.2, 0.7, 0.9, ...]

• 음성: 주파수 특성을 반영한 벡터 [0.3, 0.6, 0.4, ...]

벡터 데이터가 중요한 이유

• 컴퓨터는 숫자로 된 데이터를 처리하기 때문에, 비정형 데이터를 벡터로 변환해야 함.

• 고차원 벡터 공간에서 데이터를 비교, 분류, 예측 가능.

RAG란?

먹보 개발자 — Wed, 8 Jan 2025 17:25:55 +0900

1. Retrieval

- 데이터를 가져오는것

2. Augmented

- Retrieval된 데이터를 LLM에 전달하며 마치 정보를 아는것처럼

3. Generation

- 답변을 생성

고민할 부분

1. 답변 생성은 LLM 역할

2. 나는 데이터를 잘 가져와서

3. LLM에 잘 전달해야함

데이터를 잘 가져오려면

1. 잘 저장해야함

2. 잘 저장하는게 어려움 - 제일 중요한 부분임

잘 전달하려면?

1. 프롬프트를 잘 활용해야함

2. 문맥을 어떻게 제공할 것인가 ***