티스토리

토니의 연습장

검색하기

블로그 홈

토니의 연습장

starknotes.tistory.com/m

bellmake 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

Distillation ✅ 핵심 특징모델 압축 (Model Compression)큰 모델(teacher)의 지식을 작은 모델(student)에 전달해 경량화된 모델을 만듦.소프트 타겟 (Soft Targets)정답 레이블(hard label)뿐만 아니라, teacher의 예측 확률 분포(soft label)를 student가 학습함.이 soft label에는 클래스 간의 유사도 정보가 담겨 있음.일반화 성능 향상student 모델이 단순히 hard label만 학습할 때보다 더 좋은 일반화 성능을 보일 수 있음.모델 구조 유연성student는 반드시 teacher와 같은 구조일 필요는 없음. 훨씬 작거나, 다른 구조여도 가능. ✅ Distillation Loss의 정의Distillation Loss는 Knowledge Dis.. 공감수 0 댓글수 0 2025. 4. 3.
Langchain - pipe 활용 from operator import itemgetterfrom langchain.memory import ConversationBufferMemoryfrom langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholderfrom langchain_core.runnables import RunnableLambda, RunnablePassthroughfrom langchain_openai import ChatOpenAI# ChatOpenAI 모델을 초기화합니다.model = ChatOpenAI()# 대화형 프롬프트를 생성합니다. 이 프롬프트는 시스템 메시지, 이전 대화 내역, 그리고 사용자 입력을 포함합니다.prompt = ChatPromptTe.. 공감수 0 댓글수 0 2025. 3. 24.
분산/병렬 처리 (DDP/MP) DDP : Distributed Data ParallelDMP : Distributed Model Parallel출처 : https://youtu.be/Wer9odeBWNg without accumulation : 순차 처리 방식with accumulation : 병렬 처리 방식 (multi-gpu)출처 : https://youtu.be/toUSzwR0EV8 공감수 0 댓글수 0 2025. 3. 14.
RAG 성능 테스트를 위한 함수 정의 *PDFRAG class 는 하단의 코드 참고from myrag import PDFRAG# 질문에 대한 답변하는 함수를 생성def ask_question_with_llm(llm): # PDFRAG 객체 생성 rag = PDFRAG( "data/SPRI_AI_Brief_2023년12월호_F.pdf", llm, ) # 검색기(retriever) 생성 retriever = rag.create_retriever() # 체인(chain) 생성 rag_chain = rag.create_chain(retriever) def _ask_question(inputs: dict): # 질문에 대한 컨텍스트 검색 context = r.. 공감수 0 댓글수 0 2025. 3. 6.
RAGAS 를 이용한 RAG 평가 *아래는 전체코드가 아닌 핵심 코드만을 다루고 있습니다.참고) RAGAS: https://docs.ragas.io/en/latest/getstarted/evaluation.htmlfrom ragas.testset.generator import TestsetGeneratorfrom ragas.testset.evolutions import simple, reasoning, multi_context, conditionalfrom ragas.llms import LangchainLLMWrapperfrom ragas.embeddings import LangchainEmbeddingsWrapperfrom ragas.testset.extractor import KeyphraseExtractorfrom ragas.te.. 공감수 0 댓글수 0 2025. 2. 27.
RAG - AI Agent 예시 *참고 : llm_call, llm_call_async functino 은 가장 하단의 utils.py 참고 1. 프롬프트 체이닝 (Prompt Chaining) prompt_chaining.pyfrom typing import Listfrom utils import llm_calldef prompt_chain_workflow(initial_input: str, prompt_chain: List[str]) -> List[str]: response_chain = [] response = initial_input for i, prompt in enumerate(prompt_chain, 1): print(f"\n==== 단계 {i} ====\n") final_promp.. 공감수 1 댓글수 0 2025. 2. 18.
RAG 중복문장 제거 vectorDB에 넣기 위해 중복문장을 제거할때,unique 문장을 뽑아내면서 리스트를 순회하지 않고 딕셔너리를 순회하며 키를 True로 넣는 이유unique_texts = {}docs_processed_unique = []for doc in docs_processed: if doc.page_content not in unique_texts: unique_texts[doc.page_content] = True docs_processed_unique.append(doc)이 코드에서 리스트 대신 딕셔너리를 사용하여 중복 여부를 확인하고, 키를 True로 넣는 이유를 설명해 드리겠습니다.🛠️ 1. 리스트와 딕셔너리의 성능 차이✅ 리스트 조회 (O(n))리스트에서 중복 여부를 확.. 공감수 0 댓글수 0 2025. 2. 15.
gguf/safetensor 로 ollama 모델 만들기 1. gguf -> ollama변환 도구 확인:gguf는 주로 llama.cpp 등에서 사용되는 모델 포맷입니다. 커뮤니티에서는 gguf 모델을 safetensors나 Hugging Face 형식으로 변환하기 위한 스크립트나 도구가 공유되고 있으므로, GitHub 이슈나 관련 리포지터리를 먼저 검색해보시기 바랍니다.예시 변환 (가상의 명령어):만약 변환 스크립트가 있다면 아래와 같이 실행할 수 있습니다.이 과정에서 모델 가중치와 토크나이저 파일이 Ollama에서 사용할 수 있는 형식(예: safetensors 파일들)으로 생성되어야 합니다.python convert_gguf_to_safetensors.py --input model.gguf --output /path/to/converted-model- Y.. 공감수 0 댓글수 0 2025. 2. 11.
db.add_documents() 특징 # db에 없는 문서만 추가 new_chunks = [] for chunk in chunks_with_ids: if chunk.metadata["id"] not in existing_ids: new_chunks.append(chunk) if len(new_chunks): print(f"👉 Adding new documents: {len(new_chunks)}") new_chunk_ids = [chunk.metadata["id"] for chunk in new_chunks] db.add_documents(new_chunks, ids=new_chunk_ids) db.persist() 1. 동작 .. 공감수 0 댓글수 0 2025. 2. 6.
RAG 단계 요약 1. Document Load 2. Document Split 3. Embedding Function 선언 ex1) ex2) 4. vectorDB 생성 / 문서 추가 참고) 경로:페이지:청크 5. DB 업데이트 6. RAG serve : Local / via Cloudex) Local : ollama Cloud : HuggingFace 7. RAG test (간이평가)Unit Test 활용 (PyTest) 8. RAG evalution (세부평가) 참고) https://youtu.be/2TJxpyO3ei4 공감수 0 댓글수 0 2025. 2. 6.
SFT 와 RLHF 출처 : https://youtu.be/crYmS_Q4eGw 공감수 0 댓글수 1 2025. 2. 4.
ollama 참고 메모리 요구 사항ex) llama27B(70억 파라미터) 모델은 일반적으로 최소 8GB의 RAM이 필요합니다.13B(130억 파라미터) 모델은 일반적으로 최소 16GB의 RAM이 필요합니다.70B(700억 파라미터) 모델은 일반적으로 최소 64GB의 RAM이 필요합니다.만약 더 높은 양자화(quantization) 수준에서 문제가 발생한다면, q4 모델을 사용하거나 많은 메모리를 사용하는 다른 프로그램을 종료해보세요.모델 변형(Variants)Chat 모델은 챗/대화(use case)에 맞춰 파인튜닝된 모델입니다. Ollama에서 기본값으로 사용되며, 태그 탭에서 -chat이 붙은 모델들이 여기에 해당합니다.예시: ollama run llama2Pre-trained 모델은 챗 파인튜닝이 적용되지 않은 모.. 공감수 0 댓글수 0 2025. 1. 23.
Embedding - 개인 자원 고려하기 현재 Ollama가 기본적으로 제공하는 모델들 중에서 영어 “임베딩 용도”로 가장 성능이 좋으면서도 RTX 4090(24GB VRAM) 단일 GPU로 실용적으로 구동 가능한 것은 대체로 Llama 2 13B 계열 모델입니다.배경: Ollama와 임베딩Ollama의 모델 구성Ollama는 주로 Llama 2, Code Llama, Falcon, Mistral, Wizard 등 여러 GGML 포맷의 모델을 지원합니다.그러나 “임베딩 전용”으로 특화된 모델(예: Sentence-Transformer류)은 공식 레포지토리에 크게 언급되어 있지 않고, 대체로 생성형 LLM(예: Llama 2) 위주입니다.Ollama는 내부적으로 ollama embed 같은 명령을 통해 LLM에서 임베딩 벡터를 추출할 수 있으나,.. 공감수 4 댓글수 2 2025. 1. 23.
RAG 주의점 (Document Loader) (출처)추가 참고 자료 : pdf로부터 표의 구조를 반영하면서 텍스트를 추출할 수 있는 좋은 방법은 바로 "마크다운" 방식 활용입니다. [RAG] Document Loader 비교 (feat. PDF, Markdown 변환)0. Document Loader (PDF)RAG를 하려면 수 많은 Raw Data들을 파싱해야 합니다.Raw Data들 중에서도 가장 범용적으로 사용되는 파일은 PDF이기 때문에, 이번 글에서는 PDF 파일에서 한글을 추출해내는 것이 중mz-moonzoo.tistory.com 공감수 0 댓글수 0 2025. 1. 21.
Memory 아래는 LangChain을 비롯해 LLM 활용 시 자주 등장하는 Memory(메모리) 기법을 예시를 순서대로 정리한 것입니다. 각각이 보여주는 메모리 방식과 특징에 대해 자세히 설명해 드리겠습니다.1. ConversationBufferMemory- 개념 요약대화형 AI(예: 챗봇)에서 가장 기본적인 형태의 메모리로, 사용자의 모든 발화(질문·응답) 로그를 그대로 "버퍼(buffer)" 형식으로 쌓아나가는 방식입니다.메모리에 저장된 이전 대화를 그대로 사용해, LLM이 답변을 생성할 때 과거 맥락(context)을 활용하도록 합니다.- 주요 특징전체 대화 내역 보존: 이전에 오간 대화를 수정 없이 전부 보존합니다.문장 단위 또는 메시지 단위 저장: 메시지를 쌓아두는 기본적인 형태라서 구현이 간단합니다.메모.. 공감수 5 댓글수 3 2025. 1. 14.
HyDE 와 Re-ranking RAG(Retrieval-Augmented Generation) 기법 중에서 HyDE와 Re-ranking은 모두 검색 단계를 보완하여 LLM(Large Language Model)의 답변 품질을 높이기 위한 방법입니다. 두 방법 모두 “검색된 문서(또는 텍스트 조각)을 더 잘 골라내거나 만들어내서 LLM이 참고하도록 한다”는 공통된 목표를 가지고 있지만, 접근 방식은 다릅니다.1. HyDE (Hypothetical Document Embeddings)핵심 아이디어질문(또는 쿼리)에 대해 가상의 문서(가설적 문서, hypothetical document)를 LLM이 생성한 뒤, 이 문서를 ‘쿼리’처럼 사용하여 실제 문서를 다시 검색(재검색)하거나 필터링하는 방법입니다.즉, 처음에 주어진 사용자 질문만 가.. 공감수 0 댓글수 1 2025. 1. 9.
LangServe example 1. base.pyfrom abc import ABC, abstractmethodclass BaseChain(ABC): """ 체인의 기본 클래스입니다. 모든 체인 클래스는 이 클래스를 상속받아야 합니다. Attributes: model (str): 사용할 LLM 모델명 temperature (float): 모델의 temperature 값 """ def __init__(self, model: str = "exaone", temperature: float = 0, **kwargs): self.model = model self.temperature = temperature self.kwargs = kwargs .. 공감수 0 댓글수 1 2025. 1. 9.
cosine_similarity sentence1 = "안녕하세요? 반갑습니다."sentence2 = "안녕하세요? 반갑습니다!"sentence3 = "안녕하세요? 만나서 반가워요."sentence4 = "Hi, nice to meet you."sentence5 = "I like to eat apples."from sklearn.metrics.pairwise import cosine_similaritysentences = [sentence1, sentence2, sentence3, sentence4, sentence5]embedded_sentences = embeddings.embed_documents(sentences)def similarity(a, b): return cosine_similarity([a], [b])[0][0].. 공감수 0 댓글수 2 2025. 1. 9.
LangChain Hub - handle https://changelog.langchain.com/announcements/manage-private-prompts-without-a-handle 💬 Manage private prompts without a handleWe’ve improved our SDK and LangSmith Prompts UI to make navigating prompts simpler. Now, only public prompts require a handle on creation. New accounts won’t...changelog.langchain.com 위에 따르면, SDK와 LangSmith Prompts UI를 개선하여 프롬프트 탐색을 더욱 간편하게 만들었습니다. 이제 공개(Public) 프롬프트를 생.. 공감수 0 댓글수 0 2024. 12. 18.
transformer, sentence-transformers, torch 호환 버전 로컬 환경 구성시 sentence-transformers 사용 중에 에러 발생 경우 관련하여 확인된 원활한 동작 호환 버전입니다. !pip uninstall transformers sentence-transformers torch -y!pip install transformers==4.46.2 sentence-transformers==3.3.0 torch==2.5.0 [ 정상 동작 결과 ] !pip show transformers!pip show sentence-transformers!pip show torch huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabli.. 공감수 1 댓글수 2 2024. 11. 15.
fine-tuning / instruction-tuning 📌 Fine-tuning과 Instruction-tuning의 차이점Fine-tuning과 Instruction-tuning은 모두 사전 훈련된(pre-trained) 모델의 성능과 용도를 개선하는 방법입니다. 그러나 두 접근법은 개념과 목적, 그리고 적용 방식이 다소 다릅니다.🔹 1. Fine-tuning (파인튜닝)📌 정의Fine-tuning이란 사전 훈련된 모델을 특정 작업(task)이나 특정 데이터셋에 맞게 추가 훈련시키는 과정입니다. 일반적으로 거대 모델(예: GPT, BERT, RoBERTa 등)을 기반으로, 특정 목적(분류, 생성, 번역 등)에 맞게 조정하는 방식입니다.📌 목적범용으로 훈련된 모델을 **특정 도메인(예: 법률, 의학, 금융 등)**의 데이터를 사용하여 성능을 높이는 것.. 공감수 0 댓글수 0 2024. 11. 13.
openAI fine-tuning # fine tuningresponse = client.fine_tuning.jobs.create( training_file = 'file-i8JJ5gqOJQGj1htWLdJLPydv', model="gpt-3.5-turbo")print(response) OpenAI의 파인 튜닝(Fine-tuning) 대시보드 화면으로, gpt-3.5-turbo 모델을 기반으로 한 파인 튜닝 작업의 결과를 보여줍니다. 여기서 중요한 정보들을 설명하겠습니다.주요 정보모델 정보Base model: gpt-3.5-turbo-0125라는 기본 모델을 사용하여 파인 튜닝이 수행되었습니다.Output model: 파인 튜닝된 모델의 이름이 ft:gpt-3.5-turbo-0125:personal::ASyCDd5로 나타납니다.상태.. 공감수 2 댓글수 0 2024. 11. 13.
PEFT 공감수 0 댓글수 1 2024. 11. 13.
LangChain과 LangSmith 차이점 LangChain과 LangSmith는 모두 언어 모델의 기능을 확장하고 응용하는 데 도움을 주는 도구이지만, 목적과 기능에서 차이가 있습니다.1. LangChainLangChain은 대화형 AI 응용 프로그램을 구축하기 위한 프레임워크입니다. 주요 목적은 다양한 자연어 처리(NLP) 및 대화형 AI 애플리케이션을 쉽게 설계, 개발, 실행할 수 있도록 지원하는 것입니다.LangChain의 주요 특징:프롬프트 관리: 프롬프트를 재사용 가능하게 정의하고 템플릿화할 수 있습니다.메모리 관리: 대화 기록을 기억하고 관리하는 기능을 제공합니다.Tooling과 Agents: 언어 모델이 특정 API 또는 데이터베이스와 상호작용할 수 있도록 도와주며, 다양한 외부 툴을 언어 모델과 결합할 수 있는 에이전트를 지원합니.. 공감수 2 댓글수 0 2024. 11. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.