토니의 연습장

1. Agent, AgentExecutorfrom langchain_core.prompts import ChatPromptTemplate# 프롬프트 생성# 프롬프트는 에이전트에게 모델이 수행할 작업을 설명하는 텍스트를 제공합니다. (도구의 이름과 역할을 입력)prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a helpful assistant. " "Make sure to use the `search_news` tool for searching keyword related news.", ), ("placeholder", "{chat_hi..

📌 핵심 요약✅ NeMo Data Curator의 목적GPU 가속을 활용해 대규모 데이터셋을 고품질로 정제하는 도구사전학습(pre-training)에 필요한 대규모 텍스트 데이터의 품질을 높여 모델 성능을 향상함유저가 다양한 데이터 소스를 유연하게 추가/커스터마이징 가능✅ 데이터 큐레이션 전체 파이프라인1. 데이터 다운로드 및 텍스트 추출Common Crawl, Wikidumps, ArXiv 등에서 원시 데이터 다운로드필요시 다른 소스도 확장 가능2. 텍스트 정리 및 리포매팅깨진 유니코드, 중복, newline 문제 등을 정제텍스트 클리닝3. GPU 가속 문서 수준 중복 제거fuzzy deduplication (비슷한 텍스트도 제거)exact deduplication (완전히 동일한 텍스트 제거)4. ..