토니의 연습장

from langchain_core.prompts import ChatPromptTemplate# 프롬프트 생성# 프롬프트는 에이전트에게 모델이 수행할 작업을 설명하는 텍스트를 제공합니다. (도구의 이름과 역할을 입력)prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a helpful assistant. " "Make sure to use the `search_news` tool for searching keyword related news.", ), ("placeholder", "{chat_history}"), ("huma..

📌 핵심 요약✅ NeMo Data Curator의 목적GPU 가속을 활용해 대규모 데이터셋을 고품질로 정제하는 도구사전학습(pre-training)에 필요한 대규모 텍스트 데이터의 품질을 높여 모델 성능을 향상함유저가 다양한 데이터 소스를 유연하게 추가/커스터마이징 가능✅ 데이터 큐레이션 전체 파이프라인1. 데이터 다운로드 및 텍스트 추출Common Crawl, Wikidumps, ArXiv 등에서 원시 데이터 다운로드필요시 다른 소스도 확장 가능2. 텍스트 정리 및 리포매팅깨진 유니코드, 중복, newline 문제 등을 정제텍스트 클리닝3. GPU 가속 문서 수준 중복 제거fuzzy deduplication (비슷한 텍스트도 제거)exact deduplication (완전히 동일한 텍스트 제거)4. ..

Pretraining -> SFT (Supervised Fine-Tuning) -> RL (Reinforcement Learning) RL 을 하다보면, 기존에 없던 능력을 unlock 해내는 'aha moment' 가 생기는 것을 발견하게 됩니다. Pretraining -> SFT (Supervised Fine-Tuning) -> RL (Reinforcement Learning) (distillation) 이제 강화 학습(RL)을 통해 추론 능력..

https://chatgpt.com/share/69186036-e3d4-8009-b4f6-100009b1e463 ChatGPT - 번역 및 수식 설명Shared via ChatGPTchatgpt.com 참고 : https://youtu.be/qpHgHcWxB5I

https://huggingface.co/papers/2403.13372 Paper page - LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Modelsgoated. Please add MeZO variants.huggingface.co https://ponder.ing/ko/flow/3d9cfe25-6dcb-477c-af2c-ed6027864890

참고 : https://www.nvidia.com/ko-kr/on-demand/session/gtc25-s72431/

https://www.acmicpc.net/problem/14502from collections import dequefrom itertools import combinationsN, M = map(int, input().split())B = [[] for _ in range(N)]for i in range(N): B[i] = list(map(int, input().split())) cells = [(i,j) for i in range(N) for j in range(M) if B[i][j]==0]max_safe = 0for combination in combinations(cells, 3): for row, col in combination: B[row][col] = 1 ..