목록전체 글 (146)
토니의 연습장
segmentation과 diffusion은 서로 다른 과제지만, 네트워크에 요구하는 공간적 성질이 상당히 비슷해서 U-Net이 diffusion에 잘 맞습니다.먼저 segmentation도 형식상으로는 per-pixel classification입니다. 하지만 각 픽셀을 독립적으로 분류하는 단순한 문제가 아닙니다.예를 들어 어떤 픽셀 하나만 보고 그것이 고양이인지 배경인지 판단하기 어렵습니다. 주변의 윤곽, 질감뿐 아니라 “이 영역 전체가 고양이 몸체인가?”라는 넓은 문맥까지 필요합니다. 따라서 segmentation에는 동시에 다음이 필요합니다.정확한 픽셀 위치와 경계국소적인 질감과 윤곽물체 전체에 대한 넓은 문맥입력과 출력 사이의 공간적 대응이 요구사항이 diffusion의 denoising과 매우..
보호되어 있는 글입니다.
보호되어 있는 글입니다.
A40 8대 사용 선택, ssh access 등 체크, Edit PodEnvironment variables 에서 PUBLIC_KEY 체크 (로컬에서 원격접속 관련)-> "ssh-ed25519 base64키 메일주소" 전체값 Runpod 에서 public key 제대로 안 들어가 있는 경우 수동 입력 방법 - Open web terminal 열어서 확인 후 public key 입력root@5490ed8eaea6:/# ls -la ~/.sshtotal 4drwx------ 2 root root 37 Jan 3 01:59 .drwx------ 1 root root 121 Jan 3 01:59 ..-rwx------ 1 root root 5 Jan 3 01:59 authorized_keysroot@..
1. 배경 지식 2. Gated Attention 3. Long-Context 를 위한 Attention 4. Qwen 최신 모델 3. Gated Attention 과 Hybrid Attention 비교 👉 겹치는 부분은 있지만 관점과 목적이 다른 용어1️⃣ Gated Attention (게이티드 어텐션)핵심 개념어텐션 결과를 “얼마나 반영할지”를 게이트(gate)로 조절하는 메커니즘즉,어텐션은 이미 계산됨그 출력을 그대로 쓰지 않고sigmoid / tanh / learned gate로 선별적으로 통과👉 “어디에 볼까?”보다👉 **“이 정보, 지금 써도 될까?”**에 초점구조적 관점일반적인 형태:Attention(Q,K,V)=A\text{Attention}(Q,K,V) = AAttention(..
참고 : https://youtu.be/tQziqSx-F80
보호되어 있는 글입니다.
보호되어 있는 글입니다.
https://youtu.be/CkOSMqwvFiQ
보호되어 있는 글입니다.
보호되어 있는 글입니다.
SAM3로 “텍스트 한 줄” 영상 객체 분할+추적 끝내기 (Hugging Face 데모)영상에서 사람/동물/사물만 “쏙” 분리해내는 Video Segmentation은 해보고 싶지만, 보통은 클릭 포인트 찍고… 박스 치고… 프레임마다 고치고… 생각보다 손이 많이 간다.근데 Meta의 SAM3(Segment Anything Model 3)는 텍스트 프롬프트만으로 영상 속 객체를 분할하고, 프레임이 바뀌어도 마스크를 유지하며 추적(Tracking)까지 해주는 방향으로 확장된 게 핵심이다.✅ 먼저 바로 체험 링크 (유입 바로가기)아래 링크로 들어가면 설치 없이 바로 브라우저에서 실행 가능하다.👉 https://huggingface.co/spaces/bellmake/SAM3-video-segmentation-..
https://www.acmicpc.net/problem/2805 import sys# 입력 개수인 N 이 매우 클 수 있으므로 (최대 백만 개 가능한 것으로 나옴) 필요input = sys.stdin.readlineN, M = map(int, input().split())H = list(map(int, input().split()))low = 0high = max(H)# 이분 탐색answer = -1while low 비효율 인한 시간초과 방지 for h in H: if h > mid: total += h - mid if total >= M: # 이미 충분하면 더 볼 필요 없음 -> 비효율 인한 시간초과 방지 bre..
- LLM 은 AWS Bedrock 에서 hosting 됨- ConversationChain 으로 Prompt Store, Bedrock, Langcahin Memory 를 연결해 주어야 함- AWS 에서 langchain_aws 의 ChatBedrockConverse 즉 Converse API 를 사용하여 공용성을 확보하기를 권장함 1. local Chatbot 구현
1. Agent, AgentExecutorfrom langchain_core.prompts import ChatPromptTemplate# 프롬프트 생성# 프롬프트는 에이전트에게 모델이 수행할 작업을 설명하는 텍스트를 제공합니다. (도구의 이름과 역할을 입력)prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a helpful assistant. " "Make sure to use the `search_news` tool for searching keyword related news.", ), ("placeholder", "{chat_hi..
NeMo
📌 핵심 요약✅ NeMo Data Curator의 목적GPU 가속을 활용해 대규모 데이터셋을 고품질로 정제하는 도구사전학습(pre-training)에 필요한 대규모 텍스트 데이터의 품질을 높여 모델 성능을 향상함유저가 다양한 데이터 소스를 유연하게 추가/커스터마이징 가능✅ 데이터 큐레이션 전체 파이프라인1. 데이터 다운로드 및 텍스트 추출Common Crawl, Wikidumps, ArXiv 등에서 원시 데이터 다운로드필요시 다른 소스도 확장 가능2. 텍스트 정리 및 리포매팅깨진 유니코드, 중복, newline 문제 등을 정제텍스트 클리닝3. GPU 가속 문서 수준 중복 제거fuzzy deduplication (비슷한 텍스트도 제거)exact deduplication (완전히 동일한 텍스트 제거)4. ..
Pretraining -> SFT (Supervised Fine-Tuning) -> RL (Reinforcement Learning) RL 을 하다보면, 기존에 없던 능력을 unlock 해내는 'aha moment' 가 생기는 것을 발견하게 됩니다. Pretraining -> SFT (Supervised Fine-Tuning) -> RL (Reinforcement Learning) (distillation) 이제 강화 학습(RL)을 통해 추론 능력..
https://chatgpt.com/share/69186036-e3d4-8009-b4f6-100009b1e463 ChatGPT - 번역 및 수식 설명Shared via ChatGPTchatgpt.com 참고 : https://youtu.be/qpHgHcWxB5I
https://huggingface.co/papers/2403.13372 Paper page - LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Modelsgoated. Please add MeZO variants.huggingface.co https://ponder.ing/ko/flow/3d9cfe25-6dcb-477c-af2c-ed6027864890