토니의 연습장

- Grouped Multi-Query Attention- KV Cache

ex) linear.py 의 내부 사용 method 내부는 C++ 로 아래와 같이 구현되어 있음

요약BatchNorm: 배치 전체 통계 기반, CNN에 특화, 큰 배치에서 최고의 성능LayerNorm: 샘플별 통계 기반, 시퀀스·토큰 모델에 필수, 작은 배치에도 안정이미지 분류·객체 검출(CNN 계열)배치 크기가 충분하다면 → BatchNorm배치가 매우 작거나 온라인 추론 위주라면 → GroupNorm 또는 LayerNorm 고려자연어 처리·시퀀스 모델Transformer, RNN 계열 → LayerNorm특히 auto-regressive 생성(decoding) 시 causal 구조와 잘 맞음일반 MLP배치 독립성이 필요하면 → LayerNorm배치 통계가 풍부하면 → BatchNorm 왜 LayerNorm을 쓰는가?배치 크기 독립성BatchNorm은 배치 전체의 통계량을 사용하지만, LayerN..

* 실제 사용은 하단 전체 코드 참고미래 토큰 차단용 마스크 (causal mask)self.register_buffer( 'mask', torch.triu(torch.ones(CONTEXT_LENGTH, CONTEXT_LENGTH), diagonal=1)) (L, L) 크기의 상삼각 행렬 생성 (L = CONTEXT_LENGTH).대각선 위쪽(미래 위치)에 1이 채워져 있고, 나머지는 0.register_buffer로 저장하면 파라미터가 아니지만 .to(device) 등 이동 시 함께 따라갑니다.이후 forward에서scores = scores.masked_fill(self.mask == 1, float('-inf'))처럼 사용해서 “미래 정보”가 보이지 않도록 막음. Transformer의..

MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language ModelsThe recent GPT-4 has demonstrated extraordinary multi-modal abilities, such as directly generating websites from handwritten text and identifying humorous elements within images. These features are rarely observed in previous vision-language models. Howevearxiv.org Minigpt-4The recent GPT-4 has demonstrated ex..

SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understandinghttps://arxiv.org/pdf/2310.15308v4 논문 개요제목 : SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding저자/소속 : Haoxiang Wang (University of Illinois U-C, Apple Intern) 외 Apple 연구진버전 / 날짜 : v4 - 2024-06-10 arXiv1. 연구 동기 & 문제 정의CLIP은 텍스트-이미지 대비 학습으로 “무엇(semantic)”을 잘 파악하지만, 고해상도에 약하고 픽셀 ..

1) 딥러닝 논문을 어떻게 읽을까? 1단계: 외부 맥락 파악하기2단계: 첫 번째 읽기 – 내부 맥락 파악하기 딥러닝 논문을 읽기 어렵게 만드는 5가지 종류의 '알 수 없음(Unknown)'알려져 있다고 암시되는 외부적인 알 수 없음.저자들이 설명하는 내부적인 알 수 없음.저자들이 이해하지 못하는 (또는 해당 분야 전체가 아직 이해하지 못하는) 내부적인 알 수 없음.저자들이 도입한 내부적인 오류 (가끔 발생함).리뷰어들이 추가하라고 해서 들어간 쓸모없는 내용 (보통 눈에 띔). 3단계: 첫 번째 읽기 – 외부 지식의 공백을 채우기4단계: 두 번째 읽기 – 개념적 이해하기5단계: 두 번째 읽기 – 코드 심층 이해  2) 딥러닝 코드베이스를 어떻게 읽을까? 0단계: 논문을 읽어서 맥락 정보를 파악한다.1단계:..

Install ZenML - https://docs.zenml.io/getting-started/installation 먼저 공식 설치 문서를 참고하여 ZenML을 설치해주세요. 소스 코드 : https://drive.google.com/file/d/1svJ4fNJTkrgdESg15beoWk6L2ESLhUf-/view소스 코드를 다운로드한 후, 가상 환경을 생성하셔야 합니다.가상 환경을 활성화한 이후, 프로젝트에 필요한 패키지를 설치해야 합니다. 다음 명령어를 실행해주세요.pip install -r requirements.txt만약 run_deployment.py 스크립트를 실행하려고 하신다면, ZenML의 추가적인 통합(integration)을 설치해야 합니다.: [ MLflow 통합 설치 및 설정하기..