목록2025/07 (8)
토니의 연습장
-> Right : 과 를 이용하여 LLM 의 in-context prompt generation 을 하고, 해당 를 보고 이미지 생성으로 분기 처리하도록 구현됨
언어 AI (NLP)/Multimodal (MLLM, LMM)
2025. 7. 23. 15:36
ML(Machine Learning) + 데이터 엔지니어링*데이터 랭글링 : 모델 학습에 필요한 형태로 데이터 변환하는 작업
AI 일반/MLOps
2025. 7. 17. 15:57
BLIP과 CLIP이 서로 다른 방식으로 유사도를 계산하는 주요 이유는 모델 구조와 학습 목표의 차이에서 비롯됩니다.BLIP(ITM) – Image–Text Matching HeadBLIP은 사전학습 단계에서 이미지–텍스트 매칭(Image–Text Matching, ITM) 태스크를 추가로 학습합니다.use_itm_head=True일 때는, 이미지와 텍스트를 함께 입력해 매칭 여부(positive/negative) 를 분류하는 분류기 헤드(logits) 를 돌려줍니다.반면 use_itm_head=False로 설정하면, 내부에서 추출된 이미지·텍스트 임베딩을 꺼내와 (정규화된) 내적 또는 코사인 유사도 형태로 반환합니다.즉, ITM 헤드를 사용하면 “이 쌍이 매칭(올바른 캡션)”인지에 대한 분류 확신도를,..
언어 AI (NLP)/Multimodal (MLLM, LMM)
2025. 7. 17. 15:17