목록분류 전체보기 (132)
토니의 연습장
CacheBackedEmbeddingsEmbeddings는 재계산을 피하기 위해 저장되거나 일시적으로 캐시될 수 있습니다.Embeddings를 캐싱하는 것은 CacheBackedEmbeddings를 사용하여 수행될 수 있습니다. 캐시 지원 embedder는 embeddings를 키-값 저장소에 캐싱하는 embedder 주변에 래퍼입니다. 텍스트는 해시되고 이 해시는 캐시에서 키로 사용됩니다.CacheBackedEmbeddings를 초기화하는 주요 지원 방법은 from_bytes_store입니다. 이는 다음 매개변수를 받습니다:underlying_embeddings: 임베딩을 위해 사용되는 embedder.document_embedding_cache: 문서 임베딩을 캐싱하기 위한 ByteStore 중 하나..
-> Right : 과 를 이용하여 LLM 의 in-context prompt generation 을 하고, 해당 를 보고 이미지 생성으로 분기 처리하도록 구현됨
ML(Machine Learning) + 데이터 엔지니어링*데이터 랭글링 : 모델 학습에 필요한 형태로 데이터 변환하는 작업
BLIP과 CLIP이 서로 다른 방식으로 유사도를 계산하는 주요 이유는 모델 구조와 학습 목표의 차이에서 비롯됩니다.BLIP(ITM) – Image–Text Matching HeadBLIP은 사전학습 단계에서 이미지–텍스트 매칭(Image–Text Matching, ITM) 태스크를 추가로 학습합니다.use_itm_head=True일 때는, 이미지와 텍스트를 함께 입력해 매칭 여부(positive/negative) 를 분류하는 분류기 헤드(logits) 를 돌려줍니다.반면 use_itm_head=False로 설정하면, 내부에서 추출된 이미지·텍스트 임베딩을 꺼내와 (정규화된) 내적 또는 코사인 유사도 형태로 반환합니다.즉, ITM 헤드를 사용하면 “이 쌍이 매칭(올바른 캡션)”인지에 대한 분류 확신도를,..
