토니의 연습장

Scaling - file formats 본문

언어 AI (NLP)/LLM & RAG & Agent

Scaling - file formats

bellmake 2025. 9. 18. 17:40

"피클보다 포도"

하나의 통 피클보다 (.pkl 파일 한번에 로드되어야 해서 메모리 로드 큼)

알알이 mapping 된 포도와 같이 (memory-mapping 된 object 로서 필요한 것만 mapping 으로 찾아 메모리에 로드하여 가벼움)

 

'언어 AI (NLP) > LLM & RAG & Agent' 카테고리의 다른 글

generation function example  (0) 2025.09.23
고성능 RAG 테크닉  (0) 2025.09.09
AWS - Lambda / API Gateway / Bedrock  (0) 2025.09.04
get_batch( )  (0) 2025.08.26
Unsloth  (0) 2025.08.20