반응형 DeepSpeed1 LLM 활용을 위한 GPU 메모리 계산 오픈소스 LLM중 가장 많이 활용되는 Meta의 Llama3 오픈소스 LLM을 통해 필요한 GPU 메모리량을 알아보자.Llama 3의 8B 모델을 학습시키기 위한 메모리 요구사항은 가장 경제적으로 여유로운 설정과 가장 타이트한 최소 설정으로 나누어 계산하였다. 이는 학습 환경, 배치 크기, 시퀀스 길이, 최적화 기술에 따라 크게 달라진다. 1. Llama 3 8B 모델 학습 메모리 요구사항경제적으로 여유로운 설정가장 여유로운 설정에서는 FP32 데이터 형식과 기본 Adam 옵티마이저를 사용하며, Gradient Checkpointing이나 ZeRO와 같은 최적화 기법은 사용하지 않는다.주요 가정데이터 형식: FP32 (4바이트)배치 크기: 8시퀀스 길이: 2048옵티마이저: Adam최적화 기술: 사용하지.. 2024. 12. 27. 이전 1 다음 반응형
