분산 학습 병렬화와 집합 통신 정리
집합 통신 연산과 Data, Tensor, Pipeline, Expert 병렬화, ZeRO와 FSDP 샤딩을 정리했다. 병렬화별로 NVLink와 InfiniBand 링크가 어떻게 매핑되는지 표로 비교한다.
AI
쿠버네티스 GPU 스케줄링 정리
기본 스케줄러가 GPU를 모르는 문제에서 시작해 device plugin 등록과 GPU Operator 구성요소를 정리했다. time-slicing과 MIG, DRA 성숙도, gang scheduling과 DCGM 지표까지 다룬다.
LLM 추론 서빙 정리
LLM 추론의 prefill과 decode 단계 차이, KV cache 크기와 VRAM의 대략적인 계산을 정리했다. continuous batching, PagedAttention, 양자화, 서빙 엔진 비교까지 다룬다.
LLM 파인튜닝 정리
full fine-tuning에 VRAM이 왜 그렇게 필요한지부터 PEFT, LoRA, QLoRA의 원리까지 정리했다. 학습 파이프라인과 함께 파인튜닝과 RAG 중 무엇을 골라야 하는지도 비교한다.
MLX로 LoRA 파인튜닝 실습
Apple Silicon에서 MLX로 소형 4bit 모델에 LoRA를 적용해 가상 서비스의 FAQ를 학습시켜 봤다. loss와 메모리, adapter 크기를 실측으로 비교한 기록이다.