GPU 서버 기초 정리
CPU 대비 GPU 구조 차이부터 HBM 세대, PCIe와 SXM 폼팩터, HGX와 DGX 서버 형태까지 정리했다. CUDA 스택과 nvidia-smi 사용률 지표도 다룬다.
Blog
GPU 분할 정리
GPU 한 장을 나눠 쓰는 Time-slicing, MPS, MIG, vGPU 네 방식을 비교했다. 분할 단위와 메모리, 장애 격리, 지원 하드웨어 기준으로 정리한 글이다.
NVLink와 노드 내 GPU 연결 정리
노드 안에서 GPU를 잇는 NVLink의 세대별 대역폭과 NVSwitch, GPUDirect P2P, Fabric Manager의 역할을 정리했다. PCIe와의 차이를 표로 비교한다.
InfiniBand vs RoCEv2 차이점 정리
노드 간 GPU 통신에 RDMA가 필요한 이유부터 InfiniBand 구성요소와 속도 등급, RoCEv2의 무손실 이더넷 요구까지 정리했다. GPUDirect RDMA와 rail-optimized 토폴로지도 다룬다.
분산 학습 병렬화와 집합 통신 정리
집합 통신 연산과 Data, Tensor, Pipeline, Expert 병렬화, ZeRO와 FSDP 샤딩을 정리했다. 병렬화별로 NVLink와 InfiniBand 링크가 어떻게 매핑되는지 표로 비교한다.
쿠버네티스 GPU 스케줄링 정리
기본 스케줄러가 GPU를 모르는 문제에서 시작해 device plugin 등록과 GPU Operator 구성요소를 정리했다. time-slicing과 MIG, DRA 성숙도, gang scheduling과 DCGM 지표까지 다룬다.
LLM 추론 서빙 정리
LLM 추론의 prefill과 decode 단계 차이, KV cache 크기와 VRAM의 대략적인 계산을 정리했다. continuous batching, PagedAttention, 양자화, 서빙 엔진 비교까지 다룬다.
LLM 파인튜닝 정리
full fine-tuning에 VRAM이 왜 그렇게 필요한지부터 PEFT, LoRA, QLoRA의 원리까지 정리했다. 학습 파이프라인과 함께 파인튜닝과 RAG 중 무엇을 골라야 하는지도 비교한다.
MLX로 LoRA 파인튜닝 실습
Apple Silicon에서 MLX로 소형 4bit 모델에 LoRA를 적용해 가상 서비스의 FAQ를 학습시켜 봤다. loss와 메모리, adapter 크기를 실측으로 비교한 기록이다.
NIC 가상화와 커널 바이패스 정리
에뮬레이션 NIC의 가상화 I/O 오버헤드에서 출발해 virtio, vhost, SR-IOV, DPDK, DPU까지 진화 순서로 정리했다. 방식별 데이터 경로와 트레이드오프를 비교한다.