AI

로컬 모델로 RAG 파이프라인 구축하기

Qdrant와 로컬 임베딩 모델로 RAG 파이프라인을 직접 세워봤다. 청킹, 색인, 하이브리드 검색, 리랭킹을 단계별로 실측해 확인한 기록이다.

MCP 서버를 Python으로 바닥부터 만들어 Claude Code에 도구로 붙여봤다. Inspector로 스키마와 입력값 검증이 어떻게 동작하는지 확인하고 실제 호출까지 이어진 기록이다.

MoE의 총 파라미터와 활성 파라미터가 왜 다른지부터 짚고 top-k 라우팅과 공유 전문가 구성을 정리했다. Dense 대비 메모리와 연산의 트레이드오프도 표로 비교한다.

Apple Silicon에서 llama.cpp로 MoE 35B-A3B와 Dense 27B를 나란히 돌려봤다. prefill과 decode 속도, KV cache 크기, 양자화별 차이를 실측해 비교한 기록이다.

개발자에게 API 키를 나눠주지 않고 Claude Code를 사내에 배포하는 자체 호스팅 게이트웨이를 정리했다. 사설 네트워크만 허용하는 제약에서 파생되는 AWS 구성과 배포 절차를 다룬다.

기존 API가 AI 에이전트에 맞지 않는 이유와 MCP가 그 틈을 메우는 방식을 JSON-RPC 메시지 단위로 비교했다. 도구 탐색, 호출 규격, 변경 전파 관점으로 정리한 글이다.

CPU 대비 GPU 구조 차이부터 HBM 세대, PCIe와 SXM 폼팩터, HGX와 DGX 서버 형태까지 정리했다. CUDA 스택과 nvidia-smi 사용률 지표도 다룬다.

GPU 한 장을 나눠 쓰는 Time-slicing, MPS, MIG, vGPU 네 방식을 비교했다. 분할 단위와 메모리, 장애 격리, 지원 하드웨어 기준으로 정리한 글이다.

노드 안에서 GPU를 잇는 NVLink의 세대별 대역폭과 NVSwitch, GPUDirect P2P, Fabric Manager의 역할을 정리했다. PCIe와의 차이를 표로 비교한다.

노드 간 GPU 통신에 RDMA가 필요한 이유부터 InfiniBand 구성요소와 속도 등급, RoCEv2의 무손실 이더넷 요구까지 정리했다. GPUDirect RDMA와 rail-optimized 토폴로지도 다룬다.