전체 글 (412) 썸네일형 리스트형 vLLM 양자화 완전정리 — GGUF·AWQ·GPTQ·W4A16·FP8 선택 기준 "GGUF로 받아서 vLLM에 올리면 되나요?" 로컬 LLM 서버를 세우다 보면 반드시 이 질문에 도착합니다. 답부터 말하면 vLLM에서는 GGUF가 1순위가 아닙니다. 공식 문서가 스스로 "매우 실험적이고 최적화가 덜 됐다"고 적어두고 있고, 아예 별도 플러그인으로 분리됐습니다. 그럼 무엇을 써야 하나. 이 글은 양자화 표기법을 읽는 법부터 GPU 세대별 정답, 실측 수치, KV 캐시라는 별도의 레버까지 실전 결정 순서대로 정리합니다.핵심 요약목적을 먼저 정하십시오. 메모리를 줄이려는 것과 처리량을 올리려는 것은 다른 스킴으로 갑니다.W4A16 같은 표기는 가중치(W) 4비트 / 활성값(A) 16비트라는 뜻입니다. 이것만 읽을 줄 알면 절반은 끝납니다.GGUF는 vLLM에서 "highly experim.. Kubernetes Probe 완전정리 — Liveness·Readiness·Startup 설계와 흔한 오설정 CrashLoopBackOff를 파고들다 보면 결국 probe에 도착합니다. 앱은 멀쩡한데 kubelet이 계속 죽이고 있거나, 반대로 죽은 앱에 트래픽이 계속 꽂히고 있거나. 앞선 글에서 재시작 루프와 OOM을 다뤘지만, 재시작을 유발하는 쪽은 정작 정리하지 않았습니다. 이 글이 그 자리를 채웁니다. 세 probe의 역할 차이부터 필드 기본값, 실무에서 반복되는 오설정, 종료 흐름과의 상호작용까지 한 번에 정리합니다.핵심 요약세 probe는 각각 다른 질문에 답합니다. Liveness는 "죽었나", Readiness는 "지금 받아도 되나", Startup은 "아직 뜨는 중인가"입니다. 하나로 뭉치면 반드시 사고가 납니다.Liveness probe에 의존성 확인을 넣지 마십시오. DB가 흔들리면 전체 파.. RAG 평가 파이프라인 — 골든 셋 구축과 회귀 테스트 앞선 글들에서 하이브리드 검색, 리랭커, 임베딩 모델 선택을 다루면서 매번 같은 말로 끝맺었습니다. "골든 셋으로 측정하고 도입하십시오." 그런데 그 골든 셋을 어떻게 만드는지는 한 번도 쓰지 않았습니다. 이 글이 그 빚을 갚습니다. 질문 100개를 어디서 구하고, 정답을 어떻게 붙이고, 그걸 어떻게 CI에 넣어 다음 배포가 검색 품질을 깎아먹는 순간 빨간불이 켜지게 만드는지 — 처음부터 끝까지 정리합니다.핵심 요약평가 파이프라인이 없으면 RAG 튜닝은 되돌아옵니다. 지난주에 좋아 보였던 변경이 이번 주 변경으로 상쇄되는데 아무도 모릅니다.검색과 생성을 반드시 분리해 측정하십시오. 최종 답변만 보면 검색이 못 가져온 건지 LLM이 못 읽은 건지 구분할 수 없습니다.골든 셋은 50개면 시작할 수 있고, 1.. 이전 1 2 3 4 ··· 138 다음