전체 글 (417) 썸네일형 리스트형 vLLM LoRA 멀티 어댑터 서빙 완전정리 — 동적 로딩·max-loras·max-lora-rank 선택 기준 같은 베이스 모델에 부서별로 파인튜닝한 어댑터가 다섯 개 있는 상황. 요약용, 분류용, 상담용, 코드용, 번역용 LoRA를 각각 학습해 뒀는데 막상 서빙 단계에서 막힙니다. 어댑터마다 vLLM 인스턴스를 하나씩 띄우면 GPU 다섯 장이 필요하고, 대부분은 놀고 있습니다. 베이스 모델 가중치는 어차피 같은데 수십 GB를 다섯 번 올리는 셈입니다. vLLM의 멀티 LoRA 서빙은 바로 이 낭비를 없애는 기능입니다. 베이스 모델은 한 번만 올리고, 작은 어댑터 여러 개를 한 서버에서 번갈아 또는 동시에 적용합니다. 이 글은 기동 플래그, 동적 로딩 API, rank와 캐시 계층 설정, 그리고 처리량 비용까지 실전 결정 순서대로 정리합니다.핵심 요약멀티 LoRA 서빙의 전제는 어댑터가 베이스 모델의 가중치를 통.. Kafka 컨슈머 리밸런싱 완전정리 — 발생 원인·Cooperative Sticky·정적 멤버십·KIP-848 선택 기준 배포가 끝난 직후 5분 동안 주문 처리가 멈추고, 모니터링의 lag 그래프는 톱니처럼 치솟았다 내려오기를 반복합니다. 컨슈머 로그에는 Attempt to heartbeat failed since group is rebalancing과 Revoking previously assigned partitions가 번갈아 찍혀 있습니다. 처리 코드는 바뀐 게 없는데 그룹이 계속 재편성되고 있는 상황, 이 글은 그 리밸런싱 자체를 다룹니다. lag을 읽고 원인을 여섯 갈래로 좁히는 전체 진단은 「Kafka Consumer Lag 완전정리」에서 정리했고, 여기서는 그중 한 갈래인 리밸런싱을 꺼내 왜 일어나는지, 왜 그룹 전체가 멈추는지, 어떤 순서로 줄여 가는지만 깊게 봅니다.핵심 요약리밸런싱은 그룹 멤버 변화·구독.. [책리뷰] 일하는 AI 에이전트, 설계하는 사람 — 코드 없이 AI 에이전트 '맡기는 법'을 배우다 한빛미디어 서평단 활동을 위해서책을 협찬받아 작성된 서평입니다.BOOK REVIEW데모 다음 날을 위한 책『일하는 AI 에이전트, 설계하는 사람』 · 최윤석 · 한빛미디어AI 에이전트 책인데 코드가 한 줄도 없다.처음 목차를 훑고 든 생각은 "이게 되나?"였고, 다 읽고 난 지금의 생각은 "오히려 그래서 된다"이다. 시중의 에이전트 책 대부분은 LangGraph나 CrewAI로 '만드는 법'을 다룬다. 이 책은 만드는 법이 아니라 맡기는 법을 다룬다. 어떤 일을 맡길지, 어디까지 자율에 두고 어디서 사람이 승인할지, 결과를 무엇으로 검증하고 한 달에 비용은 얼마나 나올지. 즉, 도입을 결정하고 운영 책임을 지는 사람이 벤더 미팅 전에 읽어야 할 책이다.왜 이 책을 집었나SI 현장에서 AX 플랫폼 제안과.. 이전 1 2 3 4 ··· 139 다음
