LoRA 실전 ⑨ (완결) — 전력·발열, 그리고 렌탈 vs 구매

마지막 글은 하드웨어 그 자체다: 밤새 돌려도 되는 설정, 그리고 GPU를 사야 하나 빌려야 하나의 손익계산 — 2026년 8월 한국 실측치로.

밤샘 학습 전 체크리스트 — 전력 제한

• 검증된 사실: TDP의 70-80%로 제한하면 학습 속도는 5-10%만 준다. Puget 실측: 3090을 280W(80%)로 캡 → 성능 95% 유지. 한국 커뮤니티 합의(나무위키 언더볼팅): 4090을 0.90V/2600MHz로 → -100W+, -5%, -10°C. 학계 근거까지 있다(Zeus, NSDI 2023: 공장 설정은 학습 에너지의 15-75%를 낭비).
• 명령어: sudo nvidia-smi -pm 1 && sudo nvidia-smi -pl 280 (Windows는 MSI Afterburner 커브). 참고로 생성(추론)은 대역폭 바운드라 캡을 걸어도 체감이 거의 없다 — 250W 캡 3090의 실측: prefill -19%, 생성 거의 그대로.
• 진짜 볼 온도는 코어가 아니라 VRAM: GDDR6X(3080/3090)는 게임 부하에서도 메모리 정션 104°C, 스로틀 한계 110°C. HWiNFO로 Memory Junction을 보고 95°C 이하 유지 — 중고 3090은 서멀패드 교체가 필요한 경우가 많다.
• PSU: 4090 공식 요구 850W, ATX 3.0이 존재하는 이유는 순간 스파이크가 정격의 2배까지 튀기 때문. 학습 중 재부팅의 첫 처방은 새 PSU가 아니라 nvidia-smi -pl이다. 노트북 주의: "노트북용 4070"은 35-115W짜리 부품이다(데스크톱 4070은 200W) — 이름만 같다.

렌탈 vs 구매 — 2026년 8월 실측 손익계산

• 시세: 렌탈(RunPod) 3090 $0.22-0.50/hr · 4090 $0.34-0.74 · A100 80GB $1.19-1.39. 한국 중고(번개장터 실측): 3090 약 115만원, 4090 약 350만원+, 5090 640만원+ — AI 수요로 24GB 카드는 감가가 거의 없다(2024년 70-80만원이던 3090이 오히려 상승).
• 전기료: 3090 시스템(~450W) 시간당 약 100-140원(누진 3구간 기준) — 렌탈 3090($0.50≈690원)의 1/5. 이미 GPU가 있다면 돌리는 게 압도적으로 싸지만, 매일 8시간 한 달이면 전기료 +2-3만원.
• 손익분기: 중고 3090 구매는 약 2,100시간(하루 4시간씩 1년 5개월), 4090은 ~4,100시간. 단 되팔 수 있다는 걸 감안하면 실질 반토막. 결론 트리: 연 500시간 미만 = 무조건 렌탈(실험은 Kaggle 무료 30h/주·Colab Pro $9.99, 본 학습은 RunPod) / 상시 가동 = 중고 3090/4090 구매 / 데이터 국내 보관·세금계산서 = NCP / 스타트업·연구자 = 국가 AI데이터센터(광주) 무료 GPU 상시모집(aidc.atops.or.kr) + NIPA AI 바우처부터 확인.
• 흥미로운 제3의 길: Together 서버리스 파인튜닝 — GPU를 아예 안 빌리고 토큰당 과금. 8B급 LoRA를 1,000만 토큰에 약 $4.8. 실험 1-2회라면 GPU 시간 계산 자체가 불필요.

시리즈를 마치며

아홉 편의 핵심을 세 문장으로: ① 파라미터당 바이트 산수(QLoRA ≈ 0.6GB/B)가 모든 하드웨어 질문의 답이고, ② 속도는 메모리 대역폭이 정하며(tokens/s ≈ 대역폭÷파일 크기), ③ GPU는 사는 게 아니라 시간 단위로 빌리는 것이 기본값이다 — 예외는 매일 돌리는 사람과 정부 지원을 받는 사람뿐. 여러분의 첫 파인튜닝이 무료 Colab에서 시작되길, 그리고 그 어댑터가 여러분의 노트북에서 서빙되길.

— LoRA 실전 시리즈 ⑨ (완결)