한때 로컬LLM을 꿈꿨었는데...

Kimi K3를 양자화없이 로컬로 돌리려면 대당 10억이 넘는 B300이 3대 필요하고 전기세도 천만원이 넘겠네요. 이렇게 구축한다고 해도 이 구성으로는 100명도 많이 쓰는걸테고... 월 4만원대에 최고가 플랜 바로 아래 급으로 구독했는데 이게 훨씬 싸게 먹히는 길이겠습니다. 이로써 로컬 LLM은 포기하고 챗지피티 클로드 제미나이 씨댄스까지 구독하는 라이프가 되었네요.