학습과 추론을 왜 먼저 나눠야 할까요?
학습은 많은 데이터를 반복 처리하고 가속기 사이에서 값을 자주 교환합니다. 반면 추론은 요청량, 응답 시간, 동시에 올려둘 모델 수가 더 직접적인 기준이 됩니다. 같은 AI 업무라도 필요한 GPU 수와 연결 방식이 달라지는 이유입니다.
상담을 시작할 때는 모델명보다 실행 방식부터 정리하는 편이 빠릅니다. 학습과 추론을 한 시스템에서 함께 처리할지, 개발과 서비스 환경을 분리할지 정하면 과도한 구성과 부족한 구성을 모두 줄일 수 있습니다.
모델 크기와 데이터 규모는 어떻게 정리해야 할까요?
모델 파라미터만으로 서버를 결정하기는 어렵습니다. 정밀도, 배치 크기, 컨텍스트 길이, 동시 사용자 수에 따라 실제 메모리 요구량이 달라집니다. 학습이라면 체크포인트와 중간 결과를 저장할 공간도 함께 계산해야 합니다.
초기 검토표에는 현재 값과 목표 값을 나란히 적는 편이 좋습니다. 지금 필요한 용량만 보면 짧은 시기에 서버를 다시 나눠야 할 수 있고, 먼 미래까지 한 번에 반영하면 사용하지 않는 자원에 비용을 쓰게 됩니다.
GPU 개수보다 연결 구조가 중요한 경우는 언제일까요?
하나의 작업이 여러 GPU를 동시에 사용한다면 GPU 간 통신 경로가 성능과 효율에 큰 영향을 줍니다. 독립적인 추론 작업을 분산하는 경우와 하나의 대형 모델을 나누어 실행하는 경우는 같은 GPU 수라도 요구하는 토폴로지가 다릅니다.
PCIe 확장형 서버, 전용 가속 모듈, MGX 기반 시스템을 비교할 때는 카드 수만 보지 말고 GPU 간 연결, CPU와 GPU의 배치, 네트워크 확장 슬롯을 함께 확인해야 합니다.
CPU와 메모리, 스토리지는 어느 수준까지 봐야 할까요?
GPU가 계산을 담당해도 데이터 전처리, 요청 분배, 모델 로딩은 CPU와 시스템 메모리의 영향을 받습니다. CPU 소켓 수, 메모리 채널, DIMM 구성은 가속기가 기다리는 시간을 줄이는 데 필요한 조건입니다.
스토리지는 용량과 순차 속도만으로 판단하지 않습니다. 작은 파일을 많이 읽는지, 여러 작업이 동시에 접근하는지, 로컬 NVMe와 공유 스토리지를 어떻게 나눌지까지 확인해야 실제 운영 흐름과 맞습니다.
운영 환경에서 마지막으로 확인할 조건은 무엇일까요?
랙에 장착할 수 있다고 바로 운영 가능한 것은 아닙니다. 서버 전원 정격과 예상 소비전력, 전원 이중화, 랙당 허용 전력, 냉각 방식, 네트워크 포트와 케이블 경로를 함께 점검해야 합니다.
후보 모델은 지원 범위와 실제 판매 구성을 나눠 살펴봐야 합니다. 최종 GPU, 메모리, 스토리지와 네트워크 구성은 설치 조건과 공급 조건을 대조한 뒤 확정하는 것이 안전합니다.
