성균관대학교 – 울산과학기술원 업무협약에 따른

SKKU GPU Cluster

사용 안내서

2024. 5.

제한적 기밀성 고지

이 문서는 SKKU GPU Cluster 사용자 및 관리자를 위해 작성되었으며, 사용자 및 관리자를 제외한 인원의 열람 및 2차 편집을 금지합니다.

이 문서 또는 그 안에 포함된 모든 정보는 성균관대학교와 명시적인 서면 승인 없이는 열람, 복제, 공개할 수 없습니다.

차      례

1장. GPU Cluster 요금제 -------------------------------------------------------------------------  1

1. GPU Cluster 요금 정책 -----------------------------------------------------------  1

2. GPU Cluster 서비스 요금제(1) ---------------------------------------------------  2

3. GPU Cluster 서비스 요금제(2) ---------------------------------------------------  3

4. GPU Cluster 요금 계산기 --------------------------------------------------------  3

2장. GPU Cluster 정보 ---------------------------------------------------------------------------  4

1. GPU Cluster H/W ----------------------------------------------------------------  4

2. GPU Cluster S/W ----------------------------------------------------------------  4

3. SKKU VPN ------------------------------------------------------------------------  5

4. 사용량 안내 및 요금 납부 방법 -------------------------------------------------  5

5. GPU Cluster 접속 방법 ----------------------------------------------------------  6

3장. GPU Cluster 기본 기능 ---------------------------------------------------------------------  7

1. 세션 생성 -------------------------------------------------------------------------- 7

2. 세션 도커 이미지 ----------------------------------------------------------------- 8

3. 데이터 폴더 마운트 --------------------------------------------------------------- 9

4. 저장장치 전달을 통한 데이터 업로드 ------------------------------------------ 10

5. 리소스 할당 ---------------------------------------------------------------------- 11

6. Background Session Run ------------------------------------------------------- 13

4장. GPU Cluster 추가 기능 --------------------------------------------------------------------- 14

1. 데이터 폴더 생성 및 직접 업로드 ---------------------------------------------- 14

			SKKU Supercomputing Center
1장. GPU Cluster 요금제

1. GPU Cluster 요금 정책

1) 요금 정책

가. 요금 산정

- 매월 1일 ~ 말일까지 사용내역에 대해 명월 첫째주 최종 요금 안내 및 청구

가. 사용량 확인

- 작주 화요일 ~ 차주 월요일까지의 사용량을 체크하여, 매주 수요일

요금 납부자 및 사용자에게 메일을 통해 안내

다. 결제 방법

- 결제 수단: 세금계산서, 교내청구서, 카드결제

- 결제 주기: 정기납부(매월,분기,반기 등), 선납, 후납, etc 가능

(etc의 요금 결제 방법은 슈퍼컴퓨팅센터에 원하는 요금 결제 방법은 사전 검토 요청할 것)

라. 참고 사항

- 요금 및 자원 정책은 슈퍼컴퓨팅센터 운영위원회 결정에 따라

변동 될 수 있음

- 센터의 자원 사용률이 최대일 경우, Session을 생성하기 위한 대기열

(Pending)에 진입하여 대기 시간이 발생 할 수 있음

(Pending status의 대기 시간은 과금에 반영하지 않습니다.)

- 최종 사용 요금이 5,000원(VAT포함) 미만일때는 요금 미 청구

(단, 같은 연구실로 묶여 과금을 납부 하실 경우는 사용인원 전체를 합산하여 계산)

			SKKU Supercomputing Center

2. GPU Cluster 서비스 요금제(1)

1) GPU 요금

가. 요금 안내

- 자원 상세 요금표

구분	UNIST 사용자
1 GPU	1,000원

* 각 금액은 1시간 기준 요금임. 사용량 계산시 15분 단위 절사

* 통화는 KRW 기준이며, VAT미포함

- GPU신청에 따른 자원 Preset

1 GPU 기준			1 Account 기준
CPU	RAM	GPU	Storage
			SSD	HDD
60	240	1	0.5TB	1TB

* Account의 마지막 접속일 기준 +3개월간 접속이 없을 시, Storage의 모든 데이터는 무통보 삭제

* 자원 할당 추가 및 스토리지 용량 추가가 필요한 경우 별도 문의

* GPU는 0.1 단위로 사용가능

2) 요금 계산

[ 과금되는 자원 책정 기준은 생성한 Session의 자원 설정과 실행 시간 기준 ]

가. GPU

- GPU(EA) X Session실행시간 X 1GPU 요금

(단, GPU 사용 시간 기준은 15분 단위 절사)

나. CPU

- CPU(EA) X Session실행시간 X 1CPU 요금

(단, CPU 사용 시간 기준은 15분 단위 절사)

다. 최종 요금

- GPU사용요금 + CPU사용요금

			SKKU Supercomputing Center

3. GPU Cluster 서비스 요금제(2)

1) CPU 요금

가. 요금 안내

- 자원 상세 요금표

구분	UNIST 사용자
1 CPU	12원

* 각 금액은 1시간 기준 요금임. 사용량 계산시 15분 단위 절사

* 통화는 KRW 기준이며, VAT미포함

- CPU신청에 따른 자원 Preset

1 CPU 기준		1 Account 기준
CPU	RAM	Storage
		SSD	HDD
1	2	0.5TB	1TB

* Account의 마지막 접속일 기준 +3개월간 접속이 없을 시, Storage의 모든 데이터는 무통보 삭제

* 자원 할당 추가 및 스토리지 용량 추가가 필요한 경우 별도 문의

* CPU는 1 단위로 사용 가능

2) 요금 계산

[ 과금 되는 자원 책정 기준은 생성한 Session의 자원 설정과 실행 시간 기준 ]

가. CPU

- CPU(EA) X Session실행시간 X 1CPU 요금

(단, CPU 사용 시간 기준은 15분 단위 절사)

나. 최종 요금

- CPU사용요금

4. GPU Cluster 요금 계산기

SKKU GPU Cluster 요금 계산기	http://cus.skku.edu/calculation/cluster

			SKKU Supercomputing Center
2장. GPU Cluster 정보

1. GPU Cluster H/W

1) H/W 정보 (Cluster 10node)

- CPU Info

▢ AMD EPYC 7763 2.45GHz

- GPU Info

▢ A100 80GB PCle [HMB2e NVLINK]

- Storage Info

▢ NVME R:70.88GB/s, W:62.08GB/s

▢ SAS R:20.00GB/s, W:27.00GB/s

- InfiniBand_NVIDIA Mellanox QM8700

- Network 이중화 구성

2. GPU Cluster S/W

1) 소프트웨어 시스템 구성도

			SKKU Supercomputing Center

3. SKKU VPN

- VPN 접속 (MAC, Linux, Mobile(Android, iOS))

▢ MAC용 접속 가이드: [다운로드 링크]

▢ Linux용 접속 가이드: [다운로드 링크]

▢ Linux용 접속 프로그램: [다운로드 링크]

▢ Android용 접속 가이드: [다운로드 링크]

▢ iOS용 접속 가이드: [다운로드 링크]

- SKKU VPN 관련 문의 사항

▢ 담당부서: 정보통신팀

연락처: 031-290-5220/5217 or security@skku.edu

4. 사용량 안내 및 요금 납부 방법

1) 사용량 안내

- 사용자에게 각 주차 별 사용량을 매주 안내

*수신자 추가 및 수신자 변경은 메일로 변경 요청 진행

2) 요금 납부

- (선납) 선납하신 금액에 대해 매월 사용량을 차감

- (월간) 월간 사용요금을 명월 첫째 주 금액 청구

- (분기) 사용요금을 누적하여, 사용자가 요청한 분기별로 납부

- (기타) 사용자가 원하는 요금 납부 방식을 사전에 문의 / 검토 후 진행

- (크레딧) 공동활용서버 제공자에게 부여한 크레딧에서 차감

3) 사용량 증빙자료 제공

- 거래명세서 1부. (CPU, GPU사용량 표기)

- 전자세금계산서 1부.

4) 요금 결제 수단

- 전자세금계산서

- 온라인 카드 결제

- 기타(문의)

			SKKU Supercomputing Center

5. GPU 클러스터 접속 방법

1) WebUI(Web) 접속 방법

- 아래의 주소로 접속하여 접속.

*https://spccluster.skku.edu SKKU HPC Cluster Platform

2) WebUI(App) 접속 방법

- 아래의 표시된 부분을 클릭하여 App 다운로드 진행 후, 접속.

*접속 시 엔드포인트에 “https://spccluster.skku.edu“ 입력

			SKKU Supercomputing Center
3장. GPU Cluster 기본 기능

1. 세션 생성

1) Session 생성하기

- 좌측 메뉴바에서 ”세션“클릭

- ”시작“버튼을 클릭

			SKKU Supercomputing Center

2. 세션 도커 이미지

1) 원하는 Docker image 선택하기

- ”실행 환경 > 드롭박스“클릭 원하는 이미지 클릭

- 실행된 Session을 혼동하지 않도록, 각각 Session 이름 설정

- 다음 화살표 (->) 클릭하여 다음 단계로 진행

□ 필요한 Docker image는 사용자가 도커 이미지 파일 제출. (검토 후 적용/미적용)

□ 간단한 Docker image는 검토 후 제작 가능

			SKKU Supercomputing Center

3. 데이터 폴더 마운트

1) 데이터 폴더 생성

- “1. 데이터 폴더 생성 및 직접 업로드(2)” 항목 참고

2) 데이터 폴더 마운트

- A part: 마운트 하고자 하는 폴더 체크

B part: 마운트 하고자 하는 경로가 표시됨 (ex. home/work/param)

*해당 경로를 수정하여 원하는 경로로 설정가능

3) 이전에 설정한 환경 설정을 사용 하고 싶을 때

- 자동 마운트 폴더 활용 (.local / .Homebrew 폴더 활용)

□ pip를 통한 Python Package 설치

- pip로 패키지를 설치하면 사용자 홈폴더 하위에 있는 .local에 패키지 설치됨

[주의사항] 여러 버전의 Python을 사용하는 세션을 이용 할 경우, .bashrc 편집을 통해

PYTHONPATH를 분기하는 방식으로 적용할 것. (환경 변수에 저정된 경로에 설치)

□ Homebrew를 통한 Package 설치(1)

1) 데이터&모델 페이지에서 “.linuxbrew”폴더 생성

2) 연산 Session 내에서 Homebrew 설치. (설치하지 않은 경우만)

> /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

			SKKU Supercomputing Center

□ Homebrew를 통한 Package 설치(2)

3) 필요한 package 설치 및 버전 확인

> brew install pandas

> python3 -c "import pandas as pd; print(pd.__version__)"

[장점] Homebrew는 apt, yum 사용 시 root 권한 문제 해결할 수 있음

4. 저장장치 전달을 통한 데이터 업로드

- 기밀성 데이터일 경우, 데이터 저장장치 직접 전달 (개인정보 및 의료데이터 등)

■ 성균관대학교 자연과학캠퍼스

1) 의학관 지하 1층 71B133호 슈퍼컴퓨팅센터 전달

2) 업로드가 완료되었다는 연락을 받은 후 저장장치 수령을 위해 센터 방문

			SKKU Supercomputing Center

5. 리소스 할당

1) Resource 설정

- 자원 그룹 default 확인

- “사용자 설정 자원 할당 > 드롭박스“ 클릭

- 아래와 같이 사용자가 원하는 자원량을 설정

2) 특정 Resource를 안내 받은 경우

- ”자원 그룹 > 드롭박스“ 클릭 안내받은 자원 그룹 선택

			SKKU Supercomputing Center

3) 다중 노드 세팅

- 자원 그룹 설정까지 기존과 동일

- “사용자 설정 자원 할당 > 드롭박스“ 클릭 사용자가 원하는 자원값 세팅

*단, 자원 값은 ”할당하고 싶은 자원 / 클러스터 크기“를 계산 한 값으로 설정

ex. 200core / 900ram / 8gpu를 클러스터 크기 ”2“로 설정하면

100core / 450ram / 4gpu로 설정한다

- ”클러스터 모드 설정 > 드롭박스“ 클릭 ”다중 노드“ 선택

”2~10“사이의 값만 설정 가능. (GPU Cluster는 총 10개의 node임)

			SKKU Supercomputing Center

6. Background Session run

1) tmux 사용

- 학습 시작 전 아래의 명령어 입력 (VScode terminal)

> opt/kernel/tmux

- 재접속시 아래의 명령어를 입력해 띄워둔 작업에 다시 접근

> opt/kernel/tmux a

2) nohup 사용

- 실행중인 프로세스 정보 확인 후 아래 명령어 입력

> nohup [프로세스] &

*[프로세스]위치에는 실행하고자 하는 프로그램이나 .sh 지정한다

단, .sh일 경우 권한 755이상 설정

- nohup.out 파일 생성X 설정

> nohup [프로세스] 1>dev/null 2>&1 &

- 프로세스 PID 식별 후 실행 중인 nohup 프로세스 종료

> ps –df | grep [프로세스]

> kill –15 [PID]

*”> ps“로 식별한 [PID]를 종료.

			SKKU Supercomputing Center
4장. GPU Cluster 추가 기능

1. 데이터 폴더 생성 및 직접 업로드

1) 데이터 폴더 생성

- 좌측 메뉴바에서 ”데이터&모델“클릭

- ”+추가“클릭

- ”데이터 폴더 생성(2)“를 참고하여 작성.

			SKKU Supercomputing Center

2) 데이터 폴더 생성(2)

	■ 각 항목의 정보 □ 폴더이름: 폴더의 이름을 지정합니다. 최대 64자까지 입력 □ 호스트: 폴더를 만들 NFS 호스트입니다. □ 사용 방식: 폴더의 용도를 설정할 수 있습니다. 그러나 이는 향후 Data & Model Store 전용 기능 개발을 위한 분류이며, 현재는 목적에 따른 UI 차이가 없습니다. □ 권한: 읽기/쓰기 권한을 정할 수 있다.

3) 자동 마운트 폴더

- 폴더이름 앞에 .을 붙여서 생성 (ex. “.local” 등)

4) 데이터 폴더 업로드

- Filebrowser, FileZilla를 통해서 데이터 이동 및 업로드 진행

4) 데이터 보관기간

- 계정의 최종 접속일 ”+3개월”까지 데이터 보관 (이후 데이터 폴더 폐기)

- 데이터 보관 정책은 슈퍼컴퓨팅센터 운영위원회 결정에 따라 변동될 수 있음