Runpod 으로 모델 돌리기

A40 8대 사용 선택, ssh access 등 체크, Edit Pod

Environment variables 에서 PUBLIC_KEY 체크 (로컬에서 원격접속 관련)

-> "ssh-ed25519 base64키 메일주소" 전체값

 

Runpod 에서 public key 제대로 안 들어가 있는 경우 수동 입력 방법

 

- Open web terminal 열어서 확인 후 public key 입력

root@5490ed8eaea6:/# ls -la ~/.ssh
total 4
drwx------ 2 root root  37 Jan  3 01:59 .
drwx------ 1 root root 121 Jan  3 01:59 ..
-rwx------ 1 root root   5 Jan  3 01:59 authorized_keys
root@5490ed8eaea6:/# sudo ls -la /root/.ssh 2>/dev/null || true
root@5490ed8eaea6:/# cat authoriz^C
root@5490ed8eaea6:/# cd ~/.ssh
root@5490ed8eaea6:~/.ssh# ls
authorized_keys
root@5490ed8eaea6:~/.ssh# cat authorized_keys
null
root@5490ed8eaea6:~/.ssh# cd /root/.ssh
root@5490ed8eaea6:~/.ssh# cat > authorized_keys << 'EOF'
> ssh-ed25519 AAAA...publickey... yourid@naver.com
> EOF
root@5490ed8eaea6:~/.ssh#
root@5490ed8eaea6:~/.ssh# chmod 700 /root/.ssh
root@5490ed8eaea6:~/.ssh# chmod 600 /root/.ssh/authorized_keys

 

- 로컬 터미널에서 접속 명령어 (실행시의 ip 및 포트 확인)

joseph@joseph:~/.ssh$ ssh -o IdentitiesOnly=yes -i ~/.ssh/id_ed25519 root@69.30.85.249 -p 22078

 

debug 함께 접속 예시 (실행시의 ip 및 포트 확인)

joseph@joseph:~/.ssh$ ssh -vvv -o IdentitiesOnly=yes -i ~/.ssh/id_ed25519 root@194.68.245.57 -p 22076

...

...

 

 

venv(uv) 사용하여 vllm serve