k8s

018. [Kubeflow][KServe] SKLearn model InferenceService 배포하기

[!NOTE] 이 문서는 KServe v0.7을 기준으로 작성되었습니다. 이번글에서는 SKLearn 모델을 학습하고 KServe의 InferenceService로 배포해보겠습니다. 모델 학습, 로컬 테스트, Inferece Serivce 배포 순서로 진행합니다. 모델 학습과 로컬 배포테스트는 건너 뛰셔도 무방합니다. 모델 학습하기 학습할 모델은 머신러닝에서 매우 유명한 Iris 데이터셋, 붓꽃 종 분류 문제를 해결하는 모델입니다. 다음 코드를 수행해서 모델을 학습하고 'model.joblib'으로 학습한 모델을 저장합니다. from sklearn import svm from sklearn import datasets from joblib import dump iris = datasets.load_iris..

010. [대학원생의 좌충우돌 GPU 클러스터 구축기] 2. GPU 클러스터 만들기(Kubernetes)!

이전 글에서 만든 GPU 모니터링으로 수동분배가 쉬워지긴 했지만, 늘어나는 서버, 사용자를 하나씩 할당하는건 너무나.. 빡센일이었다.. 그래서 GPU를 자동으로 할당하고 사용할 수 있는 방법이 없을까 고민하고 검색하다가 GPU 클러스터를 만들기로 했다! 처음 찾아본것은 기존 HPC(Hight Performance Computing)에서 많이 사용하던 SLURM 이었는데 서버 별로 모든 환경을 동일하게 해주어야 하는 문제점이 하나 있었다. 하지만 사람마다 사용해야하는 파이썬 버전, 패키지 버전이 다를 경우가 흔해서 파이썬 가상환경이나 도커를 많이 사용하고있는데 이것도 하나씩 세팅을 해주어야하니 불편할 수 밖에 없다고 판단했다. 다음으로 찾아본것은 조금더 최근에 나오고 많이 사용되고 있는 Kubernetes..

004. Kubectl 기본 namespace 변경하기 (kubectl, kubectx, kubens)

TL;DR(요약) # kubens(kubectx) 설치 # krew 이용하여 설치 $ kubectl krew install ns # apt (Debian, Ubuntu) $ sudo apt install kubectx # Home brew (MacOS) $ brew install kubectx # namespace 변경 $ kubens kuby-system Kubectl 프로처럼 다루기 시리즈 - Kubectl 플러그인 매니저 krew 설치하기 - Kubectl Namespace 빠르게 변경하기 (kubens) - Kubectl Context 빠르게 변경하기 (Kubectx) - Kubectl Config, Context 편하게 관리하기 (Konfig) 1. kubectl 사용하기 Kubernetes를 ..