1. 연결된 서버에 콘다 및 환경설정

1. conda를 설치하기 전에 리눅스의 버전을 확인 

2. 리눅스 버전 20.04를 확인 후 아나콘다 파일 다운로드

3. 다운로드한 아나콘다 파일을 찾아 실행 (Enter 진행, yes)

  • 파일을 못찾아 찾으려면 =>  find .sh

4. 환경변수 입력

 

2. 텐서플로를 사용하기 위한 과정(Nvidia Driver, CUDA, cuDNN)

1. Nvidia Driver 설치

  • gpu 모델 확인 (ubuntu-drivers devices)

  • recommended (권한)이 있는 드라이버 설치 (sudo apt-get install nvidia-driver-525)
    • nvcc -V로 버전 확인 (**sudo apt install nvidia-cuda-toolkit) 툴킷 설치

2. CUDA 설치

CUDA 환경변수 등록 (.bashrc에 추가)

export PATH=$PATH:/usr/local/cuda-11.0/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.0/lib64
export CUDADIR=/usr/local/cuda-11.0

 

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ위 과정으로 안될 시ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

export PATH=/usr/local/cuda-11.2/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.2/extras/CUPTI/lib64:$LD_LIBRARY_PATH

 

적용

3. cuDNN 설치 (사이트 로그인 이후) - 필자는 8 버전 사용

cuDNN을 설치하기 위해 사이트에 들어간 이후 CUDA에 맞는 버전 선택

  • tar -xvf cudnn-11.2-linux-x64-v8.0.4.30.tgz
  • sudo cp ./cuda/include/* /usr/local/cuda/include/
  • sudo cp -P ./cuda/lib64/* /usr/local/cuda/lib64/
  • sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

 

3. 아나콘다 가상환경에 python, tensorflow-gpu 설치

vscode의 extensions에서 python과 python Extension Pack 설치

본 포스팅에서는 GTX3090사용에 맞는 버전으로 사용함.

  • Nvidia Driver : 525
  • CUDA : 11.2
  • cuDNN : 8
  • python : 3.10
  • tensorflow : 2.9.1

 

1. 가상환경 생성 (tensorflow를 위해 python 버전 일치)

2. 파이썬 파일 실행 (커널 선택)

  • 쥬피터를 사용하기위해 설치 (conda install -n TF ipykernel --update-deps --force-reinstall)

3. GPU 확인을 위한 코드

from tensorflow.python.client

import device_lib print(device_lib.list_local_devices())

GPU인식이 안되는 경우 => 텐서플로를 삭제하고 gpu버전으로 다시 설치해보세요. 

 

4. GPU 사용코드

import os

os.environ["CUDA_VISIBLE_DEVICES"]="0"

  • 사용중인지 확인 => 사용중일 경우 False(사용할 수 없음)

 

이상으로 (트랜스포머 기반) 챗봇 사용을 위한 환경 구축이 마무리 되었습니다.

다음은 챗봇 코드 실험 예정입니다. 

+ Recent posts