봄다온의 블로그

nvidia-container-toolkit, gpu 수동할당

봄다온 — Mon, 7 Jul 2025 16:32:22 +0900

# 0번 gpu
--gpus='"device=0"'

# 1번 gpu
--gpus='"device=1"'

cp대신 rsync로 파일이동

봄다온 — Fri, 4 Jul 2025 14:09:16 +0900

# cp명령어로 이동할경우
cp /source/path /destination/path

# rsync로 이동(프로그래스바 제공)
rsync -ah --progress /source/path/ /destination/path/

특정 파일 필터링 후 이동

봄다온 — Wed, 25 Jun 2025 11:37:46 +0900

find /path/to/source -type f -name '3*.jpg' -print0 | xargs -0 -I{} mv "{}" /path/to/dest/

랜덤하게 파일 이동, 복사

봄다온 — Wed, 25 Jun 2025 11:25:21 +0900

#이동
cd /path/to/a && \
find . -maxdepth 1 -type f | shuf -n 700 | while read file; do mv "$file" /path/to/b/; done

#복사
cd /path/to/a && \
find . -maxdepth 1 -type f | shuf -n 700 | rsync --files-from=- -av ./ /path/to/b/

ssh-key with ed25519 + passphrase

봄다온 — Tue, 24 Jun 2025 14:38:46 +0900

ed25519는 현대적인 공개키 암호 알고리즘으로, SSH 키 생성 시 사용하는 키 타입 중 하나 + 보안성, 성능, 키 크기 측면에서 기존 RSA나 DSA보다 우수

ssh-keygen -t ed25519 -C "your_email@example.com"

이후 질문중
Enter passphrase (empty for no passphrase): 
나오면 암호 입력 이후 한번 더 입력

이렇게 생성하게 되면 ssh 접속시 authorized_keys에 통신대상의 공개키를 등록해도 ssh로 나와 연결할때마다 상대는 나의 ssh-key passphrase를 알아야 접속가능하다.

onnxruntime gpu 못 찾는 문제(cuda 11.x)

봄다온 — Tue, 10 Jun 2025 10:57:06 +0900

우분투 22.04, cuda 11.8 환경에서 onnxruntime-gpu 설치 후 추론하려하는데 계속 gpu를 못 잡고 cpu로 도는 문제 발생

chatgpt에 아무리 물어봐도 답은 나오지 않아서 결국 직접 공식문서를 찾아봤다.

답은 설치 자체를 아예 다르게 했어야 했다.

다음은 onnx runtime 공식문서의 답변이다.

https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

NVIDIA - CUDA

Instructions to execute ONNX Runtime applications with CUDA

onnxruntime.ai

https://onnxruntime.ai/docs/install/

Install ONNX Runtime

Instructions to install ONNX Runtime on your target platform in your environment

onnxruntime.ai

위에 읽어보면 Not available in PYPI라고 나와있다.
즉 pip install onnxruntime-gpu==1.xx.x 아무리 해도 gpu못잡고, 추가로 Pytorch 버전도 2.3.1까지만 지원한다.

그동안 로컬에 cuda, cudnn설치 및 버전 맞추기 귀찮아서 docker images로 편하게 사용해왔는데
pytorch 2.7.1-cuda11.8-cudnn9-devel 이미지로 아무리 onnxruntime 버전 맞추려해도 안되는게 당연했다.

pytorch 이미지를 2.3.1-cuda11.8-cudnn8-devel로 변경 후 위에 나온

pip install flatbuffers numpy packaging protobuf sympy
pip install onnxruntime-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

로 설치하니까 드디어 gpu를 찾고 cpu와 비교하여 눈에 띄게 빠른 속도로 추론시작했다.

~~아니 이럴꺼면 그냥 PYPI onnxruntime-gpu의 새로운 버전에 등록해주지 굳이 왜... 이런 고통을 줄까...~~

캐시 삭제 명령어 모음

봄다온 — Tue, 10 Jun 2025 08:34:08 +0900

# 빌드 캐시 삭제
docker builder prune

# 볼륨 캐시 삭제
docker volume prune

# 네트워크 캐시 삭제
docker network prune

# None이미지 삭제
docker image prune -f

Docker 컨테이너 생성시 공유메모리 늘리기

봄다온 — Thu, 5 Jun 2025 09:57:01 +0900

# 공유메모리량 확인
df -h /dev/shm

--shm-size=원하는만큼
docker run --shm-size=20g -it your_image

우분투 부팅시 GUI <ㅡㅡ> CLI 변경 설정

봄다온 — Sun, 25 May 2025 18:18:12 +0900

GUI 설정
sudo systemctl set-default graphical.target
sudo reboot
CLI 설정
sudo systemctl set-default multi-user.target
sudo reboot

pylint : Module 'cv2' has no ~~~ member (no-member)

봄다온 — Sun, 11 May 2025 18:26:44 +0900

파이썬 프로젝트 작업을 하며 코드 통일성 및 정리를 위해 pylint를 사용중인데
cv2는 c 기반으로 빌드되어있는 라이브러리라 멤버를 못찾는다고 한다. 그래서 해당 경고를 끄기 위한 설정

# pylint 설정파일 생성
pylint --generate-rcfile > .pylintrc 
ctrl + F로 disable 검색하여 disable리스트에 E1101 추가

공식문서상으론
extension-pkg-allow-list=
또는
extension-pkg-whitelist=
에 원하는 c확장 모듈을 적으면 읽어와서 문제없다고하는데 안되서 E1101 유형의 에러를 일단 disable했다.