GPU 4

runpod에서 qdrant 설치

RunPod 컨테이너에서 Qdrant 운영 워크플로우1. 환경 분석 및 호환성 확인 bash# 시스템 정보 확인cat /etc/os-release # Ubuntu 22.04 확인ldd --version # GLIBC 2.35 확인# 호환성 문제 해결을 위해 적절한 버전 선택# 최신 버전(GLIBC 2.38 요구) → v1.8.0(GLIBC 2.35 호환)2. Qdrant 서버 설치 및 설정 bash# 기존 파일 정리rm -f qdrant qdrant-x86_64-unknown-linux-gnu.tar.gz# 호환 가능한 버전 다운로드wget https://github.com/qdrant/qdrant/releases/download/v1.8.0/qdrant-x86..

GPU 2025.06.20

RTX 4090 놀리는 대신 돈버는법(with Vast AI)

🧠 Vast.ai GPU 임대 수익 분석 (한국 전기요금 기준)✅ 개요Vast.ai는 개인 GPU 자원을 다른 사람에게 임대해주는 플랫폼.채굴 수익성이 사라진 지금, 남는 고성능 GPU를 활용할 수 있는 대안으로 주목.이 글에서는 RTX 4090을 기준으로, 실제 한국 전기요금 환경에서의 수익성과 현실적인 한계를 분석.🧾 Vast.ai 수익 구조 요약항목 내용플랫폼Vast.ai수익 방식GPU 시간당 임대료 + 저장소 사용량 + 네트워크 트래픽수수료수익의 25% (Vast.ai 측)시스템 구성다중 GPU 세분화 가능 (예: 4x4090 → 각각 임대 가능)임대 타입On-Demand와 Interruptible (통계는 On-Demand 기준) 📊 주요 GPU 모델의 임대 가격 및 점유율GPU 모델시간당..

GPU 2025.06.04

필요한 GPU 기본 역량 - 이거 실습 다 하면, 글 정리해볼거임.

1. CUDA 기반 연산과 GPU 메커니즘 이해GPU가 CPU와 어떤 구조 차이가 있고, 어떤 연산에 적합한지 개념적 이해PyTorch나 TensorFlow에서 .to('cuda')로 GPU에 올려서 학습시키는 기본 사용법멀티-GPU 환경에서 DataParallel, DistributedDataParallel 활용 경험추천 학습: NVIDIA의 CUDA Programming Guide (초보는 개념 위주로만)2. 리소스 모니터링과 디버깅nvidia-smi 명령어를 써서 현재 GPU 사용량, 메모리, 온도, 프로세스 등을 확인할 수 있음GPU 메모리 누수 문제 (torch.no_grad(), .detach(), del, gc.collect() 등의 사용 경험)GPU OOM(Out of Memory) 문제를..

GPU 2025.06.03

Flash attention1, 2 은 GPU구조에 따라 사용이 다르다.

GPU 아키텍처 타임라인NVIDIA의 GPU 아키텍처는 다음과 같은 순서로 발전.Tesla (2006)Fermi (2010)Kepler (2012)Maxwell (2014)Pascal (2016)Volta (2017)Turing (2018)Ampere (2020)Ada Lovelace (2022년 9월)Hopper (2022년 3월)Blackwell (2024년 3월)https://www.nvidia.com/en-us/technologies/주요 최근 아키텍처가장 중요한 최근 아키텍처의 순서: Volta Flash Attention 호환성Flash Attention의 다양한 버전은 서로 다른 GPU 아키텍처를 지원:Flash Attention 2.x 지원 아키텍처:Ampere (예: A100)Hopper..

GPU 2025.06.03