GPU-Instanzen

GPU-Instanzen (Graphics Processing Unit) stellen hardwarebeschleunigtes Rechnen für Workloads bereit, die massiv parallele Rechenleistung erfordern. Im Gegensatz zu Standard-VMs haben GPU-Instanzen eine oder mehrere physische NVIDIA-GPUs, die via PCI-Passthrough mit dem Gast-Betriebssystem verbunden sind und direkten Zugriff auf die GPU-Hardware bieten.

Typische Anwendungsfälle:

Machine Learning / AI — Modelltraining, Inferenz und Fine-Tuning
Rendering — 3D-Rendering, Video-Encoding und GPU-beschleunigte Visualisierung
High-Performance Computing (HPC) — wissenschaftliche Simulationen, Computerchemie und Datenanalyse

GPU-Flavors

GPU-Flavors sind in zwei Regionen mit unterschiedlicher GPU-Hardware verfügbar. Verwenden Sie openstack flavor list, um alle in Ihrem Projekt verfügbaren Flavors anzuzeigen.

NVIDIA L4 — Region 1 (`ch-zh1`)

Die NVIDIA L4 ist eine vielseitige GPU auf Basis der Ada-Lovelace-Architektur mit 24 GB GDDR6-Speicher. Sie eignet sich gut für Inferenz, Videoverarbeitung und leichtere ML-Workloads.

Flavor	vCPU	RAM	Disk	GPU	Disk-Typ
`p1d.small`	1	2 GB	50 GB	1× L4	Shared
`p1d.medium`	1	4 GB	80 GB	1× L4	Shared
`p1d.large`	2	8 GB	120 GB	1× L4	Shared
`p1d.xlarge`	4	16 GB	240 GB	1× L4	Shared
`p1d.2xlarge`	8	32 GB	480 GB	1× L4	Shared
`p1d.4xlarge`	16	64 GB	960 GB	1× L4	Shared
`p1gd.4xlarge`	16	64 GB	960 GB	1× L4	Dedicated

Die p1d-Flavors teilen sich die Disk zwischen mehreren Tenants auf dem Hypervisor, während p1gd-Flavors eine dedizierte Disk für höhere I/O-Leistung bieten.

openstack flavor list --long | grep p1d

NVIDIA RTX 6000 Pro Blackwell — Region 2 (`ch-ge1`)

Die RTX 6000 Pro basiert auf der Blackwell-Architektur und bietet 96 GB GDDR7-Speicher. Sie ist ideal für Inferenz mit grossen Modellen, Rendering und rechenintensive Workloads.

Flavor-Präfix	GPU	VRAM	Region
`a1g6000d.*`	1× RTX 6000 Pro	96 GB GDDR7	ch-ge1

openstack flavor list --long | grep a1g6000d

NVIDIA H200 — Region 2 (`ch-ge1`)

Coming Soon

Die H200-Flavors sind noch nicht öffentlich verfügbar. Sie werden hier zur Planung aufgeführt. Wenden Sie sich an den Support, wenn Sie frühen Zugriff benötigen.

Die NVIDIA H200 basiert auf der Hopper-Architektur und verfügt über 141 GB HBM3e-Speicher. Sie wurde für die anspruchsvollsten AI-Training- und HPC-Workloads entwickelt. H200-Flavors unterstützen Multi-GPU-Konfigurationen mit bis zu 8 GPUs pro Instanz.

Flavor	vCPU	RAM	Disk	GPUs
`a1g200d.16xlarge`	48	192 GB	960 GB	1× H200
`a1g200d.32xlarge`	96	384 GB	960 GB	2× H200
`a1g200d.64xlarge`	192	768 GB	960 GB	4× H200
`a1g200d.128xlarge`	240	1536 GB	1920 GB	8× H200

GPU-Images

GPU-Instanzen benötigen ein GPU-fähiges Image mit vorinstallierten NVIDIA-Treibern. Die folgenden Ubuntu-GPU-Images sind verfügbar:

OS	Versionen	GPU-Varianten
Ubuntu	22.04, 24.04	GPU, GPU UEFI, GPU UEFI CUDA

GPU — Standard-GPU-Image mit NVIDIA-Treibern
GPU UEFI — UEFI-bootfähiges GPU-Image mit NVIDIA-Treibern
GPU UEFI CUDA — UEFI-bootfähiges GPU-Image mit NVIDIA-Treibern und vorinstalliertem CUDA-Toolkit

Verwenden Sie die CUDA-Variante, wenn Sie das CUDA-Toolkit für ML-Frameworks benötigen. Für reine Inferenz-Workloads ohne CUDA-Abhängigkeiten genügt das Standard-GPU-Image.

openstack image list --public | grep -i gpu

Siehe Images für allgemeines Image-Management.

Start via Horizon

So stellen Sie eine GPU-Instanz über das Horizon-Dashboard bereit:

Navigieren Sie zu Compute > Instances und klicken Sie auf Launch Instance.
Geben Sie im Tab Details einen Namen ein und wählen Sie eine Availability Zone in der passenden Region (ch-zh1 für L4, ch-ge1 für RTX 6000 Pro / H200).
Wählen Sie im Tab Source ein GPU-Image (z.B. Ubuntu 24.04 GPU UEFI CUDA) und erstellen Sie ein neues Volume.
Wählen Sie im Tab Flavor einen GPU-Flavor (z.B. p1d.xlarge oder a1g6000d.*).
Vervollständigen Sie die übrigen Tabs (Networks, Security Groups, Key Pair) wie üblich.
Klicken Sie auf Launch Instance.

Siehe Launch Instance für die vollständige Wizard-Anleitung.

Start via CLI

openstack server create gpu-vm \
    --image "Ubuntu 24.04 GPU UEFI CUDA" \
    --flavor p1d.xlarge \
    --key-name my-key \
    --network my-net \
    --security-group default \
    --availability-zone ch-zh1-az2

Für RTX 6000 Pro-Instanzen in Region 2:

openstack server create gpu-vm-rtx \
    --image "Ubuntu 24.04 GPU UEFI CUDA" \
    --flavor a1g6000d.4xlarge \
    --key-name my-key \
    --network my-net \
    --security-group default \
    --availability-zone ch-ge1-az1

Tip

Verwenden Sie openstack flavor list | grep -E 'p1d|a1g6000d|a1g200d', um alle verfügbaren GPU-Flavors zu finden. Eine vollständige Flavor-Übersicht finden Sie auch auf unserer Website: Flavor-Übersicht.

GPU verifizieren

Nachdem die Instanz aktiv ist, verbinden Sie sich per SSH und prüfen Sie, ob die GPU erkannt wird:

# Alle NVIDIA-GPUs auflisten
nvidia-smi -L

# Vollständigen GPU-Status anzeigen (Speicher, Prozesse, Temperatur)
nvidia-smi

# CUDA-Toolkit-Version prüfen (nur GPU UEFI CUDA-Images)
nvcc --version

Beispielausgabe für eine L4-Instanz:

$ nvidia-smi -L
GPU 0: NVIDIA L4 (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)

Wenn die GPU nicht sichtbar ist, stellen Sie sicher, dass Sie ein GPU-Image und einen GPU-Flavor verwendet haben. Prüfen Sie die Device-Nodes:

ls -la /dev/nvidia*

Hinweise & Einschränkungen

Region-Verfügbarkeit — L4-Flavors (p1d.*, p1gd.*) sind nur in Region 1 (ch-zh1) verfügbar. RTX 6000 Pro (a1g6000d.*) und H200 (a1g200d.*) sind nur in Region 2 (ch-ge1) verfügbar.
Keine Live-Migration — GPU-Instanzen können nicht live migriert werden. Wenn der zugrunde liegende Host gewartet werden muss, muss die Instanz gestoppt und neu gestartet werden.
Quota — GPU-Flavors verbrauchen GPU-Quota. Prüfen Sie Ihre Quota mit openstack quota show. Wenn Sie zusätzliche GPU-Quota benötigen, wenden Sie sich an den Support.
Image-Anforderung — Nur GPU-fähige Images enthalten die NVIDIA-Treiber. Das Booten eines GPU-Flavors mit einem Standard-Image (ohne GPU) macht die GPU nicht zugänglich.
H200-Verfügbarkeit — Die a1g200d.*-Flavors sind noch nicht öffentlich verfügbar. Wenden Sie sich an den Support für frühen Zugriff.