3D Gaussian Splatting

Source: https://github.com/MrNeRF/awesome-3D-gaussian-splatting at e945732c972f
License: MIT
Read the English original

This edition is an AI-assisted translation.

Awesome 3D Gaussian Splatting

Eine kuratierte Sammlung von Ressourcen rund um 3D Gaussian Splatting (3DGS) und verwandte Technologien.

Paper-Liste durchsuchen | LichtFeld Studio | Mitwirken | MrNeRF

Inhalt

• Papers & Dokumentation
• Implementierungen
• Viewer & Game-Engine-Unterstützung
• Werkzeuge & Utilities
• Lernressourcen
• Danksagungen

Papers & Dokumentation

Paper-Datenbank

Besuchen Sie unsere umfassende, durchsuchbare Datenbank von 3D-Gaussian-Splatting-Papers: Papers Database

Kurse & Tutorials

• MIT Inverse Rendering Lectures (Modul 2) - Akademischer Tiefgang in Inverse Rendering
• 3DGS-Tutorial - Tutorial der Autoren des ursprünglichen 3DGS-Papers

Datensätze

• NERDS 360 Multi-View-Datensatz - Hochwertiger Datensatz für Außenszenen

Implementierungen

Offizielle Referenz

• Original Gaussian Splatting - Die Referenzimplementierung der ursprünglichen Autoren

Community-Implementierungen

Implementierung	Sprache	Lizenz	Beschreibung
LichtFeld Studio (lichtfeld.io)	C++/CUDA	GPL-3.0	Die modulare Workstation für 3D Gaussian Splatting — trainieren, untersuchen, bearbeiten, automatisieren und exportieren aus einer einzigen nativen App
Nerfstudio gsplat	Python/CUDA	Apache-2.0	Integration mit Nerfstudio
OpenSplat	C++/CPU/GPU	AGPL-3.0	Plattformübergreifende Lösung
Taichi 3D GS	Taichi	Apache-2.0	Taichi-basierte Implementierung
taichi-splatting	Taichi/PyTorch	Apache-2.0	Modularer Rasterizer für Taichi und PyTorch
Grendel Distributed 3DGS	Python/CUDA	Apache-2.0	Multi-GPU verteiltes Training
Warp 3DGS	Warp/Python	AGPL-3.0	Warp-basierte Implementierung
RI3D	Python/CUDA	Unlicense	Few-Shot-Gaussian-Splatting-Pipeline
gaussian_splatting	Python/CUDA	MIT	Lesbare Implementierung mit einer schriftlichen Herleitung der Mathematik
3d-gaussian-splatting	Python/CUDA	MIT	Kompakte Neuimplementierung
gaussian_splatting_3d	Python/CUDA		Frühe Community-Neuimplementierung
My-exp-Gaussians	Python/CUDA		Erweitert die Fähigkeit von 3D-Gaußschen, komplexe Szenen zu modellieren
360-gaussian-splatting	Python		Trainiert Splats direkt aus 360°-Bildern
2D Gaussian Splatting	Jupyter	MIT	Notebook-Durchgang durch 2D-Gaussian-Splatting
DGSO	Python	MIT	Stiltransfer, angewendet während der Gaußschen Optimierung
3D-Gaussian-Splatting-Reconstruction	Python	Apache-2.0	Reine PyTorch-Implementierung aus Videoeingaben — kein CUDA-Compile nötig, unterstützt CPU/NVIDIA-GPU-Backends, integrierter Pose-Schätzer & GUI
MetalSplat	PyTorch/Metal	MIT	Metal-basierte Implementierung für Apple-Silicon-GPUs unter PyTorch mit automatischer Kernel-Kompilierung zur Laufzeit

Frameworks

• Pointrix - Differenzierbares punktbasiertes Rendering
• msplat - Modulare differenzierbare Gaußsche-Rasterisierungsbibliothek
• GauStudio - Einheitliches Framework mit mehreren Implementierungen
• DriveStudio - Framework zur Rekonstruktion städtischer Szenen
• GSCodecStudio - Kompression und dynamische Splattings
• gaussian-splatting-lightning - Abgeleitete Algorithmen plus ein interaktiver Web-Viewer

Viewer & Game-Engine-Unterstützung

Game Engines

• Unity-Plugin
• Unity-Plugin (gsplat-unity)
• Unity-Plugin (DynGsplat-unity) - Für dynamische Splattings
• Unreal-Plugin (MLSLabsGaussianSplattingRenderer-UE)
• Unreal-Plugin (XScene-UEPlugin)
• PlayCanvas Engine
• Godot-Plugin (gdgs) - Echtzeit-3DGS-Render-Plugin für Godot 4.3+

Web-Viewer

WebGL

• Splat Viewer
• Gauzilla
• Interaktiver Viewer
• GaussianSplats3D
• gsplat.js
• A-Frame
• splaTV - Viewer für 4D-Gaußsche, mit einer Live-Demo
• WebRTC-Viewer

WebGPU

• EPFL-Viewer
• WebGPU Splat
• gaussian-splatting-webgpu
• SuperSplat Viewer - Hochleistungs-Splat-Viewer
• PlayCanvas Model Viewer - Viewer für glTF- und 3DGS-Assets

Desktop-Viewer

• 3DGS.cpp - C++/Vulkan-Renderer für Windows, macOS, Linux, iOS und visionOS
• vkgs - Plattformübergreifender C++/Vulkan-Renderer
• splatviz - Render-Code zur Laufzeit bearbeiten oder mehrere Szenen gleichzeitig anzeigen
• OpenGL Viewer - PyOpenGL-Viewer, auch mit offiziellem CUDA-Backend
• Taichi Viewer - Renderer mit Benchmarking-Fähigkeit
• DearGaussianGUI
• LiteViz-GS
• Nerfstudio Viser
• Nerfstudio (Branch gaussian_splatting)
• Jupyter-Notebook-Viewer

Native Anwendungen

• Blender-Add-on
• Blender-Add-on (KIRI)
• Blender-Add-on (404—GEN)
• Houdini Viewport Renderer - HDK/GLSL-Implementierung von Gaussian Splatting in Houdini
• iOS Metal Viewer
• VR-Unterstützung (OpenXR)
• ROS2-Unterstützung
• Splat Local - Videobis-3DGS-Pipeline, die vollständig lokal auf Apple Silicon läuft (COLMAP/GLOMAP-Posen, Metal-natives Training über Brush), mit Trainings-Checkpoints, die live in einen Browser-Viewer gestreamt werden

Werkzeuge & Utilities

Datenverarbeitung

• Kapture - Einheitliches Datenformat für visuelle Lokalisierung
• Kapture-Bildbeschneider - Entzerrtes Bildbeschneider-Tool zum Entfernen schwarzer Ränder
• 3DGS-Konverter - Formatkonvertierungswerkzeug
• Point-Cloud-Editor - Webbasierte Punktwolkenbearbeitung
• SPZ-Konverter - SPZ-Konvertierungswerkzeug
• gsbox-Konverter - PLY-SPLAT-SPZ-SPX-Konvertierungswerkzeug
• SplatTransform - CLI-Werkzeug und Node/Browser-Bibliothek zum Konvertieren und Bearbeiten von Splats, liest PLY, SOG, SPZ, SPLAT, KSPLAT und LCC/LCC2, schreibt PLY, SOG, SPZ, GLB, CSV, LOD und WebP
• GaussForge - C++/WASM-basierte Konvertierung zwischen PLY, SPZ, SPLAT und KSPLAT
• SpectacularAI - Konvertierungsskripte für verschiedene 3DGS-Konventionen
• VGGT Factor Refinement - COLMAP-freie Pipeline mit VGGT + Faktorgraph, von Video zu COLMAP-Formatausgabe
• splatreg - Per pip installierbare Splat-Registrierung: zwei 3DGS-Scans in einen SE(3)/Sim(3)-Rahmen ausrichten & zusammenführen (rekonstruiert Maßstab), CLI + reine-PyTorch-API, kein manueller Gizmo
• AURA - Kalibrierte Konfidenz pro Splat für 3DGS-Assets: Leave-out-Zuverlässigkeitslabels, isotonische Kalibrierung und ein verteilungsfreies konformes Pruning-Zertifikat mit zertifizierter LOD-Leiter; Export über glTF/OpenUSD/SPZ (pip install aura-splat)
• Open Reality - Vom Handyvideo zu einer 3D-Szene (VGGT-SLAM-basiert, Splat-Export mit optionaler gsplat-Verfeinerung), die ein KI-Assistent über MCP abfragen kann: Messungen, Boden- und Wandebenen, Pfadplanung, Objektliste, Robotertrainings-Exporte; selbst hostbar

Entwicklungswerkzeuge

• GSOPs für Houdini - Houdini-Integrationstools
• camorph - Kameraparameter-Konvertierung
• SuperSplat - Kostenloser, Open-Source, browserbasierter 3DGS-Editor mit Ein-Klick-Veröffentlichung

Lernressourcen

Blog-Beiträge

• 3DGS-Einführung - HuggingFace-Leitfaden
• Umfassender Überblick über Gaussian Splatting
• Sehr gute (technische) Einführung in 3D Gaussian Splatting
• Gaussian Splatting ist ziemlich cool
• Gaussian Splats kleiner machen
• Gaussian Splats noch kleiner machen
• Gaussian Splats komprimieren
• PlayCanvas veröffentlicht SOG als Open Source - Spatially Ordered Gaussians, ein superkomprimiertes, auf WebP basierendes Format, das 15–20× kleiner als PLY ist
• Implementierungsdetails - Technischer Tiefgang
• Mathematische Grundlagen - Theorieerklärung
• Mathematische Details der Vorwärts- und Rückwärts-Pässe
• PyTorch-Implementierung - Kuratierte Implementierung von Vanilla 3DGS in PyTorch
• NeRFs vs. 3DGS
• Gaussian Head Avatars: Eine Zusammenfassung
• 3D im Georaum: NeRFs, Gaussian Splatting und Spatial Computing
• Erfassungsleitfaden - Bildaufnahme-Tutorial
• Diskussion über gs-Universalformat

Talks

• Gaussian Splats: Bereit für die Standardisierung? - Metaverse Standards Forum 28.01.2025
• Unity-Integrationsleitfaden - Metaverse Standards Forum 06.05.2025

Video-Tutorials

• Erste Schritte (Windows)
• Zwei-Minuten-Erklärung
• Computerphile 3DGS-Erklärung
• Gaussian Splats Town Hall - Teil 2
• Einführung in gaussian splatting (und Unity-Plugin)
• Jupyter-Tutorial

YouTube-Kanäle

• LichtFeld Studio - Tutorials, Release-Walkthroughs und Entwickler-Updates für LichtFeld Studio

Danksagungen

• Danke an Leonid Keselman für den Hinweis auf die Veröffentlichung des Papers „Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting”.
• Danke an Eric Haines für den Vorschlag des Jupyter-Notebook-Viewers, des Windows-Tutorials und für das Korrigieren von Text-Trennzeichen und anderen Problemen.
• Danke an Henry Pearce für die Pflege der Beiträge.
• Yehe Liu