3D Gaussian Splatting

Source: https://github.com/MrNeRF/awesome-3D-gaussian-splatting at e945732c972f
License: MIT
Read the English original

This edition is an AI-assisted translation.

Awesome 3D Gaussian Splatting

Подборка ресурсов, посвящённых 3D Gaussian Splatting (3DGS) и смежным технологиям.

Открыть список статей | LichtFeld Studio | Участвовать | MrNeRF

Содержание

• Статьи и документация
• Реализации
• Просмотрщики и поддержка игровых движков
• Инструменты и утилиты
• Учебные ресурсы
• Благодарности

Статьи и документация

База статей

Посетите нашу полную и доступную для поиска базу статей по 3D Gaussian Splatting: Papers Database

Курсы и руководства

• Лекции MIT по обратному рендерингу (Модуль 2) - Академическое погружение в обратный рендеринг
• Учебник по 3DGS - Руководство от авторов оригинальной статьи по 3DGS

Наборы данных

• Многовидовый набор данных NERDS 360 - Качественный набор данных сцены на открытом воздухе

Реализации

Официальный эталон

• Оригинальный Gaussian Splatting - Эталонная реализация от оригинальных авторов

Реализации сообщества

Реализация	Язык	Лицензия	Описание
LichtFeld Studio (lichtfeld.io)	C++/CUDA	GPL-3.0	Модульная рабочая станция для 3D Gaussian Splatting — обучение, инспекция, редактирование, автоматизация и экспорт из единого нативного приложения
Nerfstudio gsplat	Python/CUDA	Apache-2.0	Интеграция с Nerfstudio
OpenSplat	C++/CPU/GPU	AGPL-3.0	Кроссплатформенное решение
Taichi 3D GS	Taichi	Apache-2.0	Реализация на базе Taichi
taichi-splatting	Taichi/PyTorch	Apache-2.0	Модульный растеризатор для Taichi и PyTorch
Grendel Distributed 3DGS	Python/CUDA	Apache-2.0	Распределённое обучение на нескольких GPU
Warp 3DGS	Warp/Python	AGPL-3.0	Реализация на базе Warp
RI3D	Python/CUDA	Unlicense	Конвейер gaussian splatting с малым числом снимков
gaussian_splatting	Python/CUDA	MIT	Читаемая реализация с письменным выводом математики
3d-gaussian-splatting	Python/CUDA	MIT	Компактная переализация
gaussian_splatting_3d	Python/CUDA		Ранняя реализация сообщества
My-exp-Gaussians	Python/CUDA		Расширяет способность 3D-гауссиан моделировать сложные сцены
360-gaussian-splatting	Python		Обучает splats напрямую по 360° изображениям
2D Gaussian Splatting	Jupyter	MIT	Разбор 2D gaussian splatting в блокноте
DGSO	Python	MIT	Перенос стиля, применяемый при гауссовой оптимизации
3D-Gaussian-Splatting-Reconstruction	Python	Apache-2.0	Чистая реализация на PyTorch по видеовходу — без компиляции CUDA, поддержка CPU/NVIDIA GPU, встроенный оценщик поз и GUI
MetalSplat	PyTorch/Metal	MIT	Реализация на базе Metal для GPU Apple Silicon в PyTorch с автоматической компиляцией ядер в runtime

Фреймворки

• Pointrix - Дифференцируемый точечный рендеринг
• msplat - Модульная библиотека дифференцируемой гауссовой растеризации
• GauStudio - Единый фреймворк с несколькими реализациями
• DriveStudio - Фреймворк реконструкции городских сцен
• GSCodecStudio - Сжатие и динамические splatting
• gaussian-splatting-lightning - Производные алгоритмы плюс интерактивный веб-просмотрщик

Просмотрщики и поддержка игровых движков

Игровые движки

• Плагин Unity
• Плагин Unity (gsplat-unity)
• Плагин Unity (DynGsplat-unity) - Для динамических splatting
• Плагин Unreal (MLSLabsGaussianSplattingRenderer-UE)
• Плагин Unreal (XScene-UEPlugin)
• Движок PlayCanvas
• Плагин Godot (gdgs) - Плагин рендеринга 3DGS в реальном времени для Godot 4.3+

Веб-просмотрщики

WebGL

• Splat Viewer
• Gauzilla
• Интерактивный просмотрщик
• GaussianSplats3D
• gsplat.js
• A-Frame
• splaTV - Просмотрщик для 4D-гауссиан, с живой демо
• WebRTC просмотрщик

WebGPU

• Просмотрщик EPFL
• WebGPU Splat
• gaussian-splatting-webgpu
• SuperSplat Viewer - Высокопроизводительный просмотрщик splat
• Просмотрщик моделей PlayCanvas - Просмотрщик для ресурсов glTF и 3DGS

Настольные просмотрщики

• 3DGS.cpp - Рендерер C++/Vulkan для Windows, macOS, Linux, iOS и visionOS
• vkgs - Кроссплатформенный рендерер C++/Vulkan
• splatviz - Редактируйте код рендеринга в runtime или показывайте несколько сцен одновременно
• OpenGL Viewer - Просмотрщик PyOpenGL, также с официальным CUDA-бэкендом
• Taichi Viewer - Рендерер с возможностью бенчмаркинга
• DearGaussianGUI
• LiteViz-GS
• Nerfstudio Viser
• Nerfstudio (ветка gaussian_splatting)
• Просмотрщик Jupyter notebook

Нативные приложения

• Дополнение Blender
• Дополнение Blender (KIRI)
• Дополнение Blender (404—GEN)
• Рендерер вьюпорта Houdini - Реализация HDK/GLSL Gaussian Splatting в Houdini
• Просмотрщик iOS Metal
• Поддержка VR (OpenXR)
• Поддержка ROS2
• Splat Local - Конвейер видео в 3DGS, полностью локально на Apple Silicon (позы COLMAP/GLOMAP, нативное обучение Metal через Brush), с чекпоинтами обучения, транслируемыми в веб-просмотрщик в реальном времени

Инструменты и утилиты

Обработка данных

• Kapture - Единый формат данных для визуальной локализации
• Обрезчик изображений Kapture - Обрезчик недеформированных изображений для удаления чёрных рамок
• Конвертер 3DGS - Инструмент преобразования форматов
• Редактор облака точек - Редактирование облака точек на базе веба
• Конвертер SPZ - Инструмент преобразования SPZ
• Конвертер gsbox - Инструмент преобразования PLY SPLAT SPZ SPX
• SplatTransform - CLI-инструмент и библиотека Node/браузер для преобразования и редактирования splats, читает PLY, SOG, SPZ, SPLAT, KSPLAT и LCC/LCC2, записывает PLY, SOG, SPZ, GLB, CSV, LOD и WebP
• GaussForge - Преобразование между PLY, SPZ, SPLAT и KSPLAT на базе C++/WASM
• SpectacularAI - Скрипты преобразования для разных соглашений 3DGS
• VGGT Factor Refinement - Конвейер без COLMAP с использованием VGGT + факторного графа, от видео к выводу в формате COLMAP
• splatreg - Устанавливаемая через pip регистрация splats: выравнивает и объединяет два скана 3DGS в один фрейм SE(3)/Sim(3) (восстанавливает масштаб), CLI + чистый PyTorch API, без ручного gizmo
• AURA - Калиброванная уверенность на splat для ресурсов 3DGS: метки надёжности out-of-sample, изотоническая калибровка и сертификат распределение-независимой конформной обрезки с сертифицированной лестницей LOD; экспорт через glTF/OpenUSD/SPZ (pip install aura-splat)
• Open Reality - От видео с телефона к 3D-сцене (на базе VGGT-SLAM, экспорт splat с опциональной доработкой gsplat), которую ИИ-ассистент может опрашивать через MCP: измерения, плоскости пола и стен, планирование пути, список объектов, экспорт для обучения роботов; возможен самостоятельный хостинг

Инструменты разработки

• GSOPs для Houdini - Инструменты интеграции с Houdini
• camorph - Преобразование параметров камеры
• SuperSplat - Бесплатный открытый редактор 3DGS в браузере с публикацией в один клик

Учебные ресурсы

Блог-посты

• Введение в 3DGS - Руководство HuggingFace
• Подробный обзор Gaussian Splatting
• Очень хорошее (техническое) введение в 3D Gaussian Splatting
• Gaussian Splatting довольно крут
• Делаем Gaussian Splats меньше
• Делаем Gaussian Splats ещё меньше
• Сжатие Gaussian Splats
• PlayCanvas открывает SOG как открытый код - Spatially Ordered Gaussians, сверхсжатый формат на базе WebP, в 15–20 раз меньше, чем PLY
• Детали реализации - Техническое погружение
• Математические основы - Теоретическое объяснение
• Математические детали прямого и обратного проходов
• Реализация на PyTorch - Тщательно выполненная реализация Vanilla 3DGS на PyTorch
• NeRFs против 3DGS
• Gaussian Head Avatars: краткое изложение
• 3D в геопространстве: NeRFs, Gaussian Splatting и пространственные вычисления
• Руководство по съёмке - Учебник по захвату изображений
• Обсуждение универсального формата gs

Доклады

• Gaussian Splats: готовы к стандартизации? - Metaverse Standards Forum 28.01.2025
• Руководство по интеграции с Unity - Metaverse Standards Forum 06.05.2025

Видеоуроки

• Начало работы (Windows)
• Объяснение за две минуты
• Объяснение 3DGS от Computerphile
• Gaussian Splats Town Hall - Часть 2
• Введение в gaussian splatting (и плагин Unity)
• Учебник Jupyter

YouTube-каналы

• LichtFeld Studio - Учебники, обзоры релизов и новости разработки для LichtFeld Studio

Благодарности

• Спасибо Leonid Keselman за сообщение о выходе статьи «Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting».
• Спасибо Eric Haines за предложение просмотрщика Jupyter notebook, учебника для Windows и за исправление переносов и других проблем в тексте.
• Спасибо Henry Pearce за сопровождение вкладов.
• Yehe Liu