Модуль 4. Применение генеративных нейронных моделей в мультимедиа Блок 4. Генерация 3 d компонентов. Разработка цифровых генеративных моделей Анастасия Киструга
Генерация 3 d компонентов. 1. Что такое 3d генерация 2. Методы 3d генерации 3. Ресурсы для генерации 4. Особенности генерации 3d моделей 5. Промптинг 3d объектов 6. Генерация 3d объектов на основе 2d изображения 7. Генерация 3d объектов на основе видео 8. Особенности подготовки видое для генерации 3d 9. Анимация 3d моделей 10. Перенос 3d моделей в реальный мир
Генерация 3 d компонентов. 3D-генерация – это процесс создания трёхмерных объектов и сцен с использованием компьютерных технологий. Это может быть: Ручное моделирование в программах ( Blender, ZBrush ) Автоматическая генерация на основе изображений или текста Фотограмметрия и другие методы преобразования реального мира в 3D Современные тренды: AI-генерация 3D моделей, автоматическое создание текстур, оптимизация моделей для игр и VR.
Игры Создание персонажей, окружения, предметов Генерация уровней (например, в Unreal Engine) Графический дизайн Иллюстрации, концепт-арт, 3D-визуализация 3D-печать Создание моделей для физического производства Прототипирование в инженерии и медицине Виртуальная и дополненная реальность (VR/AR) Цифровые копии реального мира Интерактивные объекты для приложений Кино и анимация Генерация персонажей и спецэффектов Мода и архитектура Дизайн одежды и интерьеров, визуализация зданий Где применяется 3 D- генерация? Генерация 3 d компонентов.
Генерация 3 d компонентов. Фотограмметрия Использует множество фото объекта с разных ракурсов Позволяет воссоздать текстуры и геометрию 3D-генерация по видео ( NeRF, MVS и др.) Позволяет восстанавливать объект на основе движения камеры Промптинг 3D-моделей Создание 3D-объектов на основе текстового описания Генерация 3D по 2D-изображению Используется нейросетями, комбинируется с ручной доработкой Классическое 3D-моделирование Ручная работа в Blender, 3ds Max и других редакторах
Генерация 3 d компонентов. Ссылка: https://poly.cam/tools/photogrammetry
Генерация 3 d компонентов. Ссылка: https://3dpresso.ai/
Генерация 3 d компонентов. Ссылка: https://deepai.org/3d-model-generator
Генерация 3 d компонентов. Ссылка: https://www.meshy.ai
Генерация 3 d компонентов. Как это работает? 1. Пользователь вводит текстовый промпт Например: "Футуристическая башня с неоновыми огнями и стеклянными стенами." 2. Нейросеть анализирует описание и интерпретирует ключевые элементы 3. Генерация 3D-модели на основе готовых библиотек форм и текстур 4. Дополнительная доработка в 3D-редакторе при необходимости Пример инструмента: Hyper3D – веб-инструмент для преобразования промптов в 3D
Генерация 3 d компонентов. Плюсы: Быстрое создание базовых 3D-моделей Не требует навыков 3D-моделирования Упрощает концепт-арт и прототипирование Минусы: Ограниченные возможности управления деталями модели Генерация может быть неточной (не все детали промпта интерпретируются правильно) Требуется дополнительная доработка в 3D-редакторах
Генерация 3 d компонентов. Ссылка: https://deepai.org/3d-model-generator
Генерация 3 d компонентов. Ссылка: https://deepai.org/3d-model-generator
Генерация 3 d компонентов. Используется серия снимков объекта с разных углов. Нейросети или специализированное ПО анализируют снимки и создают 3D-модель. Примеры ПО: Meshroom, Agisoft Metashape, RealityCapture Плюсы: Высокая детализация текстур Можно использовать обычные фотоаппараты и смартфоны Минусы: Требуется много фото с разными углами Ошибки при плохом освещении и тенях
Генерация 3 d компонентов. Проблемы: размытые фото, блестящие или однотонные поверхности, мало ракурсов, ошибки выравнивания Результат: искажения, пропуски, артефакты. Ссылка: https://poly.cam/tools/photogrammetry
Генерация 3 d компонентов. Генерируем 2 D модель для последующей генерации в 3D Промпт : Футуристическая башня из металла и стекла, с неоновыми акцентами. Высокая, с узкими окнами и декоративными элементами. Основание массивное, с лестницей. Без фона, белая подложка Ссылка: https://www.dzine.ai
Генерация 3 d компонентов. Генерация 2 D- изображения ( Stable Diffusion, Midjourney ) **Доработка вручную в Photoshop или аналогах Конвертация в 3 D : Hyper3D – загрузка изображения, автоматическая генерация 3D Kaedim – AI-конвертация 2D → 3D Blender + Depth Map – ручное построение модели на основе глубины 3. Обработка модели Доработка геометрии, текстур, рендеринг Требования к исходному изображению : Хорошее разрешение (без размытия) Чёткие контуры и контрастные тени Вид объекта с разных ракурсов (если возможно) Минимальное количество посторонних деталей
Генерация 3 d компонентов. Ссылка: https://www.meshy.ai
Генерация 3 d компонентов.
Генерация 3 d компонентов. Объект снимается на видео с разных ракурсов. Алгоритмы анализируют движение камеры и восстанавливают 3D-структуру Примеры: NeRF ( Neural Radiance Fields), COLMAP, Luma AI, 3 dpresso Плюсы: Более удобный способ съёмки, чем фотограмметрия Может работать даже с небольшим количеством кадров Минусы: Модели могут получаться размытыми Высокие требования к вычислительной мощности
Генерация 3 d компонентов. С помощью сервиса 3DPresso.ai можно легко преобразовать обычное видео в полноценную 3D-модель. Достаточно загрузить видеоролик с разных ракурсов, и ИИ автоматически восстановит геометрию и текстуры объекта. Исходное видео представлено на слайде. Ссылка: https://3dpresso.ai/
Генерация 3 d компонентов. Ссылка: https://3dpresso.ai/
Генерация 3 d компонентов. Ссылка: https://poly.cam/tools/gaussian-splatting
Генерация 3 d компонентов. Фотограмметрия: разрывы, шум, неточности Генерация по видео: цельная, детализированная модель
Генерация 3 d компонентов. Не все видео подходят для генерации 3D-модели : Мало ракурсов – объект должен быть хорошо виден со всех сторон Плохое освещение – тени и пересветы мешают алгоритму Размытие или шум – нечеткое видео снижает детализацию Слишком сложный фон – лучше снимать на однотонном фоне Ошибки при Генерации по видео Исходное видео Результат генерации
Генерация 3 d компонентов. 1. Освещение Должно быть мягким и равномерным, без резких теней Лучше использовать рассеянный свет (лампы с диффузорами) Избегать бликов и отражений (матовые поверхности лучше оцифровываются) 2. Угол обзора и движение камеры Камера должна плавно двигаться вокруг объекта, без резких поворотов Лучше использовать штатив, рельсы или стабилизатор, чтобы избежать тряски Снимать объект со всех сторон, включая верх и низ (если возможно) 3. Разрешение и частота кадров Минимум Full HD (1920×1080), лучше 4K Высокая частота кадров (60 FPS) даёт больше информации для нейросети Чем выше детализация, тем точнее получится 3D-модель
Генерация 3 d компонентов. NeRF ( Neural Radiance Fields) Использует ИИ для восстановления 3D-объекта по видео Работает даже с маленьким количеством кадров Подходит для сложных текстур и реалистичного освещения Meshroom ( AliceVision ) Метод фотограмметрии (из серии кадров восстанавливает 3D) Хорошо работает при стабильной съёмке с разных углов Поддерживает автоматическую обработку сетки и текстур Luma AI, COLMAP Популярные решения для конвертации видео в 3D-модель
Генерация 3 d компонентов. Размытость видео Проблема: нечеткие границы ухудшают точность 3D-модели Решение: использовать штатив или стабилизатор, снимать в хорошем освещении Резкие тени и пересвет Проблема: нейросети путаются в границах объекта Решение: использовать мягкое рассеянное освещение, избегать направленного света Неполный охват объекта Проблема: если части объекта не попадают в кадр, модель будет с дырками Решение: снимать объект со всех сторон, включая сложные ракурсы Сложные текстуры и отражающие поверхности Проблема: глянцевые, прозрачные или однотонные объекты плохо оцифровываются Решение: использовать матовые покрытия или маркеры, добавить больше текстурных деталей
Генерация 3 d компонентов. Подложка (стол, фон) встраивается как часть объекта: При фотограмметрии и нейросетевых методах фон часто становится частью 3D-модели Как бороться: Использовать однотонный фон (зелёный экран, белый лист) Размещать объект на специальной вращающейся платформе Автоматически удалять фон с помощью AI-инструментов Использовать дополнительные ракурсы (вид сбоку, сверху). Добавлять направляющие элементы или поддерживающие структуры. Дорабатывать модель вручную в 3D-редакторе
Генерация 3 d компонентов. Зачем нужны анимации в 3D? Визуализация объектов – помогает лучше понять форму и структуру Презентации и демонстрации – привлекает внимание и упрощает восприятие Игры, AR/VR, интерфейсы – создаёт интерактивный опыт
Повороты ( Rotation ) Вращение модели вокруг оси (360° обзор) Используется в интернет-магазинах, презентациях, VR/AR Приближение (Zoom- in, Zoom- out ) Позволяет рассмотреть детали объекта Применяется в 3D-визуализациях, архитектуре, промышленном дизайне Разрез ( Cutaway View, Section View) Визуализация внутренней структуры объекта Часто используется в медицине, инженерии, учебных материалах Морфинг ( Morphing ) Плавное изменение формы объекта Полезно в анимации персонажей и сложных механических деталей Динамическое движение Открытие, раскрытие, анимация частей модели Применяется в дизайне техники, демонстрации сборки-разборки объектов Основные виды анимации 3 D- моделей Генерация 3 d компонентов.
Генерация 3 d компонентов. Поворот объекта Изменение размера объекта Ссылка: https://app.vectary.com
Генерация 3 d компонентов. WebGL и интерактивные модели Позволяют вращать, масштабировать, изменять части модели в реальном времени Используются в онлайн-галереях, обучающих курсах, инженерных проектах Инструменты: Three.js, Babylon.js, Verge3D AR/VR интеграция Позволяет погружаться в 3D-мир и взаимодействовать с объектами Используется в дизайне интерьеров, медицинской визуализации, играх Поддержка в Meta Quest, Hololens, WebXR 3D-анимация в мобильных приложениях Интерактивные модели в приложениях для дизайна, e- commerce, рекламы Поддержка через ARKit (Apple), ARCore (Google), Unity, Unreal Engine
Генерация 3 d компонентов. Как 3D-модели используются вне цифровой среды? 3D-печать (прототипирование, производство, медицина) VR/AR-приложения (виртуальная реальность, игры, дизайн) Инженерия и архитектура (визуализация проектов) Реклама и маркетинг (создание реалистичных визуализаций)
1. Генерация 3D-модели Использование нейросетей, таких как Hyper3D Преобразование 2D-изображений или видео в 3D 2. Экспорт в формат, совместимый с 3D-принтерами Чаще всего STL, OBJ, 3MF Оптимизация сетки для минимизации ошибок 3. Загрузка в софт для подготовки к печати Curve (или аналогичные слайсеры, такие как Ultimaker Cura, PrusaSlicer, Chitubox ) Анализ структуры модели: толщина стенок, поддержка, полости 4. Разбиение модели на слои ( Slicing ) Автоматическое разбиение – программа анализирует и делит модель на слои Ручное разбиение – пользователь может настроить: Параметры высоты слоев Заполнение (плотность структуры) Добавление опорных конструкций ( supports ) 5. Отправка на 3D-принтер Выбор материала (PLA, ABS, PETG, Resin ) Настройка температуры, скорости печати Процесс подготовки 3D-модели к печати Генерация 3 d компонентов.
Генерация 3 d компонентов. Иногда в сгенерированных 3D-моделях появляются висящие в воздухе детали. Например, при создании игрушечной машинки руль может быть отсоединён от корпуса. Почему так происходит? Нейросети усредняют форму, если нет чёткой связи между частями. Генерация может быть неточной при нехватке данных. Как бороться: Использовать дополнительные ракурсы (вид сбоку, сверху). Добавлять направляющие элементы или поддерживающие структуры. Дорабатывать модель вручную в 3D-редакторе
Генерация 3 d компонентов. Слайсер – это программа для подготовки 3D-модели к печати. Она разрезает модель на слои и генерирует G-код для 3D-принтера. Загрузка 3D-моделиФорматы:.STL,.OBJ,.3MF. Оптимизация сетки перед разрезкой 2. Настройка параметров печати Высота слоёв (чем меньше, тем детальнее) Плотность заполнения (от 10% до 100%) Температура печати (зависит от типа пластика) 3. Генерация поддержек. Если модель имеет нависающие элементы, слайсер создаёт поддержки, которые удаляются после печати. 4. Просмотр слоёв. Возможность проверить, как 3D-принтер будет печатать объект. Анализ первых слоёв и опорных структур. 5. Экспорт G-кода. После всех настроек слайсер создаёт G-код, который загружается в принтер.
Генерация 3 d компонентов. Ссылка: https://grid.space/kiri/
Генерация 3 d компонентов.
Генерация 3 d компонентов.
Генерация 3 d компонентов. Исходное изображение Картинка низкого качества (размытая, с недостатком деталей) Нейросеть использует её для создания 3D-модели Основные проблемы: Размытие и нехватка деталей → искажения в 3D Шумы → неправильная интерпретация формы
Генерация 3 d компонентов. Замеченные проблемы в модели: Потеря деталей (неровности, деформации) Ошибки в геометрии (неправильные пропорции, висящие части)
Генерация 3 d компонентов. Вывод: Плохое исходное изображение → ошибки в 3D-модели → плохое качество печати Нужны чёткие, детализированные изображения для лучшей 3D-генерации Рекомендации: Использовать изображения высокого качества (без шумов, хорошее освещение) Проверять и редактировать 3D-модель перед печатью Применять ручную доработку в Blender или Meshmixer
Благодарю за внимание.
