courses:spatial_ai
Пространственный искусственный интеллект
Общая информация
- В 2024 практическая часть будет описана здесь
Важно! в 2024 году алгоритм выставления оценок по Пространственному ИИ будет на странице по дисциплине «Нейронные сети в компьютерном зрении»(ссылка).
Все актуальные дедлайны написаны в разделе Компьютерное Зрение
Все что ниже не относится к курсу 2024 года
Практика 2022 (не актуально)
Общая идея - строим модели / облака точек по датасетам с дронов (через OpenDroneMap) и анализируем / обрабатываем результат.
Инструменты:
- https://github.com/OpenDroneMap/ODM - инструмент для построения облаков / моделей и их привязки по координатам
- https://github.com/OpenDroneMap/ODMdata - датасеты
- https://github.com/leomariga/pyRANSAC-3D - поиск объектов
Общая постановка задачи:
- Создайте программу, которая для указанного датасета выполняет последовательно несколько операций (перечислены ниже в списке вариантов).
- Работа программы обернута в Docker.
- Результат загружаем отдельной веткой и PR в репозиторий.
- Промежуточные и итоговые модели / облака точек загрузите на https://sketchfab.com
- Примеры работы вашего задания, инструкцию по запуску и иллюстрации работы каждого из этапов необходим собрать в отчет (docx/odt + pdf)
Варианты заданий.
| Номер | Датасет | Что делать с датасетом | Как обработать результаты |
|---|---|---|---|
| 1 | boruszyn | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать и вычислить площадь отверстий в модели Зашить отверстия Используя данные геопривязки, перетекстурировать модель (цвета полигонов пропорциональны их высоте над уровнем моря, от зеленого до красного) Загрубить области полигонов, где модель ниже определенной высоты |
| 2 | seneca | Построить облако точек и 3d модель, сделать привязку к координатам | Загрубить все области, которые не являются полями (использовать данные по текстурам) Посчитать площадь полей С помощью RANSAC идентифицировать дороги Зашить край модели |
| 3 | aukerman | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Идентифицировать лес, посчитать его объем Зашить край модели Построить маршрут облета вокруг леса так, чтобы воображаемый дрон сумел достаточно подробно его сфотографировать |
| 4 | caliterra | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Идентифицировать через RANSAC все тюки Идентифицировать деревья Реализовать вычисление площади всех областей, которые лежат ниже определенной высоты |
| 5 | sance | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Загрубить модель Идентифицировать ров Вычислить длину и объем рва |
| 6 | toledo | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать деревья Идентифицировать дома Идентифицировать дороги Посчитать объемы домов и деревьев |
| 7 | https://github.com/OpenDroneMap/odm_data_copr/tree/master | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия, Загрубить модель, Зашумить модель, Перетекститурировать модель (цвет пропорционален площади полигона) |