courses:spatial_ai
Содержание
Пространственный искусственный интеллект
Общая информация
Практика 2024
В 2024 практическая часть будет описана здесь
Оценка
Балльная система 0-10 баллов.
Важно! в 2024 году алгоритм выставления оценок по Пространственному ИИ будет на странице по дисциплине «Нейронные сети в компьютерном зрении»(ссылка)
Задание оценивается следующим образом:
- 2 балла Создан корректный PR, есть dockerfile, отчет
- 2 балла Приложение запускается через докер, выполняет построение облака точек и 3d-модели
- 2 балла Выполнена половина заданий из «Обработки результатов»
- 2 балла Выполнена вторая половина заданий из «Обработки результатов»
- 2 балла Решение «Обработки результатов» сделано в обобщенной форме (минимальный хардкод)
Всем, кто выполнить первые два пункта из списка выше до 01.12.2023, +1 балл к рейтингу
Дедлайн последней отправки - 10:00 по Москве 20.12.2023. Всем, кто присылает позднее -1 балл к рейтингу
В 2024 актуальные дедлайны написаны в разделе Компьютерное Зрение
Критерии выставления оценок
- Отлично >= 9 баллов
- Хорошо >= 7 баллов
- Удовлетворительно >= 5 баллов
Практика 2022 (не актуально)
Общая идея - строим модели / облака точек по датасетам с дронов (через OpenDroneMap) и анализируем / обрабатываем результат.
Инструменты:
- https://github.com/OpenDroneMap/ODM - инструмент для построения облаков / моделей и их привязки по координатам
- https://github.com/OpenDroneMap/ODMdata - датасеты
- https://github.com/leomariga/pyRANSAC-3D - поиск объектов
Общая постановка задачи:
- Создайте программу, которая для указанного датасета выполняет последовательно несколько операций (перечислены ниже в списке вариантов).
- Работа программы обернута в Docker.
- Результат загружаем отдельной веткой и PR в репозиторий.
- Промежуточные и итоговые модели / облака точек загрузите на https://sketchfab.com
- Примеры работы вашего задания, инструкцию по запуску и иллюстрации работы каждого из этапов необходим собрать в отчет (docx/odt + pdf)
Варианты заданий.
Номер | Датасет | Что делать с датасетом | Как обработать результаты |
---|---|---|---|
1 | boruszyn | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать и вычислить площадь отверстий в модели Зашить отверстия Используя данные геопривязки, перетекстурировать модель (цвета полигонов пропорциональны их высоте над уровнем моря, от зеленого до красного) Загрубить области полигонов, где модель ниже определенной высоты |
2 | seneca | Построить облако точек и 3d модель, сделать привязку к координатам | Загрубить все области, которые не являются полями (использовать данные по текстурам) Посчитать площадь полей С помощью RANSAC идентифицировать дороги Зашить край модели |
3 | aukerman | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Идентифицировать лес, посчитать его объем Зашить край модели Построить маршрут облета вокруг леса так, чтобы воображаемый дрон сумел достаточно подробно его сфотографировать |
4 | caliterra | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Идентифицировать через RANSAC все тюки Идентифицировать деревья Реализовать вычисление площади всех областей, которые лежат ниже определенной высоты |
5 | sance | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия Загрубить модель Идентифицировать ров Вычислить длину и объем рва |
6 | toledo | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать деревья Идентифицировать дома Идентифицировать дороги Посчитать объемы домов и деревьев |
7 | https://github.com/OpenDroneMap/odm_data_copr/tree/master | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия, Загрубить модель, Зашумить модель, Перетекститурировать модель (цвет пропорционален площади полигона) |