Пространственный искусственный интеллект

Общая информация

Лекции

Записи лекций 2022

Записи лекций 2021

Практика

Общая идея - строим модели / облака точек по датасетам с дронов (через OpenDroneMap) и анализируем / обрабатываем результат.

Инструменты:

https://github.com/OpenDroneMap/ODM - инструмент для построения облаков / моделей и их привязки по координатам

https://github.com/OpenDroneMap/ODMdata - датасеты

https://github.com/leomariga/pyRANSAC-3D - поиск объектов

Общая постановка задачи:

Создайте программу, которая для указанного датасета выполняет последовательно несколько операций (перечислены ниже в списке вариантов).

Работа программы обернута в Docker.

Результат загружаем отдельной веткой и PR в репозиторий.

Промежуточные и итоговые модели / облака точек загрузите на https://sketchfab.com

Примеры работы вашего задания, инструкцию по запуску и иллюстрации работы каждого из этапов необходим собрать в отчет (docx/odt + pdf)

Варианты заданий.

Номер	Для кого	Датасет	Что делать с датасетом	Как обработать результаты
1	Индивидуально	banana	Построить облако точек и 3d модель	Сделать параметризованное загрубление модели (понизить количество полигонов в зависимости от значения параметра - степени) Зашить отверстия в подставке и бананах, обрезать подставку Сделать зашумление подставки Вычислить объем бананов
2	Индивидуально	Conch	Построить облако точек и 3d модель	Зашить отверстия в модели Перетекстурировать модель (цвета полигонов пропорциональны их относительному размеру, от зеленого до красного) Сделать модуль, который по модели находит все полигоны размером больше Н, группирует и находит координаты + id всех снимков, между которыми находятся эти проблемные участки Зашумить модель
3	Индивидуально	boruszyn	Построить облако точек и 3d модель, сделать привязку к координатам	Идентифицировать и вычислить площадь отверстий в модели Зашить отверстия Используя данные геопривязки, перетекстурировать модель (цвета полигонов пропорциональны их высоте над уровнем моря, от зеленого до красного) Загрубить области полигонов, где модель ниже определенной высоты
4	Индивидуально	seneca	Построить облако точек и 3d модель, сделать привязку к координатам	Загрубить все области, которые не являются полями (использовать данные по текстурам) Посчитать площадь полей С помощью RANSAC идентифицировать дороги Зашить край модели
5	Группа	aukerman	Построить облако точек и 3d модель, сделать привязку к координатам	Зашить отверстия Идентифицировать лес, посчитать его объем Зашить край модели Построить маршрут облета вокруг леса так, чтобы воображаемый дрон сумел достаточно подробно его сфотографировать
6	Группа	caliterra	Построить облако точек и 3d модель, сделать привязку к координатам	Зашить отверстия Идентифицировать через RANSAC все тюки Идентифицировать деревья Реализовать вычисление площади всех областей, которые лежат ниже определенной высоты
7	Группа	sance	Построить облако точек и 3d модель, сделать привязку к координатам	Зашить отверстия Загрубить модель Идентифицировать ров Вычислить длину и объем рва
8	Группа	toledo	Построить облако точек и 3d модель, сделать привязку к координатам	Идентифицировать деревья Идентифицировать дома Идентифицировать дороги Посчитать объемы домов и деревьев

Оценка

Балльная система 0-10 баллов.

Задание оценивается следующим образом:

2 балла Создан корректный PR, есть dockerfile, отчет

2 балла Приложение запускается через докер, выполняет построение облака точек и 3d-модели

2 балла Выполнена половина заданий из “Обработки результатов”

2 балла Выполнена вторая половина заданий из “Обработки результатов”

2 балла Решение “Обработки результатов” сделано в обобщенной форме (минимальный хардкод)

Всем, кто выполнить первые два пункта из списка выше до 01.12.2022, +1 балл к рейтингу

Дедлайн последней отправки - 10:00 по Москве 20.12.2022. Всем, кто присылает позднее -1 балл к рейтингу

Критерии выставления оценок

Отлично >= 9 баллов

Хорошо >= 7 баллов

Удовлетворительно >= 4 баллов