====== Пространственный искусственный интеллект ======
===== Общая информация =====
* [[https://docs.google.com/spreadsheets/d/1jIyijVOxg-P6qQe0fT-0a-zfNXJtYo-YrHPR4SjiV_E/edit#gid=0|Таблица успехов]]
* [[https://drive.google.com/drive/folders/1sfFbpPmzOVJlzlfpXZMbThqLkfO7m7aT|Лекции]]
* [[https://www.youtube.com/playlist?list=PLplYTvoIyfoqBKhjD316ncDHxs-2jnlNT|Записи лекций 2023]]
* [[https://www.youtube.com/playlist?list=PLplYTvoIyforO_GC4wJWgx-_Arkf6SSSU|Записи лекций 2022]]
* [[https://www.youtube.com/playlist?list=PLplYTvoIyfool4oRmF3wRj21SnoFT-oi2|Записи лекций 2021]]
===== Практика =====
Общая идея - строим модели / облака точек по датасетам с дронов (через OpenDroneMap) и анализируем / обрабатываем результат.
Инструменты:
* https://github.com/OpenDroneMap/ODM - инструмент для построения облаков / моделей и их привязки по координатам
* https://github.com/OpenDroneMap/ODMdata - датасеты
* https://github.com/leomariga/pyRANSAC-3D - поиск объектов
Общая постановка задачи:
- Создайте программу, которая для указанного датасета выполняет последовательно несколько операций (перечислены ниже в списке вариантов).
- Работа программы обернута в Docker.
- Результат загружаем отдельной веткой и PR в репозиторий.
- Промежуточные и итоговые модели / облака точек загрузите на https://sketchfab.com
- Примеры работы вашего задания, инструкцию по запуску и иллюстрации работы каждого из этапов необходим собрать в отчет (docx/odt + pdf)
Варианты заданий.
^ Номер ^ Датасет | **Что делать с датасетом** | **Как обработать результаты** |
| 1 | boruszyn | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать и вычислить площадь отверстий в модели\\ Зашить отверстия\\ Используя данные геопривязки, перетекстурировать модель (цвета полигонов пропорциональны их высоте над уровнем моря, от зеленого до красного)\\ Загрубить области полигонов, где модель ниже определенной высоты |
| 2 | seneca | Построить облако точек и 3d модель, сделать привязку к координатам | Загрубить все области, которые не являются полями (использовать данные по текстурам)\\ Посчитать площадь полей\\ С помощью RANSAC идентифицировать дороги\\ Зашить край модели |
| 3 | aukerman | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия\\ Идентифицировать лес, посчитать его объем\\ Зашить край модели\\ Построить маршрут облета вокруг леса так, чтобы воображаемый дрон сумел достаточно подробно его сфотографировать |
| 4 | caliterra | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия\\ Идентифицировать через RANSAC все тюки\\ Идентифицировать деревья\\ Реализовать вычисление площади всех областей, которые лежат ниже определенной высоты |
| 5 | sance | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия\\ Загрубить модель\\ Идентифицировать ров\\ Вычислить длину и объем рва |
| 6 | toledo | Построить облако точек и 3d модель, сделать привязку к координатам | Идентифицировать деревья\\ Идентифицировать дома\\ Идентифицировать дороги\\ Посчитать объемы домов и деревьев |
| 7 | https://github.com/OpenDroneMap/odm_data_copr/tree/master | Построить облако точек и 3d модель, сделать привязку к координатам | Зашить отверстия, Загрубить модель, Зашумить модель, Перетекститурировать модель (цвет пропорционален площади полигона) |
===== Оценка =====
Балльная система 0-10 баллов.
Важно! в 2023 году оценка по Пространственному ИИ будет считаться оценка за проект по предмету "Нейронные сети в компьютерном зрении"([[https://se.moevm.info/doku.php/courses:cvai|ссылка]])
Задание оценивается следующим образом:
* 2 балла Создан корректный PR, есть dockerfile, отчет
* 2 балла Приложение запускается через докер, выполняет построение облака точек и 3d-модели
* 2 балла Выполнена половина заданий из "Обработки результатов"
* 2 балла Выполнена вторая половина заданий из "Обработки результатов"
* 2 балла Решение "Обработки результатов" сделано в обобщенной форме (минимальный хардкод)
Всем, кто выполнить первые два пункта из списка выше до 01.12.2023, +1 балл к рейтингу
Дедлайн последней отправки - 10:00 по Москве 20.12.2023. Всем, кто присылает позднее -1 балл к рейтингу
В 2023 актуальные дедлайны написаны в разделе [[https://se.moevm.info/doku.php/courses:cvai|Компьютерное Зрение]]
Критерии выставления оценок
* Отлично >= 9 баллов
* Хорошо >= 7 баллов
* Удовлетворительно >= 5 баллов