Создана камера, превращающая фотографии в детские рисунки

Источник материала:

Австралийский инженер Дэн Макниш (Dan Macnish) создал камеру, которая превращает снятый кадр в набросок и сразу же печатает его на бумаге. Алгоритм камеры распознает объекты в кадре, а затем ищет найденные объекты в базе данных Google Quick, Draw!, состоящей из миллионов набросков, созданных добровольцами. Об этом со ссылкой на сайт разработчика пишет N+1.

В 2016 году компания Google запустила экспериментальный сервис Quick, Draw!, на котором пользователям предлагается сделать простой рисунок объекта, например, нарисовать кошку, а алгоритм машинного обучения пытается распознать, что именно нарисовал человек.

С помощью этого сервиса компания накопила огромный набор данных, позволяющий обучать алгоритмы сопоставлять рисунки людей с объектами реального мира. Google не только стала использовать эти данные в своих сервисах, но и открыла их для других специалистов в области машинного обучения, опубликовав их на GitHub. База данных состоит из 50 миллионов рисунков, классифицированных по 345 категориям.

Инженер из Мельбурна Дэн Макниш (Dan Macnish) использовал эту базу в своем проекте в обратном виде — он научил алгоритм не распознавать объекты реального мира в набросках, а наоборот — превращать реальный мир в рисунки.

В основе созданной системы лежат натренированные нейросетевые модели. Они распознают объекты в кадре и относят их к соответствующей категории. После этого алгоритм соотносит эти объекты с категориями из Quick, Draw! и составляет изображение, состоящее из набросков соответствующих предметов, расположенных подобно тому, как располагаются объекты на исходном кадре с камеры.

Для создания камеры разработчик использовал миниатюрный компьютер Raspberry Pi 3, модуль Raspberry Pi Camera Module V2, термопринтер, кнопку затвора и светодиод, помещенные в картонный корпус. После нажатия кнопки светодиод загорается на 2−3 секунды, запечатляются необходимые для обработки изображения, после чего принтер печатает черно-белую рисованную интерпретацию того, что алгоритм увидел в кадре.

Смотрите, сколько у нас стоят обычные фотоаппараты: