Арт Регистратор. AI распознает картины.

Разработали умную систему, которая узнает произведения искусства на фотографиях.

United Kingdom Creative Ideas Ltd. (UKCI) — международная компания со штаб-квартирой в Лондоне. Они регистраторы и владельцы доменной зоны .art — это их главный проект. Параллельно они развивают сервисы для художников и коллекционеров и делают искусство технологичным.

UKCI обратились к нам, чтобы разработать технологию по оценке объектов искусства через смартфон. Идея такая: пользователь делает снимок картины — а программа понимает, кто ее автор и когда она написана.

Задачи

Разработать алгоритм, который сопоставит картину с фотографии и ее оригинал из каталога музея The Metropolitan (он же The Met).
Оценить качество поиска по каталогу, найти основные проблемы и сформировать план по их решению.

Решение

1. Собрали данные

Для этого мы интегрировались с датасетом MetObjects. Это хранилище данных музея The Met, в котором описано примерно 470 000 объектов искусства.

2. Проанализировали их

Теперь наша система за 2 секунды выдает характеристику картины: ее автора, век и название.

Система ищет картины 2 способами:

Способ 1.

Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.

Способ 2.

Тоже по ключевым словам, но в датасете MetObjects.

ID картин, найденных этими способами, объединили. Всего так нашли около 25 000 объектов.

Как это работает?

Мы опробовали несколько алгоритмов распознавания и сбора изображений. Первый из них — эмбедеры.

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели, обычно берется последний полносвязный слой для представления изображения в виде числового вектора длины n.

SIFT и алгоритмы классического компьютерного зрения

Мы протестировали классические архитектуры классификаторов на основе ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace, который позволяет на этапе обучения максимизировать расстояние между эмбедингами или векторами объектов разных классов.

Также в процессе обучения были использованы различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.

Как только общие точки между двумя изображениями найдены, к ним можно применить специальные тесты, чтобы отфильтровать шумовые общие точки. По количеству найденных общих точек между двумя изображениями можно судить о том, насколько эти изображения похожи.

Пайплайн

Детекция картин на фото

Для обучения такого детектора собрали обучающую выборку, состоящую  из 367 фотографий музеев, а также провели разметку картин и рисунков на этих фотографиях.

Тестирование

Детектор и пайплайн мы тестировали на выборках, на которых проверяли эмбедеры. Но возникла сложность: во время тестов на фотографиях была только одна картина. А в реальной жизни в кадр могут попасть и соседние. Чтобы убедиться, что детектор работает, мы решили научить его узнавать и их.

Сбор информации по выделенным детектором картин

Когда детектор выделил все интересующие нас картины на фотографии, система ищет их в базе. Здесь возникает нюанс: мы используем расширенную валидацию, в которой кроме основных картин есть дополнительные, расположенные рядом с основными.

Но для большинства таких дополнительных картин у нас нет разметки на класс. Иными словам, в нашей базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача — расширить каталог.

Расширение каталога

Мы рассматриваем несколько способ расширения каталога. Наиболее простой из них — работа с датасетом Wikiart.

Изначально он состоял из 81 000 картин, разбитых по стилям. В названии изображение только имя художника и название картины.

Результаты

Алгоритм матчинга стал работать не только с фотографиями картин, но и с фотографиями рисунков.
Был выстроен рабочий пайплайн от детекции картин и рисунков на фотографиях до их матчинга.
Каталог вырос до 90 000 картин и рисунков, а пайплайн работает с глобальным поиском и показывает хорошие результаты.

Используемые технологии

MetObjects
ResNet50
MobileNe
ArcFace
CenterNet

Награды

2022 Теглайн

Лучшее приложение для искусства
2022 Теглайн

Лучший мобильный сервис

Технология распознавания предметов искусства «АртРегистратор»