Совместная работа инженера компании Яндекс, ученых из Центра искусственного интеллекта Сколтеха и Санкт-Петербургского государственного университета аэрокосмического приборостроения привела к созданию самого большого в мире открытого набора данных PackEat. Этот ресурс предназначен для решения задач компьютерного зрения в сфере розничной торговли, в частности для обучения алгоритмов умных кассовых систем и автоматического учета весовых товаров.

Особенностью нового датасета является то, что он учитывает реальные условия работы в супермаркетах. Изображения собраны с учетом таких факторов, как полиэтиленовые упаковки, частичное перекрытие объектов друг другом и сложный фон торговых прилавков. В набор вошли снимки тридцати четырех видов и шестидесяти пяти сортов фруктов и овощей, которые обычно можно встретить в магазинах. Общее количество изображений превышает сто тысяч, на них представлено более трехсот семидесяти тысяч отдельных объектов.

Примерно девять тысяч снимков имеют детальную аннотацию: для каждого указано точное количество товарных единиц и общий вес упаковки. Такая разметка позволяет решать ключевые для ритейла задачи — точно идентифицировать виды и сорта продукции, корректно выделять каждый объект даже при их пересечении и автоматически подсчитывать количество продуктов.

Проблема ручной идентификации весовых товаров до сих пор остается одной из причин финансовых потерь в торговых сетях. Современные нейронные сети способны достигать точности распознавания до девяноста двух процентов, однако для их эффективного обучения требуются качественные и реалистичные данные. Набор PackEat восполняет этот дефицит и может существенно повысить надежность автоматизированных систем учета.

Описание датасета было опубликовано в научном журнале Scientific Data. Сам набор изображений, а также программный код и примеры моделей находятся в открытом доступе. Это дает возможность разработчикам и исследователям сразу применять их в своих проектах и сравнивать полученные результаты. Ключевой вклад в создание PackEat внесли специалисты из Yandex Cloud и Центра искусственного интеллекта Сколтеха. По словам авторов, новый ресурс станет важной основой для развития надежных и масштабируемых систем компьютерного зрения в розничной торговле.