Как Nutrola использует компьютерное зрение и ИИ для распознавания более 130,000 продуктов

Проблема: Почему распознавание еды — одна из самых сложных задач для ИИ

Распознавание еды по фотографиям кажется простым. Люди делают это без усилий. Но для систем компьютерного зрения распознавание еды является одной из самых технически сложных задач визуальной классификации, значительно более трудной, чем распознавание лиц, автомобилей или рукописного текста.

Причины этого достаточно поучительны:

• Экстремальная вариативность внутри класса. "Салат" может выглядеть по-разному. Цезарь, греческий, фруктовый салат и деконструированный Нисуаз имеют одно название, но почти не имеют визуального сходства.
• Высокая схожесть между классами. Пюре и хумус могут выглядеть почти идентично на фото. То же самое касается некоторых супов и смузи. Белый рис и цветная капуста визуально неразличимы под определёнными углами.
• Деформация и смешивание. В отличие от жестких объектов, еда нарезается, готовится, смешивается, укладывается и подается в бесконечных комбинациях. Буррито, ролл и энчилада могут содержать идентичные ингредиенты, но в разных структурных конфигурациях.
• Зависимость от культурного контекста. Один и тот же визуальный образ может представлять разные блюда в разных кухнях. Круглый плоский хлеб может быть тортильей, роти, пита, блинчиком или шведским туннбредом, каждый из которых имеет разные питательные профили.
• Частичное перекрытие. Продукты на тарелке накладываются друг на друга, соусы скрывают ингредиенты, а гарниры прячут то, что находится под ними.

Эти сложности объясняют, почему распознавание еды отставало от других приложений компьютерного зрения на протяжении многих лет. Это также объясняет, почему для его решения потребовался принципиально другой подход, чем для традиционной классификации изображений.

Основы: Свёрточные нейронные сети

Как CNN обрабатывают изображения еды

В основе современного распознавания еды лежит свёрточная нейронная сеть (CNN) — класс архитектуры глубокого обучения, специально разработанный для обработки визуальных данных. CNN анализирует изображение через серию иерархических слоёв извлечения признаков:

Слои 1-3 (низкоуровневые признаки): Сеть определяет края, цвета и простые текстуры. На этом этапе она может обнаружить круглый край тарелки, коричневый цвет приготовленного мяса или зернистую текстуру риса.

Слои 4-8 (среднеуровневые признаки): Эти слои комбинируют низкоуровневые признаки в более сложные паттерны: мраморный узор жареного стейка, слоистую структуру сэндвича, блестящую поверхность соуса или волокнистую текстуру тертой курицы.

Слои 9-15+ (высокоуровневые признаки): Самые глубокие слои собирают среднеуровневые паттерны в специфические для еды представления. Сеть обучается, что определённая комбинация текстур, цветов, форм и пространственных расположений соответствует "пад тай", "пицца маргарита" или "курица тикка масала".

Эволюция архитектуры

Архитектуры, используемые для распознавания еды, значительно эволюционировали за последнее десятилетие:

Архитектура	Год	Ключевое новшество	Точность распознавания еды
AlexNet	2012	Доказал жизнеспособность глубоких CNN	~55% top-1 на Food-101
VGGNet	2014	Более глубокие сети с маленькими фильтрами	~72% top-1 на Food-101
GoogLeNet/Inception	2014	Многоуровневое извлечение признаков	~78% top-1 на Food-101
ResNet	2015	Пропускные соединения, позволяющие создавать более глубокие сети	~85% top-1 на Food-101
EfficientNet	2019	Комплексное масштабирование глубины/ширины/разрешения	~91% top-1 на Food-101
Vision Transformers (ViT)	2020	Механизмы внимания для глобального контекста	~93% top-1 на Food-101
Современные гибридные архитектуры	2023-2025	Слияние CNN и трансформеров с учетом регионального внимания	~96%+ top-1 на расширенных наборах данных

Бенчмарк Food-101 (101 категория еды, 101,000 изображений) на протяжении многих лет был стандартным набором данных для оценки. Современные системы, такие как Nutrola, работают на значительно более крупном масштабе, распознавая более 130,000 продуктов, что требует обучающих парадигм, выходящих за рамки академических стандартов.

Многокомпонентное обнаружение: Видеть всё на тарелке

За пределами классификации одного продукта

Ранние системы распознавания еды могли идентифицировать только один продукт на изображении. Фото тарелки с рисом, карри и нааном классифицировалось как один из этих трёх элементов, игнорируя остальные. Настоящие блюда не так просты.

Многокомпонентное обнаружение требует другого архитектурного подхода. Вместо того чтобы классифицировать всё изображение как одну категорию, система должна:

1. Обнаружить области интереса (где находятся отдельные продукты на изображении?)
2. Сегментировать эти области (где заканчивается рис и начинается карри?)
3. Классифицировать каждую область независимо (эта область — рис, это — куриное карри, это — наан)
4. Обрабатывать перекрывающиеся элементы (соус карри на рисе является частью карри, а не отдельным элементом)

Объектные детекторы для еды

Современное многокомпонентное распознавание еды строится на объектах детекции, изначально разработанных для общих задач компьютерного зрения:

• Региональные подходы (основанные на Faster R-CNN) генерируют кандидаты на регионы и классифицируют каждый из них. Они точны, но вычислительно затратны.
• Одноразовые подходы (основанные на YOLO и SSD) предсказывают ограничивающие рамки и классификации за один проход, что позволяет осуществлять детекцию в реальном времени на мобильных устройствах.
• Семантические сегментационные подходы (основанные на U-Net и Mask R-CNN) генерируют карты еды на уровне пикселей, обеспечивая точные границы между элементами.

Система Snap & Track Nutrola использует гибридный подход, оптимизированный для мобильного анализа. Процесс работает эффективно на устройстве для начального обнаружения, с серверной обработкой для сложных сцен или неоднозначных элементов. Это обеспечивает быструю работу для пользователя, обычно менее двух секунд от момента захвата фото до получения разбивки по питательным веществам, при этом сохраняя высокую точность.

Обработка сложных структур блюд

Некоторые блюда представляют собой структурные задачи, которые простое обнаружение не может решить:

• Слоистые продукты (лазаньи, сэндвичи, буррито): Система должна выводить внутренние ингредиенты из видимых внешних признаков и контекстуальных знаний.
• Смешанные блюда (жаркое, рагу, запеканки): Индивидуальные ингредиенты объединяются в одну визуальную массу. Система использует анализ текстуры, распределение цветов и контекстуальные предположения для оценки состава.
• Деконструированные презентации (блюда в мисках, бенто-боксы, тапас): Несколько небольших элементов в отдельных compartments требуют индивидуального обнаружения и классификации.
• Напитки рядом с едой: Различение между стаканом апельсинового сока, манговым смузи и тайским чаем требует анализа цвета, непрозрачности, типа контейнера и контекста.

Данные для обучения: Основа качества распознавания

Требования к объему и разнообразию

Система распознавания еды хороша только настолько, насколько хороши данные, на которых она была обучена. Создание модели, распознающей более 130,000 продуктов из более чем 50 стран, требует обучающего набора данных исключительного объема и разнообразия.

Ключевые аспекты качества обучающих данных:

Объем: Современные модели распознавания еды требуют миллионов размеченных изображений продуктов. Каждая категория еды нуждается в сотнях или тысячах примеров, показывающих разные способы приготовления, презентации, условия освещения, углы и размеры порций.

Разнообразие: "Куриная грудка", сфотографированная на японской кухне, выглядит иначе, чем в бразильской, и отличается от той, что в нигерийской кухне. Обучающие данные должны отражать это разнообразие, иначе модель не справится с кухнями, которые она не видела.

Точность меток: Каждое изображение должно быть правильно размечено с конкретным продуктом, а не только общей категорией. "Жареный лосось с терияки" питательно отличается от "жареного лосося с лимонным маслом", и обучающие метки должны фиксировать это различие.

Вариация порций: Один и тот же продукт, сфотографированный в порции 100 г и 300 г, должен быть представлен в обучающих данных, чтобы модель могла научиться оценивать количество, а не только идентифицировать.

Стратегии увеличения данных

Сбор сырых данных не может охватить каждую возможную презентацию каждого продукта. Техники увеличения данных расширяют эффективный обучающий набор:

• Геометрические трансформации: Повороты, перевороты и масштабирование изображений, чтобы модель могла распознавать еду независимо от ориентации тарелки.
• Вариации цвета и освещения: Настройка яркости, контрастности и баланса белого для имитации разных условий освещения (освещение ресторана, флуоресцентные кухонные лампы, естественный свет на улице, вспышка).
• Синтетическое перекрытие: Случайное маскирование частей изображений еды, чтобы обучить модель распознавать элементы, даже когда они частично скрыты.
• Передача стиля: Генерация синтетических изображений, которые сохраняют идентичность еды, меняя фон, стиль подачи и посуду.

Непрерывное обучение на основе пользовательских данных

С более чем 2 миллионами активных пользователей, ежедневно фиксирующих свои приёмы пищи, система Nutrola получает выгоду от непрерывной обратной связи. Когда пользователь исправляет неверно идентифицированный продукт, это исправление становится сигналом для обучения. Со временем это пользовательское уточнение решает крайние случаи и региональные вариации продуктов, которые никакой первоначальный обучающий набор данных не мог бы полностью предсказать.

Это особенно ценно для:

• Региональных блюд, которые могут не появляться в академических наборах данных о еде
• Новых кулинарных трендов (новые продукты, фьюжн-кухни, вирусные рецепты)
• Продуктов конкретных брендов, где упаковка и презентация меняются в зависимости от региональных рынков
• Домашних блюд, которые выглядят иначе, чем ресторанные презентации

Оценка порций: Более сложная задача

Почему оценка порций важнее, чем идентификация

Правильное распознавание продукта — это лишь половина задачи. Питательное различие между порцией пасты в 100 г и 250 г составляет 230 калорий, что может сыграть решающую роль в диете. Оценка порции по одной фотографии — это, во многих отношениях, более сложная техническая задача.

Оценка глубины и объёма

2D-фотография не содержит информации о глубине, необходимой для прямого измерения объёма еды. Система должна выводить трёхмерные свойства из двумерных подсказок:

• Объекты-ссылки: Тарелки, миски, столовые приборы и руки в кадре служат масштабными ориентирами. Стандартная обеденная тарелка (примерно 26 см в диаметре) служит основой для оценки размера всего, что на ней.
• Геометрия перспективы: Угол, под которым сделано фото, влияет на видимый размер. Тарелка, сфотографированная прямо сверху, выглядит иначе, чем та, что снята под углом 45 градусов. Система оценивает угол камеры и корректирует искажения перспективы.
• Модели плотности для конкретных продуктов: Один и тот же объём салата и стейка имеет совершенно разные веса и калорийность. Система применяет предположения о плотности для конкретных продуктов, чтобы преобразовать оцененный объём в оцененный вес.
• Изученные распределения порций: Статистические предположения из миллионов зафиксированных приёмов пищи информируют о ожидаемых размерах порций. Если модель обнаруживает "миску овсянки", она знает, что средняя порция составляет примерно 250 г и использует это предположение для ограничения своей оценки.

Бенчмарки точности

Насколько точна оценка порций на основе ИИ? Исследовательские бенчмарки предоставляют контекст:

Метод	Средняя ошибка (% от истинного веса)
Визуальная оценка человеком (необученный)	40-60%
Визуальная оценка человеком (обученный диетолог)	15-25%
Оценка по одному изображению ИИ (2020 год)	20-30%
Оценка по одному изображению ИИ (текущий уровень, 2025 год)	10-20%
Оценка ИИ с объектом-ссылкой	8-15%
Измерение взвешенной еды (золотой стандарт)	<1%

Современные системы ИИ не могут соперничать с весами для еды, но они последовательно превосходят необученные визуальные оценки людей и приближаются к точности обученных диетологов. Для подавляющего большинства случаев отслеживания этот уровень точности достаточен для получения значимых диетических инсайтов.

Слой нутриционной карты

От визуальной идентификации к питательным данным

Идентификация "жареной куриной грудки" на фото полезна только в том случае, если эта идентификация сопоставляется с точными питательными данными. Здесь база данных Nutrola, проверенная на 100% диетологами, становится незаменимой.

Слой сопоставления соединяет каждую визуальную классификацию с конкретной записью в базе данных, содержащей:

• Разбивку макронутриентов (калории, белки, углеводы, жиры)
• Профиль микронутриентов (витамины, минералы)
• Вариации размеров порций
• Корректировки в зависимости от метода приготовления (жареная куриная грудка имеет значительно другой уровень жира, чем запечённая)
• Региональные и брендовые вариации

Это сопоставление не является простой таблицей поиска. Система учитывает:

• Обнаружение метода приготовления: Визуальные подсказки (подрумянивание, блеск масла, следы от гриля) помогают определить, была ли еда жареной, запечённой или приготовленной на пару, каждая из которых изменяет питательный профиль.
• Оценка соусов и добавок: Видимые соусы, заправки, сыры и топпинги идентифицируются, и их питательные вклады добавляются к базовому продукту.
• Оценка составных блюд: Для смешанных блюд, где точные рецепты неизвестны, система использует статистические модели типичных составов для оценки макро- и микронутриентного содержания.

Разница в верификации

Многие системы распознавания еды сопоставляют с непроверенными, сгенерированными пользователями базами данных о питательных веществах. Это приводит к накоплению ошибок: даже если визуальная идентификация верна, питательные данные, к которым она сопоставляется, могут быть неверными. Подход Nutrola, основанный на поддержании базы данных, проверенной диетологами, исключает этот второй источник ошибок, обеспечивая, чтобы правильная идентификация приводила к правильной питательной информации.

Краевые случаи и текущие вызовы

Где современные системы испытывают трудности

Прозрачность в отношении ограничений так же важна, как и подчеркивание возможностей. Современный ИИ распознавания еды, включая систему Nutrola, сталкивается с постоянными вызовами:

• Скрытые ингредиенты: Питательное содержание смузи зависит от того, что смешано внутри, что не видно на фото. Система полагается на общие модели рецептов и может запрашивать дополнительную информацию у пользователей.
• Очень похожие продукты: Различение между визуально идентичными продуктами (например, обычное пюре и пюре из цветной капусты) иногда требует подтверждения от пользователя.
• Необычные презентации: Продукты, представленные в непривычных формах, таких как молекулярная гастрономия или высокохудожественная подача, могут сбивать с толку системы детекции.
• Экстремальные условия освещения: Очень темные рестораны или резкая вспышка ухудшают качество изображения и снижают точность распознавания.
• Упакованные продукты без видимых этикеток: Завёрнутое сэндвич или запечатанный контейнер предоставляют ограниченную визуальную информацию.

Как Nutrola справляется с неопределённостью

Когда ИИ не уверен в своей идентификации, система использует несколько стратегий:

1. Топ-N предложений: Вместо того чтобы настаивать на единственной идентификации, система предлагает наиболее вероятные варианты и позволяет пользователю выбрать правильный.
2. Уточняющие вопросы: ИИ-диетолог может задавать дополнительные вопросы: "Это белый рис или рис из цветной капусты?" или "Содержит ли это соус на основе сливок или томатов?"
3. Голосовое дополнение: Пользователи могут добавить устный контекст к фото: сделать снимок и сказать "это суп из чечевицы, приготовленный по рецепту мамы с кокосовым молоком." Голосовой ввод помогает расшифровать визуальное.
4. Обучение на исправлениях: Каждое исправление пользователем улучшает будущую точность для похожих элементов.

Процессинговый поток: От фото до питания за менее чем две секунды

Вот упрощённый обзор того, что происходит, когда пользователь Nutrola делает фото еды:

Шаг 1 (0-200 мс): Предварительная обработка изображения. Фото нормализуется по размеру, ориентации и цветовой гамме. Основные проверки качества обеспечивают, чтобы изображение было пригодным для использования.

Шаг 2 (200-600 мс): Многокомпонентное обнаружение. Модель обнаружения идентифицирует регионы, содержащие отдельные продукты, и обводит каждый из них рамкой.

Шаг 3 (600-1000 мс): Классификация по регионам. Каждая обнаруженная область классифицируется по более чем 130,000 продуктам. Каждой классификации присваиваются оценки уверенности.

Шаг 4 (1000-1400 мс): Оценка порций. Объём и вес оцениваются для каждого обнаруженного элемента с использованием вывода глубины, масштабирования объектов-ссылок и моделей плотности для конкретных продуктов.

Шаг 5 (1400-1800 мс): Нутриционное сопоставление. Каждый классифицированный и порционированный элемент сопоставляется с записью в базе данных, проверенной диетологами. Применяются корректировки в зависимости от метода приготовления.

Шаг 6 (1800-2000 мс): Сбор результатов. Полная разбивка по питательным веществам собирается и представляется пользователю, с перечислением отдельных элементов и общей сводкой по блюду.

Весь процесс обычно завершается за менее чем две секунды на современных смартфонах, при этом начальное обнаружение и классификация выполняются на устройстве, а нутриционное сопоставление подключается к облачной базе данных Nutrola.

Что будет дальше: Будущее ИИ распознавания еды

Новые возможности

Область ИИ распознавания еды продолжает быстро развиваться:

• Отслеживание на основе видео, которое анализирует приёмы пищи, а не отдельные фотографии, улучшая оценку порций с помощью нескольких ракурсов
• Распознавание на уровне ингредиентов, которое идентифицирует отдельные компоненты в смешанных блюдах, а не рассматривает их как единые элементы
• Анализ процесса приготовления, который может оценить изменения в питательных веществах от сырого до приготовленного состояния на основе визуальных доказательств метода приготовления и времени
• AR-помощь в измерении порций, использующая сенсоры глубины смартфона (LiDAR) для более точной оценки объёма
• Кросс-модальное обучение, которое сочетает визуальную, текстовую (меню, этикетки) и контекстуальную (местоположение, время суток) информацию для более точной идентификации

Преимущество масштаба

С более чем 2 миллионами пользователей из более чем 50 стран, фиксирующих миллионы приёмов пищи, система распознавания Nutrola улучшается с темпом, который не может сопоставить академическое исследование. Каждый зафиксированный приём пищи — это точка данных. Каждое исправление — это сигнал для обучения. Каждая новая кухня, с которой сталкивается модель, — это расширение её знаний. Этот эффект маховика означает, что система становится заметно более точной каждый месяц, особенно для длинного хвоста региональных и культурных продуктов, которые меньшие системы не могут изучить.

Итог

ИИ распознавания еды — это одно из самых технически сложных приложений компьютерного зрения, требующее решений для проблем, с которыми большинство систем классификации изображений никогда не сталкиваются: экстремальная визуальная вариативность внутри категорий, многокомпонентное обнаружение на загруженных тарелках, трёхмерная оценка порций по двумерным изображениям и сопоставление с проверенными питательными данными по более чем 130,000 продуктам из десятков кухонь.

Технология, стоящая за функцией Snap & Track Nutrola, представляет собой слияние глубоких свёрточных нейронных сетей, продвинутых архитектур обнаружения объектов, статистических моделей оценки порций и базы данных о продуктах, проверенной диетологами. Результат — система, которая может превратить случайное фото вашего обеда в детальную разбивку по питательным веществам за менее чем две секунды.

Она не идеальна. Ни одна текущая система не идеальна. Но она достаточно точна, чтобы сделать отслеживание питания практичным для миллионов людей, которые никогда не будут взвешивать свою еду или вручную искать в базе данных. И она становится лучше с каждым днём, обучаясь на каждом приёме пищи, который делятся её пользователи. Это сочетание текущих возможностей и непрерывного улучшения делает ИИ-распознавание еды не просто техническим достижением, но и практическим инструментом для улучшения питания.