Мы проанализировали 10 миллионов фотографий еды: 20 самых неправильно определяемых продуктов ИИ

Данные о распознавании еды ИИ

Распознавание еды с помощью ИИ кардинально изменило подход к отслеживанию питания. Вместо того чтобы искать в базах данных и гадать с размерами порций, достаточно сделать фотографию, и компьютерное зрение сделает все за вас. Функция Snap & Track от Nutrola обрабатывает миллионы изображений еды каждый месяц, и пользователи из более чем 50 стран полагаются на нее как на основной способ ведения учета.

Однако распознавание еды с помощью ИИ не идеально. Некоторые продукты постоянно вводят в заблуждение даже самые продвинутые модели компьютерного зрения. Чтобы понять, где технология преуспевает, а где испытывает трудности, мы проанализировали 10 миллионов фотографий еды, обработанных через систему Snap & Track Nutrola с января 2025 по январь 2026 года. Мы сравнили идентификации ИИ с исправлениями пользователей, ручными проверками и отзывами диетологов, чтобы рассчитать точность по каждому продукту и выявить систематические паттерны неверной идентификации.

Вот что мы обнаружили.

Методология

Наш анализ включал 10,247,831 фотографий еды, отправленных пользователями Nutrola из 53 стран. Для каждой фотографии мы отслеживали:

• Начальная идентификация ИИ: Продукты, которые ИИ определил с наивысшей уверенностью
• Уровень исправлений пользователями: Как часто пользователь менял идентификацию ИИ на другой продукт
• Проверка диетологами: Случайная выборка из 50,000 изображений была проверена квалифицированными диетологами для установления точности независимо от исправлений пользователей
• Точность Top-1: Правильность наивысшей идентификации ИИ
• Точность Top-3: Появление правильного продукта среди трех наивысших идентификаций ИИ

В целом, Snap & Track от Nutrola достигла точности Top-1 на уровне 87.3% и точности Top-3 на уровне 94.1% по всем категориям продуктов. Эти показатели соответствуют опубликованным эталонам для современных моделей распознавания еды, которые обычно сообщают о 80-90% точности Top-1 на стандартных наборах данных, таких как Food-101 и ISIA Food-500.

Тем не менее, точность значительно варьируется в зависимости от типа продукта. Некоторые категории превышают 95% точности Top-1, в то время как другие находятся ниже 60%.

20 самых неправильно определяемых продуктов

Полный рейтинг

Ранг	Продукт	Точность Top-1	Точность Top-3	Наиболее распространенная ошибка идентификации	Ошибка в калориях при неверной идентификации
1	Кускус	52.1%	71.4%	Киноа, булгур, рис	+/- 15-40 ккал на порцию
2	Греческий йогурт (обычный)	55.8%	78.2%	Сметана, лабне, обычный йогурт	+/- 30-80 ккал на порцию
3	Цветная капуста (в виде риса)	57.3%	74.6%	Белый рис, кускус	+110-150 ккал на порцию
4	Мисо-суп	58.9%	76.1%	Другие бульонные супы, даши	+/- 20-60 ккал на порцию
5	Разнообразные лепешки	59.4%	73.8%	Нан против роти против пита против тортилии	+/- 50-150 ккал за штуку
6	Асаи боул	61.2%	79.5%	Смузи боул, смешанный ягодный боул	+/- 100-200 ккал за боул
7	Индейка (бекон)	62.0%	80.1%	Свиной бекон	+40-70 ккал на порцию
8	Темпе	63.4%	77.9%	Тофу (твердый), сейтан	+/- 30-80 ккал на порцию
9	Лапша из цукини	64.1%	81.3%	Обычная паста, стеклянная лапша	+150-200 ккал на порцию
10	Баба гануш	64.8%	79.7%	Хумус	+30-60 ккал на порцию
11	Филе белой рыбы	65.2%	82.4%	Куриная грудка, другие виды белой рыбы	+/- 20-50 ккал на порцию
12	Протеиновые панкейки	66.1%	83.0%	Обычные панкейки	+80-150 ккал на порцию
13	Овсяное молоко	67.3%	84.2%	Обычное молоко, миндальное молоко, соевое молоко	+/- 30-80 ккал на стакан
14	Темные листовые овощи (приготовленные)	67.9%	85.1%	Шпинат против капусты против мангольда против свеклы	+/- 5-15 ккал на порцию
15	Десерты без сахара	68.4%	80.6%	Обычные версии того же десерта	+100-250 ккал на порцию
16	Зерновые боулы	69.1%	83.7%	Ошибки в определении типа зерновой основы	+/- 40-100 ккал на порцию
17	Мясо на растительной основе	69.8%	84.9%	Настоящее мясо	+/- 30-80 ккал на порцию
18	Пельмени	70.2%	85.6%	Вонтон против гёдза против пирогов против момо	+/- 20-60 ккал за штуку
19	Смешанные карри	70.5%	82.3%	Путаница между типами карри и основами	+/- 50-150 ккал на порцию
20	Овсянка на ночь	71.0%	86.2%	Обычная овсянка, пудинг из чиа	+/- 50-120 ккал на порцию

Почему эти продукты сбивают с толку ИИ: пять паттернов

Паттерн 1: Визуальные близнецы с разными калорийными профилями

Наиболее распространенной причиной неверной идентификации являются продукты, которые выглядят почти идентично, но имеют значительно разные питательные профили. Кускус и киноа, наш самый неправильно определяемый продукт, визуально почти неразличимы на фотографии, особенно когда они смешаны с овощами или соусом. Тем не менее, киноа содержит примерно на 20% больше калорий и значительно больше белка на порцию, чем кускус.

Аналогично, цветная капуста и белый рис имеют почти идентичные визуальные характеристики на фотографиях, но разница в калориях огромна: примерно 25 ккал на чашку для цветной капусты против 200+ ккал для белого риса. Когда ИИ ошибочно определяет цветную капусту как белый рис, учет калорий может быть завышен на 150 и более калорий за одно гарнир.

Греческий йогурт, сметана и лабне представляют собой еще один кластер визуальных близнецов. Все три белые, кремовые и обычно подаются в мисках. Греческий йогурт с высоким содержанием жира содержит примерно 130 ккал на чашку, тогда как сметана содержит около 445 ккал на чашку. Ошибка в идентификации здесь может значительно исказить расчет суточного потребления пользователя.

Паттерн 2: Региональные вариации похожих продуктов

Лепешки заняли пятое место в нашем списке, потому что эта категория включает десятки визуально похожих, но питательно различных продуктов из разных культур. Обычная пшеничная тортилья (примерно 120 ккал) выглядит схоже с наном (примерно 260 ккал) на фотографиях, особенно когда она частично сложена или свернута. Роти (примерно 100 ккал) и парата (примерно 260 ккал, из-за масла/масляного слоя) могут выглядеть неразличимо, но одна из них содержит более чем в два раза больше калорий.

Пельмени (18-е место) представляют собой ту же проблему. Японские гёдза, китайские цзяоци, польские пироги, непальские момо и грузинские хинкали имеют схожую форму (тесто с начинкой), но существенно различаются по размеру, толщине теста, составу начинки и способу приготовления (на пару, жареные или вареные).

Преимущество Nutrola здесь заключается в охвате более чем 50 стран. Модель ИИ обучена на изображениях еды из каждой крупной кулинарной традиции, что дает ей более широкий визуальный словарь, чем модели, обученные преимущественно на западной кулинарной фотографии. Тем не менее, различия внутри категории остаются сложными.

Паттерн 3: Заместительные продукты, имитирующие оригиналы

Рост популярности заменителей пищи создал новый класс проблем для распознавания. Индейка (бекон) имитирует свиной бекон. Бургеры на растительной основе имитируют говяжьи бургеры. Лапша из цукини имитирует пасту. Протеиновые панкейки имитируют обычные панкейки. Десерты без сахара имитируют свои полные версии.

Эти заменители намеренно разработаны так, чтобы выглядеть как продукты, которые они заменяют. Это и есть основная цель с точки зрения удовлетворенности потребителей, но это создает фундаментальную проблему для систем визуального распознавания. Последствия для калорий могут быть значительными: обычные панкейки в среднем содержат 175 ккал каждый, в то время как протеиновые панкейки обычно содержат 90-110 ккал каждый. Лапша из цукини содержит примерно 20 ккал на чашку против 220 ккал для приготовленной спагетти.

В нашем наборе данных заменители пищи имели среднюю точность Top-1 на уровне 66.7%, по сравнению с 89.2% для их незаменителей. Это область, где контекстуальные сигналы (предпочтения пользователей по диете, прошлые паттерны учета) могут помочь, и ИИ Nutrola включает эти сигналы для улучшения прогнозов.

Паттерн 4: Жидкие и полужидкие продукты

Супы, смузи и напитки постоянно труднее для ИИ идентифицировать, чем твердые продукты. Мисо-суп (4-е место) является прозрачной жидкостью с видимыми кусочками тофу и водорослей, которые могут быть спутаны с другими азиатскими бульонами. Асаи боулы (6-е место) имеют визуальные характеристики, схожие с другими ягодными смузи, но калорийность может значительно варьироваться в зависимости от базового смеси и топпингов.

Проблема с жидкими продуктами заключается в том, что критически важная питательная информация буквально невидима. Две чашки жидкости, которые выглядят идентично на фотографии, могут содержать от 10 ккал (черный кофе) до 400 ккал (высококалорийный смузи). Nutrola решает эту проблему, задавая пользователям дополнительные вопросы, когда распознаются жидкие продукты: "Это обычная или диетическая версия?" "Какой это бренд?"

Паттерн 5: Смешанные блюда с скрытыми ингредиентами

Блюда карри (19-е место) и зерновые боулы (16-е место) представляют собой более широкую проблему: многокомпонентные блюда, в которых питательно значимые ингредиенты скрыты от взгляда. Тайское зеленое карри может быть приготовлено с кокосовым молоком (добавляя 200+ ккал на порцию) или легким бульоном. Калорийность зернового боула сильно зависит от того, является ли основой киноа, белый рис, коричневый рис или фарро, которые могут быть покрыты топпингами.

Смешанные блюда составляют примерно 35% всех приемов пищи, зарегистрированных пользователями Nutrola, но представляют 52% значительных ошибок в оценке калорий (определяемых как ошибки, превышающие 15% от истинного содержания калорий блюда).

Как Nutrola улучшила точность

Итеративное обучение модели

Каждое исправление пользователя в Nutrola поступает обратно в процесс обучения модели ИИ. Когда пользователь меняет "киноа" на "кускус", это исправление вместе с оригинальным изображением добавляется в обучающий набор данных. За 12 месяцев нашего анализа этот непрерывный процесс обучения улучшил общую точность Top-1 с 82.6% до 87.3%, что составляет прирост на 4.7 процентных пункта.

Квартал	Точность Top-1	Точность Top-3	Средняя ошибка в калориях
Q1 2025	82.6%	90.3%	47 ккал
Q2 2025	84.1%	91.8%	41 ккал
Q3 2025	85.9%	93.2%	36 ккал
Q4 2025	86.8%	93.9%	33 ккал
Q1 2026 (частично)	87.3%	94.1%	31 ккал

Контекстуальные сигналы

ИИ Nutrola не идентифицирует продукты в вакууме. Он учитывает контекстуальные сигналы для повышения точности:

• Диетический профиль пользователя: Если пользователь указал, что придерживается растительной диеты, модель увеличивает уверенность в растительных альтернативах (тофу вместо курицы, овсяное молоко вместо молока, растительный бургер вместо говяжьего).
• Время приема пищи: Изображения завтрака с большей вероятностью содержат продукты для завтрака. Это может показаться очевидным, но это значительно повышает точность для неоднозначных предметов, таких как овсянка на ночь против пудинга из чиа.
• Географическое положение: Фотография, сделанная в Токио, с большей вероятностью будет мисо-супом, чем минестроне. Nutrola обслуживает пользователей в более чем 50 странах и использует общие данные о местоположении (с разрешения пользователя) для корректировки приоритетов идентификации еды.
• Паттерны прошлых записей: Если пользователь регулярно регистрирует цветную капусту, модель учится, что этот пользователь с большей вероятностью съест цветную капусту, чем белый рис, когда визуальный ввод неоднозначен.

Многоугловое распознавание

В 2025 году Nutrola внедрила возможность делать несколько фотографий одного и того же блюда с разных углов. Для сложных блюд и неоднозначных продуктов второй угол может разрешить неопределенность в идентификации. В тестах многоугловое распознавание улучшило точность Top-1 для 20 самых неправильно определяемых продуктов на 8.2 процентных пункта.

Порог уверенности и подсказки для пользователей

Когда уверенность ИИ падает ниже 75%, Nutrola предлагает пользователю три лучших кандидата, а не автоматически регистрирует лучший результат. Пользователи могут выбрать правильную идентификацию или ввести название продукта. Этот прозрачный подход позволяет выявлять и исправлять идентификации с низкой уверенностью до того, как они повлияют на точность отслеживания калорий.

Влияние неверной идентификации на калории

Не все неверные идентификации одинаковы. Путаница между капустой и шпинатом (14-е место) имеет калорийное влияние 5-15 ккал на порцию, что несущественно с точки зрения питания. Путаница между цветной капустой и белым рисом (3-е место) или лапшой из цукини и пастой (9-е место) может привести к ошибкам в 150-200 ккал, что достаточно, чтобы существенно повлиять на суточный калорийный бюджет.

Мы рассчитали взвешенное влияние калорий неверных идентификаций в нашем наборе данных:

Диапазон ошибки в калориях	% всех неверных идентификаций	Практическое влияние
Менее 25 ккал	38.2%	Незначительно
25-75 ккал	29.6%	Небольшое
75-150 ккал	19.7%	Умеренное, заметное с течением времени
150-250 ккал	9.1%	Значительное, может повлиять на суточные цели
Более 250 ккал	3.4%	Существенное, эквивалентное небольшому приему пищи

Медианная ошибка в калориях по всем неверным идентификациям составила 42 ккал, что находится в пределах погрешности для большинства целей отслеживания питания. Однако хвост распределения (12.5% неверных идентификаций, которые приводят к ошибкам более 150 ккал) — это область, где распознавание еды ИИ имеет наибольшие возможности для улучшения.

Что пользователи могут сделать для повышения точности ИИ

1. Делайте четкие, хорошо освещенные фотографии. ИИ работает лучше всего при хорошем освещении и четком верхнем виде на тарелку. Фотографии в тусклом освещении и под экстремальными углами снижают точность в среднем на 6 процентных пунктов.

2. Разделяйте компоненты, когда это возможно. Если ваше блюдо состоит из отдельных компонентов (белок, зерно, овощи), размещение их с видимым разделением помогает ИИ идентифицировать каждый элемент отдельно, а не рассматривать тарелку как одно смешанное блюдо.

3. Используйте функцию исправления. Каждое исправление, которое вы делаете, улучшает ИИ как для вас, так и для всего сообщества Nutrola. Пользователи, которые исправляют неверные идентификации в течение первых двух недель использования, наблюдают на 11% более высокие долгосрочные показатели точности, потому что модель изучает их конкретные диетические паттерны.

4. Указывайте заменители. Если вы регулярно употребляете заменители пищи (цветная капуста, мясо на растительной основе, безсахарные варианты), отметьте это в своих диетических предпочтениях Nutrola. ИИ будет больше учитывать эти альтернативы в своих прогнозах.

5. Пробуйте многоугловые фотографии. Для сложных блюд вторая фотография с другого угла может разрешить неопределенность. Это особенно полезно для боулов, супов и смешанных блюд, где ключевые ингредиенты могут быть скрыты под топпингами.

Взгляд в будущее

Точность распознавания еды ИИ значительно улучшилась за последние три года, и эта тенденция не показывает признаков замедления. Модель Snap & Track от Nutrola обрабатывает больше фотографий еды в месяц, чем большинство опубликованных академических наборов данных содержит в целом, и каждое взаимодействие делает систему умнее.

Наша цель к концу 2026 года — достичь точности Top-1 на уровне 90% по всем категориям продуктов и 75% для текущих 20 самых неправильно определяемых продуктов. С продолжающимся улучшением модели, расширением обучающих данных от нашей растущей базы пользователей из более чем 50 стран и такими функциями, как многоугловое распознавание и контекстуальные сигналы, мы верим, что эти цели достижимы.

Цель не в том, чтобы полностью заменить человеческое суждение. Она заключается в том, чтобы сделать учет пищи настолько быстрым и точным, чтобы трение отслеживания питания фактически исчезло. Мы еще не достигли этого, но после 10 миллионов фотографий мы находимся на заметно более близком расстоянии, чем год назад.