Как Nutrola использует ИИ для определения вашей еды по одной фотографии: закулисье

Вы открываете Nutrola, наводите камеру на тарелку с жареным лососем, запеченными овощами и киноа, и нажимаете на кнопку спуска затвора. Менее чем через три секунды приложение сообщает, что ваш обед содержит примерно 640 калорий, 38 граммов белка, 42 грамма углеводов и 28 граммов жиров. Оно даже разбивает данные по отдельным компонентам: лососю, овощам и киноа.

Это похоже на магию. Но за этой безупречной работой стоит тщательно организованный процесс, основанный на искусственном интеллекте, где каждый этап решает свою задачу. В этой статье мы подробно рассмотрим каждый шаг этого процесса, начиная с момента, когда свет попадает на сенсор камеры вашего телефона, и заканчивая появлением данных о калориях на экране. Для этого не требуется степень в области машинного обучения.

Общая схема: шесть этапов

Перед тем как углубиться в каждый этап, вот полный путь в одном взгляде:

1. Обработка изображения — ваше фото очищается и стандартизируется, чтобы ИИ мог с ним работать.
2. Обнаружение и сегментация еды — ИИ находит, где находится каждый продукт на тарелке.
3. Классификация еды — каждая обнаруженная область идентифицируется как конкретный продукт.
4. Оценка размера порции — ИИ оценивает, сколько каждого продукта присутствует.
5. Сопоставление с базой данных питательных веществ — идентифицированные продукты и порции сопоставляются с проверенными данными о питательных веществах.
6. Оценка уверенности и подтверждение пользователем — ИИ сообщает, насколько он уверен в своих выводах, и позволяет вам вносить коррективы.

Каждый шаг подводит к следующему. Представьте это как конвейер на фабрике: сырье поступает с одного конца, а готовый продукт выходит с другого. Если на любом этапе работа выполнена плохо, конечный результат страдает. Именно поэтому каждый этап был тщательно спроектирован, протестирован и доработан.

Давайте рассмотрим их по порядку.

Этап 1: Обработка изображения

Первое, что происходит после нажатия на кнопку спуска затвора, не связано с распознаванием еды. Это подготовка самого изображения.

Почему сырые фотографии не подходят для ИИ

Камера вашего телефона делает снимки с высоким разрешением, часто 12 мегапикселей и более. Это гораздо больше данных, чем нужно модели ИИ, и обработка всего этого была бы медленной и неэффективной. Кроме того, изображение могло быть сделано при плохом освещении, под необычным углом или с отвлекающим фоном.

Подумайте об этом как о подготовке ингредиентов перед готовкой. Шеф-повар не бросает в кастрюлю целую немытую морковь. Сначала он ее моет, очищает и нарезает на нужные кусочки. Обработка изображения — это версия mise en place для ИИ.

Что происходит во время обработки изображения

Изменение размера и нормализация: Изображение уменьшается до стандартного размера, обычно до нескольких сотен пикселей с каждой стороны. Значения пикселей нормализуются, чтобы яркость и контраст находились в одном диапазоне. Это гарантирует, что модель будет работать одинаково, независимо от того, было ли фото сделано при ярком солнечном свете или в тусклом освещении ресторана.

Коррекция цвета: Небольшие корректировки устраняют цветовые искажения, вызванные различными источниками света. Теплый оранжевый свет свечи или синий оттенок флуоресцентного офисного освещения могут ввести ИИ в заблуждение относительно того, что он видит. Коррекция цвета уменьшает эти искажения.

Ориентация и обрезка: Система определяет, была ли камера удержана вертикально или горизонтально, и поворачивает изображение соответственно. Если ИИ обнаруживает, что еда занимает лишь небольшую часть кадра, он может обрезать изображение до соответствующей области, чтобы уменьшить шум от фона.

Снижение шума: Фотографии, сделанные при низком освещении, часто содержат визуальный шум — мелкие точки, которые делают изображение зернистым. Легкая обработка для снижения шума сглаживает эти артефакты, не размывая важные детали еды.

Все это происходит за доли секунды. К моменту, когда изображение переходит на следующий этап, оно становится чистым и стандартизированным входом, который модель ИИ может надежно интерпретировать.

Этап 2: Обнаружение и сегментация еды

Теперь ИИ сталкивается с первой настоящей задачей: выяснить, где находится еда на изображении, и обвести границы вокруг каждого отдельного продукта.

Обнаружение: поиск еды в кадре

Модель обнаружения сканирует все изображение и определяет области, содержащие еду. Это более тонкая задача, чем кажется. Модель должна отличать вашу тарелку пасты от скатерти под ней, стакана воды рядом и салфетки в углу. Она также должна справляться с тарелками, которые частично закрыты, перекрываются или обрезаны по краям кадра.

Современные системы обнаружения используют технику, называемую обнаружением объектов, где модель одновременно предсказывает местоположение и приблизительную категорию каждого объекта, который она распознает. Представьте себе очень опытного официанта, который может одним взглядом определить каждое блюдо на столе, даже в переполненном ресторане. ИИ обучается развивать подобную интуицию, но он изучает ее, анализируя миллионы фотографий еды.

Сегментация: рисование точных границ

Обнаружение сообщает ИИ, что еда находится в определенной области изображения. Сегментация идет дальше, обводя точную форму каждого продукта, пиксель за пикселем.

Это различие имеет значение. Рассмотрим тарелку с жареной курицей на подушке из риса и гарниром из брокколи. Простая ограничивающая рамка вокруг курицы также захватит часть риса под ней. Сегментация рисует точный контур только вокруг курицы, только вокруг риса и только вокруг брокколи, даже там, где они перекрываются.

Эта точность на уровне пикселей критически важна для следующих шагов, поскольку ИИ должен точно знать, сколько визуальной площади занимает каждый продукт. Если граница курицы случайно включает кусочек риса, оценка порции для обоих продуктов будет неверной.

Обработка сложных тарелок

Реальные блюда часто бывают неаккуратными. Продукты перекрываются, соусы расползаются по нескольким компонентам, а смешанные блюда, такие как жареные овощи или салаты, содержат десятки мелких компонентов, смешанных вместе. Модель сегментации справляется с этими случаями, присваивая каждому пикселю вероятность принадлежности к каждой категории еды. В жареных овощах пиксель, который может выглядеть как курица или тофу, получает вероятности для обоих, а система разрешает неоднозначность, используя контекст окружающих пикселей.

Этап 3: Классификация еды

С каждым изолированным продуктом ИИ теперь должен ответить на основной вопрос: что это за еда?

Как ИИ распознает конкретные продукты

Модель классификации — это глубокая нейронная сеть, обученная на огромном наборе данных с помеченными изображениями еды. В процессе обучения она увидела миллионы примеров тысяч различных продуктов. Со временем она научилась ассоциировать определенные визуальные паттерны с конкретными названиями продуктов.

Это работает аналогично тому, как вы научились распознавать продукты в детстве. Вы не запоминали каждое возможное изображение яблока. Вместо этого, через повторное воздействие, ваш мозг создал внутреннюю модель "яблочности" — комбинацию цвета, формы, размера и текстуры, которая позволяет вам распознавать яблоко, независимо от того, красное оно или зеленое, целое или нарезанное, лежащее на столе или висящее на дереве.

ИИ строит аналогичную внутреннюю модель, но делает это с помощью математических функций, а не биологических нейронов. Он учится, что жареный лосось, как правило, имеет определенный розовато-оранжевый оттенок с темными полосами от гриля, рассыпчатую текстуру и характерную форму. Он узнает, что киноа имеет отличительный мелкий, круглой формы, который отличается от риса или кус-куса.

Проблема схожих на вид продуктов

Некоторые продукты выглядят удивительно похоже. Белый рис и цветная капуста. Обычные макароны и безглютеновые. Греческий йогурт и сметана. Индейка и говяжья котлета.

Модель классификации справляется с этими случаями, обращая внимание на тонкие визуальные подсказки, которые также использовали бы большинство людей. Легкая полупрозрачность вареного белого риса по сравнению с более мутной, неровной текстурой цветной капусты. Едва заметная разница в блеске между греческим йогуртом и сметаной.

Когда визуальных подсказок недостаточно, модель также учитывает контекст. Если на этапе сегментации был выявлен рис рядом с тем, что выглядит как соевый соус и палочки для еды, модель может повысить свою уверенность в том, что это белый рис, а не цветная капуста.

Многоуровневая классификация для смешанных блюд

Некоторые продукты не вписываются в одну категорию. Буррито содержит тортилью, рис, бобы, мясо, сыр, сальсу и, возможно, еще что-то. Вместо того чтобы классифицировать весь буррито как один продукт, ИИ может идентифицировать его как составное блюдо и либо оценить питание всего буррито, либо разбить его на вероятные компоненты на основе видимого и того, что обычно содержится в этом блюде.

Этап 4: Оценка размера порции

Зная, что на вашей тарелке есть жареный лосось, полезно, но этого недостаточно для подсчета калорий. ИИ также должен оценить, сколько лосося там. Это филе весом 100 граммов или 200 граммов? Разница в калориях значительная.

Как ИИ оценивает объем без весов

Оценка порции считается одной из самых сложных задач в области пищевого ИИ. Система не может физически взвесить вашу еду, поэтому она полагается на визуальные подсказки и опорные точки.

Анализ относительных размеров: ИИ использует известные объекты в кадре в качестве опорных точек. Стандартная обеденная тарелка имеет диаметр примерно 26 сантиметров. Вилка длиной около 19 сантиметров. Если модель может идентифицировать эти объекты, она может оценить физический размер еды относительно них. Подумайте об этом как о линейке, которая уже находится на столе.

Оценка глубины: Современные модели ИИ могут оценивать трехмерную структуру сцены по одному двумерному изображению. Это позволяет системе оценивать не только ширину кусочка еды, но и примерно его толщину или высоту. Тонкий кусок куриного филе имеет совершенно разное содержание калорий, чем толстый, даже если они выглядят одинаковыми сверху.

Статистические приоритеты: ИИ знает из своих обучающих данных, что типичная порция лосося в ресторане весит от 140 до 200 граммов, в то время как типичная домашняя порция может составлять от 100 до 170 граммов. Эти статистические базовые значения помогают модели делать разумные оценки, даже когда визуальные подсказки неоднозначны.

Модели плотности: Разные продукты имеют разную плотность. Чашка листовых овощей весит гораздо меньше, чем чашка картофельного пюре, даже если они занимают одинаковый объем. ИИ изучил эти соотношения плотности и учитывает их в своих оценках веса.

Почему этот этап самый сложный

Оценка порции — это этап, на котором чаще всего возникают ошибки, и это верно и для людей. Исследования показывают, что люди удивительно плохо оценивают размеры порций визуально. Исследования, опубликованные в журналах по науке о питании, показывают, что как обученные диетологи, так и обычные потребители регулярно ошибаются в оценках порций на 20-50 процентов.

ИИ не устраняет эту сложность, но применяет последовательную, обученную методологию, а не полагается на интуицию. На большом количестве приемов пищи эта последовательность приводит к значительно лучшей точности, чем ручная оценка.

Этап 5: Сопоставление с базой данных питательных веществ

На этом этапе ИИ знает, какие продукты находятся на тарелке, и примерно сколько каждого из них. Последний шаг — перевести эту информацию в реальные данные о питательных веществах.

Связь с проверенными базами данных продуктов

Nutrola поддерживает обширную базу данных питательных веществ, составленную из надежных источников, включая государственные базы данных о составе продуктов, проверенные данные производителей и лабораторные анализы. Когда ИИ идентифицирует продукт как "жареный лосось, примерно 170 граммов", система ищет питательный профиль жареного атлантического лосося и масштабирует значения в соответствии с оцененным размером порции.

Этот поиск более сложен, чем простое обращение к таблице. Система учитывает метод приготовления, поскольку запеченное филе лосося и жареное в масле имеют разное количество калорий, даже при одинаковом весе. Она учитывает общие региональные вариации: лосось, подаваемый в японском ресторане, может готовиться иначе, чем в средиземноморском. Когда конкретные детали приготовления неясны, система использует наиболее статистически распространенный метод приготовления для идентифицированного блюда.

Обработка составных и индивидуальных блюд

Для продукта с одним ингредиентом, такого как банан, поиск в базе данных прост. Но для составной тарелки с несколькими компонентами система агрегирует данные о питательных веществах из каждого идентифицированного компонента. Ваша тарелка с лососем, киноа и запеченными овощами становится суммой макросов лосося, макросов киноа и макросов овощной смеси, скорректированных с учетом видимых соусов, масел или заправок.

Для известных блюд, таких как "Цезарь с курицей" или "тако с говядиной", база данных также включает предварительно составленные записи, которые учитывают типичные соотношения ингредиентов и методы приготовления. ИИ сопоставляет свой анализ на уровне компонентов с этими записями целых блюд, чтобы произвести наиболее точную оценку.

Этап 6: Оценка уверенности и подтверждение пользователем

Ни одна система ИИ не бывает абсолютно точной, и Nutrola создана так, чтобы быть прозрачной в отношении уровня своей уверенности.

Как работает оценка уверенности

Каждое предсказание, которое делает ИИ, сопровождается внутренним баллом уверенности — числом, представляющим, насколько модель уверена в своей классификации и оценке порции. Если модель уверена на 95 процентов, что перед ней жареный лосось, она представляет результат без колебаний. Если уверенность составляет всего 70 процентов, она может представить свою лучшую догадку, предложив альтернативные варианты.

Подумайте о балле уверенности как о враче, который говорит: "Я довольно уверен, что это X, но это также может быть Y. Дайте мне подтвердить." Это признак хорошо спроектированной системы, а не недостаток.

Цикл подтверждения пользователем

Когда ИИ представляет свой анализ, у вас есть возможность просмотреть и внести изменения. Если ИИ определил вашу киноа как кус-кус, вы можете исправить это одним нажатием. Если оценка порции кажется слишком высокой или низкой, вы можете скорректировать размер порции. Эти исправления служат двум целям: они дают вам точные данные для этого конкретного приема пищи и помогают улучшить систему для будущих предсказаний.

Этот дизайн с участием человека является намеренным. ИИ берет на себя основную работу, но вы остаетесь контролировать конечный результат. Это партнерство, а не черный ящик.

Где ИИ сталкивается с трудностями: честные ограничения

Никакая технология не идеальна, и интеллектуальная честность в отношении ограничений более полезна, чем маркетинговые заявления о безупречности. Вот сценарии, в которых пищевой ИИ, включая Nutrola, сталкивается с реальными проблемами.

Скрытые ингредиенты

ИИ может анализировать только то, что он видит. Заправка для салата, впитавшаяся в листья, масло, растопленное в картофельном пюре, или сахар, растворившийся в соусе, остаются невидимыми для камеры. Эти скрытые калории могут значительно увеличиться. Столовая ложка оливкового масла добавляет примерно 120 калорий, и ИИ может не обнаружить ее, если она полностью впиталась в еду.

Nutrola смягчает это, используя статистические модели типичных методов приготовления. Если вы фотографируете тарелку ресторанной пасты, система предполагает, что в процессе приготовления было использовано разумное количество масла или масла, даже если оно не видно. Но это образованная догадка, а не точное измерение.

Визуально идентичные продукты с разными питательными профилями

Некоторые продукты практически неразличимы на фотографии. Йогурт с цельным молоком и обезжиренный йогурт выглядят одинаково. Обычная газировка и диетическая газировка в стакане идентичны для камеры. Белый сахар и искусственный подсластитель в пакетике могут быть неоднозначными. В этих случаях ИИ по умолчанию выбирает наиболее распространенный вариант, но может ошибиться.

Необычные или региональные блюда

ИИ лучше всего работает с продуктами, которые хорошо представлены в его обучающих данных. Распространенные блюда из основных мировых кухонь распознаются надежно. Но гиперрегиональные деликатесы из маленького городка, семейные рецепты с необычными ингредиентами или новые блюда фьюжн могут не входить в словарь модели. В таких случаях ИИ возвращается к своему ближайшему известному совпадению, что может быть неточным.

Экстремальное освещение или углы

Хотя этап обработки изображения исправляет многие проблемы с освещением и углом, крайние случаи все еще могут вызывать проблемы. Блюдо, сфотографированное в почти темноте, при сильно окрашенном освещении или под очень крутым углом, может запутать модель. Снимки сверху при разумном освещении consistently дают наилучшие результаты.

Сложенные или многослойные продукты

Продукты с скрытыми слоями представляют собой особую проблему. Сэндвич, сфотографированный сверху, показывает только верхний ломтик хлеба. Лазанья показывает только верхний слой. Буррито показывает только тортилью. ИИ оценивает внутренние компоненты на основе того, что обычно содержится в этом блюде, но не может видеть сквозь сплошную еду.

Как Nutrola становится умнее со временем

Одним из самых мощных аспектов современного ИИ является его способность постоянно улучшаться. Распознавание еды Nutrola не остается статичным после запуска. Оно становится заметно лучше с каждым месяцем.

Обучение на исправлениях

Каждый раз, когда пользователь исправляет идентификацию продукта или корректирует оценку порции, это исправление становится точкой данных. Когда тысячи пользователей вносят аналогичные исправления, паттерн становится ясным, и модель может быть обновлена. Если ИИ постоянно ошибается, принимая определенный региональный хлеб за другой, пользовательские исправления сигнализируют о проблеме, и команда по обучению может добавить больше примеров правильного хлеба в обучающий набор данных.

Этот цикл обратной связи означает, что точность приложения напрямую улучшается благодаря сообществу, которое его использует. Ранние пользователи помогают обучить систему для последующих пользователей, и цикл продолжается.

Расширение базы данных продуктов

Команда Nutrola постоянно добавляет новые продукты в базу данных: новые блюда из развивающихся кухонь, сезонные продукты, популярные позиции меню ресторанов и недавно выпущенные упакованные продукты. Каждое добавление расширяет диапазон блюд, которые ИИ может точно распознавать.

Периодическое переобучение модели и улучшение архитектуры

Модель ИИ периодически переобучается на обновленных и расширенных наборах данных. Поскольку новые исследования в области компьютерного зрения и глубокого обучения приводят к лучшим архитектурам моделей и методам обучения, Nutrola внедряет эти достижения. Модель, обученная сегодня, значительно более точна, чем модель, обученная два года назад, даже на одном и том же наборе изображений еды.

Региональная адаптация

По мере роста базы пользователей Nutrola в разных частях мира система накапливает больше данных о региональных кухнях и пищевых привычках. Это позволяет модели становиться все более точной для местных продуктов, которые могли быть недостаточно представлены в предыдущих обучающих данных. Пользователь в Сеуле получает выгоду от тысяч фотографий корейских блюд, которые уже зарегистрировали другие пользователи из Сеула.

Сравнение: отслеживание по фото с ИИ против сканирования штрих-кодов против ручного поиска

Разные методы учета пищи имеют свои сильные и слабые стороны. Вот как они сравниваются по важнейшим параметрам для ежедневного отслеживания.

Фактор	Отслеживание по фото с ИИ	Сканирование штрих-кодов	Ручной поиск
Скорость	3-5 секунд	5-10 секунд	30-90 секунд
Работает для домашних блюд	Да	Нет	Да, но утомительно
Работает для ресторанных блюд	Да	Нет	Частично
Работает для упакованных продуктов	Да	Да, с высокой точностью	Да
Обрабатывает несколько продуктов одновременно	Да	Нет, по одному продукту за раз	Нет, по одному продукту за раз
Точность для простых продуктов	Высокая	Очень высокая	Зависит от пользователя
Точность для сложных блюд	Умеренная до высокой	Не применимо	Низкая до умеренной
Требует чтения этикеток	Нет	Да, для подтверждения	Да
Уровень трения	Очень низкий	Низкий	Высокий
Риск недооценки пользователем	Низкий	Низкий	Высокий
Доступно для неупакованных продуктов	Да	Нет	Да

Ключевой вывод заключается в том, что ни один метод не является лучшим в каждой ситуации. Отслеживание по фото с ИИ превосходно подходит для домашних и ресторанных блюд, где штрих-коды отсутствуют. Сканирование штрих-кодов непревзойденно для упакованных продуктов с точными данными от производителей. Ручной поиск служит надежным запасным вариантом, когда другие методы недоступны. Nutrola поддерживает все три метода именно потому, что каждый из них покрывает пробелы, оставленные другими.

Часто задаваемые вопросы

Насколько точно распознавание еды с помощью ИИ по сравнению с ручным учетом?

Контролируемые исследования, сравнивающие учет пищи с помощью ИИ и ручной учет, показали, что методы с поддержкой ИИ снижают ошибки в оценке калорий примерно на 25-40 процентов в среднем. Улучшение наиболее заметно для сложных многокомпонентных блюд, где ручная оценка особенно трудна. Для простых продуктов с одним ингредиентом разница в точности меньше, поскольку оба метода работают достаточно хорошо.

Работает ли ИИ для всех кухонь?

ИИ Nutrola обучен на разнообразном глобальном наборе данных, который охватывает тысячи блюд из кухонь всего мира. Тем не менее, точность распознавания, как правило, выше для блюд, которые чаще встречаются в обучающих данных. Если вы регулярно едите блюда из кухни, с которой ИИ справляется менее уверенно, ваши исправления активно помогают улучшить точность для этой кухни со временем.

Что происходит, если ИИ ошибается?

Вы всегда можете отредактировать предложение ИИ. Нажмите на любой идентифицированный продукт, чтобы изменить его, скорректировать размер порции или добавить продукты, которые ИИ пропустил. Эти исправления применяются к вашему журналу немедленно и также способствуют улучшению системы для будущих предсказаний.

Уходит ли фото с вашего телефона?

Изображение отправляется на серверы Nutrola для обработки, поскольку модели ИИ слишком велики и ресурсоемки, чтобы полностью работать на мобильном устройстве. Изображение обрабатывается, результаты возвращаются, и политика конфиденциальности Nutrola регулирует, как обрабатываются данные изображений. Никакие изображения не передаются третьим лицам.

Почему ИИ иногда показывает несколько возможных совпадений?

Когда уверенность модели ниже определенного порога, она представляет свои лучшие варианты, а не останавливается на одном ответе. Это сделано намеренно. Лучше показать вам три варианта и позволить выбрать правильный, чем молча остановиться на неверном ответе. Этот прозрачный подход позволяет вам оставаться в контроле и гарантирует точность вашего журнала.

Может ли ИИ обнаруживать масла, соусы или заправки?

Видимые соусы и заправки, такие как капля ранчо на салате или лужа соевого соуса на тарелке, часто можно обнаружить. Однако масла и жиры, которые впитались в еду во время приготовления, в основном невидимы для камеры. Nutrola компенсирует это, учитывая типичные методы приготовления. Например, если вы фотографируете тарелку жареных овощей, система предполагает, что в процессе приготовления было использовано разумное количество масла.

Будет ли ИИ когда-нибудь на 100 процентов точным?

Реалистично, нет. Даже профессиональные диетологи, использующие лабораторное оборудование, принимают допустимые погрешности. Цель не в теоретическом совершенстве, а в практической точности: достаточно близко, чтобы быть действительно полезным для отслеживания тенденций, поддержания дефицита или избытка калорий и принятия обоснованных диетических решений день за днем. Для подавляющего большинства пользователей отслеживание по фото с ИИ обеспечивает более чем достаточную точность для достижения значительного прогресса в достижении их целей по здоровью.

Более широкая картина

Технология, стоящая за распознаванием еды с помощью ИИ, быстро развивается. То, что считалось передовым пять лет назад, было многократно превзойдено. Модели становятся меньше, быстрее и точнее. Обучающие наборы данных становятся больше и разнообразнее. А обратная связь, создаваемая миллионами пользователей ежедневно, ускоряет улучшение таким образом, который был бы невозможен в исследовательской лаборатории.

Для вас, как для пользователя, практический результат прост: вы делаете фото, получаете данные о питательных веществах и продолжаете свой день. Процесс, который стоит за этим опытом — обработка изображений, обнаружение, классификация, оценка порций, сопоставление с базой данных и оценка уверенности — все это происходит незаметно за считанные секунды.

Понимание того, как это работает, не является обязательным для его использования. Но знание того, что происходит за кулисами, может укрепить доверие к технологии и помочь вам использовать ее более эффективно. Когда вы знаете, что фотографии сверху при хорошем освещении дают наилучшие результаты, вы естественно начинаете делать лучшие фотографии еды. Когда вы понимаете, что скрытые ингредиенты — это слепая зона, вы помните, чтобы вручную добавить ту дополнительную столовую ложку оливкового масла. И когда вы знаете, что ваши исправления делают систему умнее, вы чувствуете мотивацию потратить две секунды на исправление неверного предположения.

Вот реальная сила понимания технологии: она превращает вас из пассивного пользователя в информированного партнера в отслеживании вашего питания.