Що таке Snap & Track? Повний посібник з фото-основного відстеження калорій

Ручний пошук у базі даних для кожного інгредієнта вашого обіду, оцінка порцій та введення кожного елемента по одному — це стандартний метод відстеження калорій протягом більше десяти років. Він працює, але є повільним, нудним і однією з основних причин, чому люди відмовляються від ведення обліку їжі протягом перших двох тижнів.

Фото-основне відстеження калорій пропонує принципово інший підхід. Замість того, щоб вводити дані та шукати, ви просто робите одне фото свого прийому їжі, а штучний інтелект виконує решту: визначає продукти на вашій тарілці, оцінює порції та повертає повний розрахунок харчування за кілька секунд.

Nutrola реалізує цю технологію під назвою Snap & Track. У цьому посібнику детально пояснюється, що таке фото-основне відстеження калорій, як працює основна технологія, що вона робить добре, з якими викликами стикається, і як порівнюється з іншими методами ведення обліку.

Що таке фото-основне відстеження калорій?

Фото-основне відстеження калорій — це метод ведення обліку їжі, який використовує камеру смартфона та штучний інтелект для оцінки харчової цінності страви з одного фотографії. Замість того, щоб вимагати від користувача ручного пошуку в базі даних, система аналізує зображення, щоб визначити окремі продукти, оцінити їх кількість та отримати відповідні дані про харчування.

Основна обіцянка полягає в швидкості та простоті. Процес, який зазвичай займає 60-120 секунд на прийом їжі при ручному введенні, можна скоротити до менше 10 секунд за допомогою фото-основної системи. Для користувачів, які їдять три-п’ять разів на день, ця економія часу перетворюється на значно інший досвід, що робить тривале ведення обліку можливим.

Коротка історія

Концепція фотографування їжі для харчового аналізу бере свій початок з академічних досліджень на початку 2010-х, коли моделі комп'ютерного зору вперше продемонстрували здатність класифікувати зображення їжі з прийнятною точністю. Ранні системи вимагали контрольованого освітлення, специфічних кутів та об'єктів для порівняння (наприклад, монети, розміщеної поруч з тарілкою для масштабу). Точність була обмеженою, і технологія залишалася в межах дослідницьких лабораторій.

Прорив стався з розвитком глибокого навчання, зокрема згорткових нейронних мереж (CNN), між 2017 і 2022 роками. Коли ці моделі навчалися на все більших наборах даних зображень їжі, точність класифікації покращилася з приблизно 50% до понад 90% для звичних продуктів. До 2024 року споживчі додатки почали пропонувати фото-основне відстеження як основну функцію, а не експериментальне доповнення.

Як працює Snap & Track: покроково

Розуміння повного процесу від фотографії до харчових даних допомагає встановити реалістичні очікування щодо того, що технологія може і не може робити.

Крок 1: Зйомка зображення

Користувач відкриває додаток Nutrola та робить фотографію свого прийому їжі за допомогою вбудованого інтерфейсу камери. Система працює найкраще з верхнім або 45-градусним знімком, який чітко показує всі елементи на тарілці. Хороше освітлення та мінімальні перешкоди (такі як руки, прилади, що закривають їжу, або сильні тіні) покращують результати.

Зображення знімається в стандартній роздільній здатності смартфона. Ніяке спеціальне обладнання, об'єкти для порівняння чи калібрування не потрібні.

Крок 2: Виявлення та ідентифікація їжі

Після того, як зображення знято, серія моделей ШІ аналізує його послідовно.

Виявлення об'єктів спочатку визначає окремі області їжі на зображенні. Якщо на тарілці є грильована курка, рис і салат, модель малює обмежувальні рамки навколо кожного окремого продукту. Це задача багатокласової класифікації, що означає, що система повинна визнати, що одне зображення містить кілька різних продуктів, а не розглядати всю тарілку як один елемент.

Класифікація їжі потім присвоює етикетку кожній виявленій області. Модель використовує таксономію тисяч продуктів, співвідносячи візуальні характеристики, такі як колір, текстура, форма та контекст, з відомими категоріями їжі. Система також враховує патерни співіснування. Наприклад, якщо вона виявляє, що поруч з бобами, рисом і сальсою є те, що виглядає як тортилья, вона може припустити, що це буррито, а не класифікувати кожен компонент окремо.

Крок 3: Оцінка розміру порції

Визначити, які продукти присутні, — це лише половина проблеми. Система також повинна оцінити, скільки кожного продукту на тарілці. Це досягається за допомогою комбінації технік:

• Відносне масштабування. Модель використовує тарілку, миску або контейнер як об'єкт для порівняння з припущеним стандартним розміром, щоб оцінити об'єм продуктів відносно нього.
• Оцінка глибини. Сучасні моделі виводять тривимірну структуру з двомірного зображення, оцінюючи висоту або товщину продуктів, таких як стейк або купа рису.
• Навчені пріоритети порцій. Модель була навчена на сотнях тисяч зображень з відомими вагами порцій, що дозволяє їй застосовувати статистичні пріоритети. Наприклад, одна куряча грудка в домашньому контексті зазвичай має вагу від 120 до 200 грамів.

Крок 4: Отримання харчових даних

З виявленими продуктами та оціненими порціями система зіставляє кожен елемент з відповідним записом у перевіреній харчовій базі даних. Nutrola використовує кураторську базу даних, а не краудсорсингову, що зменшує ризик помилкових або дублікатних записів.

Система повертає повний розрахунок харчування для кожного виявленого елемента та для страви в цілому:

Поживна речовина	На одиницю	На страву
Калорії (ккал)	Надано	Підсумовано
Білки (г)	Надано	Підсумовано
Вуглеводи (г)	Надано	Підсумовано
Жири (г)	Надано	Підсумовано
Клітковина (г)	Надано	Підсумовано
Основні мікроелементи	Надано	Підсумовано

Крок 5: Огляд та підтвердження користувача

Користувач отримує результати та може переглянути, відкоригувати або виправити будь-який елемент перед підтвердженням запису. Цей етап з участю людини є критично важливим. Якщо система неправильно визначила коричневий рис як білий, або оцінює 150 грамів курки, коли фактична порція ближча до 200 грамів, користувач може швидко внести корекцію. З часом ці корекції також допомагають поліпшити точність системи через зворотний зв'язок.

Технологія, що стоїть за фото-основним розпізнаванням їжі

Кілька рівнів штучного інтелекту та машинного навчання працюють разом, щоб зробити фото-основне відстеження калорій можливим.

Згорткові нейронні мережі (CNN)

Основою більшості систем розпізнавання їжі є згорткова нейронна мережа, клас моделей глибокого навчання, спеціально розроблених для аналізу зображень. CNN обробляють зображення через кілька шарів фільтрів, які виявляють дедалі абстрактніші ознаки: краї та текстури на ранніх шарах, форми та візерунки на середніх шарах, а також високорівневі особливості, специфічні для їжі, на глибших шарах.

Сучасні системи розпізнавання їжі зазвичай використовують архітектури, такі як ResNet, EfficientNet або Vision Transformers (ViT), які були попередньо навчені на мільйонах загальних зображень і потім уточнені на специфічних наборах даних їжі.

Багатокласова класифікація

На відміну від стандартної класифікації зображень (коли зображенню присвоюється одна етикетка), розпізнавання їжі вимагає багатокласової класифікації. Одне зображення може містити п’ять, десять або більше різних продуктів. Модель повинна виявити та класифікувати кожен з них незалежно, розуміючи просторові взаємовідносини між ними.

Переносне навчання та адаптація до домену

Навчання моделі розпізнавання їжі з нуля вимагало б неприйнятно великого набору даних з етикетками. Натомість сучасні системи використовують переносне навчання: починаючи з моделі, попередньо навченої на великому загальному наборі зображень (наприклад, ImageNet), а потім уточнюючи її на специфічних зображеннях їжі. Цей підхід дозволяє моделі використовувати загальне візуальне розуміння (краї, текстури, форми), спеціалізуючись на особливостях, пов'язаних з їжею.

Навчальні дані

Якість і різноманітність навчальних даних, мабуть, важливіші за архітектуру моделі. Ефективні моделі розпізнавання їжі навчаються на наборах даних, що містять:

• Сотні тисяч до мільйонів етикетованих зображень їжі
• Різноманітні кухні, стилі приготування та формати подачі
• Різні умови освітлення, кути та фони
• Зображення як з ресторанного, так і з домашнього контексту
• Анотації ваги порцій для оцінки об'єму

Точність: що показують дослідження

Точність у фото-основному відстеженні калорій можна виміряти за двома вимірами: точність ідентифікації їжі (чи правильно система визначила, що це за їжа?) і точність оцінки калорій (чи правильно вона оцінила кількість?).

Точність ідентифікації їжі

Сучасні моделі розпізнавання їжі досягають топ-1 точності (правильна їжа є першим припущенням моделі) від 85 до 95 відсотків на контрольних наборах даних для звичних продуктів у добре освітлених, чітко представлених фотографіях. Топ-5 точність (правильна їжа входить до п'яти найкращих припущень моделі) зазвичай перевищує 95 відсотків.

Однак точність контрольних показників не завжди безпосередньо перекладається на реальну продуктивність. Фактори, які знижують точність на практиці, включають:

Фактор	Вплив на точність
Погане освітлення або тіні	Помірне зниження
Незвичайні кути (екстремально близько, боковий вигляд)	Помірне зниження
Змішані або шаруваті страви (касеролі, рагу)	Значне зниження
Незвичні або регіональні продукти	Значне зниження
Продукти, покриті соусами або начинками	Помірне до значного зниження
Перекриття кількох елементів	Помірне зниження

Точність оцінки калорій

Навіть коли ідентифікація їжі є правильною, оцінка калорій вводить додаткову помилку через оцінку розміру порції. Дослідження, опубліковані між 2023 і 2025 роками, виявили, що фото-основна оцінка калорій зазвичай знаходиться в межах 15-25 відсотків від фактичного вмісту калорій для стандартних страв. Це порівнянно або краще, ніж точність ручного самозвітування, яка, як показують дослідження, постійно недооцінює споживання калорій на 20-50 відсотків.

Систематичний огляд 2024 року в Journal of the Academy of Nutrition and Dietetics виявив, що допоміжне фото-відстеження на основі ШІ зменшило середню помилку оцінки на 12 відсоткових пунктів у порівнянні з ручною оцінкою без будь-яких інструментів.

Продукти, з якими він добре справляється, проти продуктів, з якими виникають труднощі

Не всі продукти однаково легкі для аналізу системами ШІ. Розуміння цих відмінностей допомагає користувачам отримати максимум від фото-основного відстеження.

Продукти з високою точністю розпізнавання

• Цілісні, візуально відмінні елементи. Банан, яблуко, варене яйце, шматок хліба. Вони мають постійні, впізнавані форми та текстури.
• Страви на тарілці з розділеними компонентами. Грильована куряча грудка поряд з паровою брокколі та рисом на тарілці. Кожен елемент візуально відмінний і просторово розділений.
• Звичайні західні та азійські страви. Суші, піца, бургери, паста, салати. Вони широко представлені в навчальних наборах даних.
• Упаковані продукти зі стандартними формами. Граноловий батончик, йогурт, банка тунця. Контейнер надає корисну інформацію про розмір.

Продукти, які викликають труднощі

• Змішані страви та касеролі. Лазанья, рагу або карі, де інгредієнти змішані, ускладнює моделі ідентифікацію окремих компонентів та їх пропорцій.
• Соуси, заправки та приховані жири. Олія, використана в приготуванні, масло, розтоплене в овочах, або кремова заправка, полита на салат, можуть додати 100-300 калорій, які візуально не виявляються.
• Регіональні та незвичні кухні. Продукти, які недостатньо представлені в навчальних даних, такі як певні африканські, центральноазійські або корінні страви, можуть мати нижчі показники розпізнавання.
• Напої. Склянка апельсинового соку та склянка мангового смузі можуть виглядати майже ідентично, незважаючи на різні калорійні значення. Темні напої, такі як кава з кремом проти чорної кави, також представляють труднощі.
• Продукти з змінною щільністю. Дві тарілки вівсянки можуть виглядати схоже, але значно відрізнятися в калоріях залежно від співвідношення вівса до води.

Поради для покращення результатів фото-основного відстеження

Користувачі можуть значно покращити точність фото-основного відстеження калорій, дотримуючись кількох практичних рекомендацій.

1. Знімайте зверху або під кутом 45 градусів. Верхні знімки забезпечують найчіткіший вигляд усіх елементів на тарілці та найкращу перспективу для оцінки порцій.
2. Забезпечте хороше, рівномірне освітлення. Природне денне світло дає найкращі результати. Уникайте різких тіней, зворотного освітлення або дуже темних умов.
3. Розділіть продукти, коли це можливо. Якщо ви самі накладаєте їжу, зберігання елементів візуально відмінними (а не складанням всього разом) покращує як ідентифікацію, так і точність порцій.
4. Ведіть облік соусів, заправок та олій окремо. Це найпоширеніше джерело прихованих калорій. Додавайте їх як ручні записи після аналізу фото, щоб забезпечити їх захоплення.
5. Переглядайте та коригуйте. Завжди витрачайте кілька секунд на перегляд результатів ШІ перед підтвердженням. Виправлення неправильно визначеного елемента займає п’ять секунд; ігнорування цього призводить до накопичення помилок протягом днів і тижнів.
6. Фотографуйте перед їжею. Зробіть фото перед тим, як почати їсти, щоб повна порція була видима. Половина з'їденої тарілки важча для точної аналізу системою.
7. Використовуйте стандартну тарілку або миску. Система використовує контейнер як еталон розміру. Незвичайні контейнери (такі як дуже велике блюдо або маленька закусочна тарілка) можуть спотворити оцінки порцій.

Фото-основне відстеження проти ручного ведення обліку та сканування штрих-кодів

Кожен метод ведення обліку їжі має свої сильні та слабкі сторони. У таблиці нижче наведено пряме порівняння.

Особливість	Фото-основне (Snap & Track)	Ручний пошук у базі даних	Сканування штрих-кодів
Швидкість на запис	5-10 секунд	60-120 секунд	10-15 секунд
Точність для упакованих продуктів	Добра	Добра (якщо вибрано правильний елемент)	Відмінна (точне співпадіння)
Точність для домашніх страв	Добра	Помірна (залежить від оцінки)	Не застосовується
Точність для страв у ресторанах	Добра	Від поганої до помірної	Не застосовується
Обробка змішаних страв	Помірна	Добра (якщо користувач знає інгредієнти)	Не застосовується
Фіксація прихованих жирів/олій	Погана	Помірна (якщо користувач пам'ятає)	Не застосовується
Крива навчання	Дуже низька	Помірна	Низька
Зусилля користувача	Мінімальне	Високе	Низьке (тільки упаковані)
Довгострокове дотримання	Високе	Низьке до помірного	Помірне
Працює без упаковки	Так	Так	Ні

Коли використовувати кожен метод

Найефективніший підхід — використовувати всі три методи в залежності від ситуації:

• Snap & Track для більшості прийомів їжі, особливо домашніх страв і страв у ресторанах, де ви можете бачити їжу.
• Сканування штрих-кодів для упакованих продуктів, закусок та напоїв зі штрих-кодом, оскільки це забезпечує найточніші дані про харчування.
• Ручний запис для специфічних інгредієнтів, таких як олія для приготування, масло або соуси, які не видно на фотографіях, а також для продуктів, які ШІ не розпізнає.

Nutrola підтримує всі три методи в одному інтерфейсі, що дозволяє користувачам комбінувати їх за потреби для кожного прийому їжі.

Конфіденційність: як обробляються фото-дані

Конфіденційність є законним занепокоєнням, коли додаток просить фотографувати вашу їжу. Різні програми по-різному обробляють фото-дані, і користувачі повинні розуміти компроміси.

Хмарна обробка проти обробки на пристрої

Більшість систем фото-основного відстеження калорій обробляють зображення в хмарі. Фотографія завантажується на віддалений сервер, де модель ШІ аналізує її, а результати надсилаються назад на пристрій. Цей підхід дозволяє використовувати більші, точніші моделі, які було б занадто витратно запускати на смартфоні.

Обробка на пристрої зберігає фотографію на телефоні користувача, запускаючи меншу модель ШІ локально. Це пропонує сильніші гарантії конфіденційності, оскільки зображення ніколи не залишає пристрій, але може пожертвувати деякою точністю, оскільки моделі на пристрої зазвичай менші та менш здатні, ніж їхні хмарні аналоги.

Підхід Nutrola

Nutrola обробляє зображення їжі за допомогою хмарних моделей ШІ, щоб забезпечити максимальну точність. Зображення передаються через зашифровані з'єднання (TLS 1.3), обробляються для харчового аналізу та не зберігаються на серверах Nutrola після завершення аналізу. Зображення не використовуються для реклами, не продаються третім особам і не діляться поза межами процесу харчового аналізу.

Користувачі можуть ознайомитися з повною політикою конфіденційності Nutrola для отримання детальної інформації про обробку даних, терміни зберігання та свої права щодо особистих даних.

Основні аспекти конфіденційності

Питання	На що звернути увагу
Шифрування даних	TLS/SSL під час передачі
Зберігання зображень	Чи видаляються фотографії після аналізу
Обмін з третіми особами	Чи діляться зображення з рекламодавцями або брокерами даних
Використання даних для навчання	Чи використовуються ваші фотографії для навчання моделей ШІ
Права на видалення даних	Можливість запитати видалення всіх збережених даних

Майбутнє фото-основного відстеження калорій

Технологія розпізнавання їжі на основі фотографій швидко вдосконалюється. Очікується, що кілька розробок значно підвищать точність і можливості в найближчій перспективі.

Оцінка з кількох кутів та на основі відео. Замість того, щоб покладатися на одне зображення, майбутні системи можуть використовувати короткі відеокліпи або кілька кутів, щоб створити тривимірне розуміння страви, що суттєво покращить оцінку розміру порції.

Датчики глибини. Смартфони, оснащені LiDAR або структурованими світловими датчиками глибини (які вже є в деяких флагманських моделях), можуть надати точну інформацію про глибину, що дозволяє системі розраховувати об'єм їжі, а не оцінювати його з плоского зображення.

Персоналізовані моделі. Коли користувачі ведуть облік і коригують страви з часом, система може вивчити їхні специфічні уподобання в їжі, типові розміри порцій і стилі приготування, створюючи персоналізовану модель, яка покращує точність для їхньої конкретної дієти.

Розширене покриття кухонь. Постійні зусилля з диверсифікації навчальних наборів даних покращують точність розпізнавання для недостатньо представлених кухонь, роблячи технологію більш справедливою та корисною для глобальної аудиторії.

Інтеграція з даними носимих пристроїв. Поєднання фото-основного ведення обліку їжі з даними з фітнес-трекерів, моніторів глюкози та інших носимих пристроїв дозволить здійснити більш цілісний і точний харчовий аналіз.

Часто задавані питання

Наскільки точним є фото-основне відстеження калорій у порівнянні з ручним веденням обліку?

Фото-основне відстеження калорій зазвичай оцінює вміст калорій в межах 15-25 відсотків від фактичного значення для стандартних страв. Ручне самозвітування без будь-яких інструментів, як показують клінічні дослідження, в середньому недооцінює споживання калорій на 20-50 відсотків. Коли користувачі переглядають і коригують оцінки, згенеровані ШІ, фото-основне відстеження зазвичай забезпечує таку ж або кращу точність, ніж ручне ведення обліку, з набагато меншими витратами часу та зусиль. Поєднання оцінки ШІ та людського перегляду, як правило, перевершує будь-який підхід окремо.

Чи може Snap & Track розпізнавати їжу з будь-якої кухні?

Snap & Track працює найкраще з кухнями, які добре представлені в його навчальних даних, що включає більшість західних, східноазійських, південноазійських і латиноамериканських страв. Точність розпізнавання для менш поширених регіональних кухонь може бути нижчою, хоча це є сферою активного вдосконалення. Якщо система не розпізнає конкретну страву, користувачі завжди можуть повернутися до ручного введення або безпосередньо шукати в базі даних. Nutrola постійно розширює свої навчальні дані зображень їжі, щоб покращити покриття глобальних кухонь.

Чи працює Snap & Track зі змішаними стравами, такими як супи, рагу та касеролі?

Змішані страви є однією з найбільш складних категорій для фото-основного розпізнавання, оскільки окремі інгредієнти змішуються, а не є візуально відмінними. Snap & Track може ідентифікувати багато звичайних змішаних страв (таких як чилі, рамен або карі) як цілі елементи та надати оцінені харчові дані на основі стандартних рецептів. Для домашніх змішаних страв з нестандартними інгредієнтами користувачі отримають кращу точність, ведучи облік окремих інгредієнтів вручну або використовуючи функцію створення рецептів для створення індивідуального запису.

Чи зберігаються мої фото їжі або діляться з третіми особами?

Nutrola передає фото їжі через зашифровані з'єднання для хмарного аналізу ШІ. Фотографії не зберігаються постійно на серверах Nutrola після завершення аналізу, і вони не діляться з третіми особами, не використовуються для реклами та не продаються брокерам даних. Користувачі зберігають повний контроль над своїми даними та можуть у будь-який час запитати видалення будь-якої збереженої інформації через налаштування конфіденційності програми.

Чи потрібна мені спеціальна камера або обладнання для використання фото-основного відстеження калорій?

Ніяке спеціальне обладнання не потрібно. Будь-яка сучасна камера смартфона (приблизно з 2018 року) забезпечує достатню якість зображення для точного розпізнавання їжі. Камери з вищою роздільною здатністю та кращим освітленням покращать результати, але система розроблена для хорошої роботи зі стандартним апаратним забезпеченням смартфона. Не потрібні об'єкти для порівняння, кроки калібрування або зовнішні аксесуари.

Чи слід використовувати Snap & Track для кожного прийому їжі, чи є моменти, коли інші методи кращі?

Найбільш точний підхід — використовувати правильний метод для кожної ситуації. Snap & Track ідеально підходить для страв на тарілці, обідів у ресторанах та будь-якої ситуації, коли їжа видима. Сканування штрих-кодів є більш точним для упакованих продуктів зі штрих-кодом, оскільки воно отримує точні дані виробника. Ручне введення є найкращим для інгредієнтів, які не видно на фотографіях, таких як олія для приготування, масло або добавки. Використання всіх трьох методів за потреби, а не покладання виключно на будь-який один, забезпечує найточніший щоденний харчовий облік.