La Recherche Derrière la Technologie de Reconnaissance Alimentaire de Nutrola

Lorsque vous prenez une photo de votre dîner et que Nutrola vous renvoie une analyse nutritionnelle complète en moins de trois secondes, des décennies de recherche en vision par ordinateur, en sciences nutritionnelles et en ingénierie de l'IA travaillent en coulisses. Ce qui semble être un instant de reconnaissance est en réalité une cascade de modèles spécialisés, chacun résolvant un problème scientifique distinct. Depuis le moment où l'obturateur de votre appareil photo se déclenche jusqu'à l'affichage des valeurs de macronutriments à l'écran, votre image passe par un pipeline construit sur des recherches fondamentales provenant d'institutions telles que Stanford, MIT, Google DeepMind et le Laboratoire de Vision par Ordinateur de l'ETH Zurich.

Cet article retrace ce pipeline étape par étape, en citant les recherches réelles et les concepts techniques qui rendent possible la reconnaissance alimentaire de Nutrola.

Le Pipeline de Vision par Ordinateur

La reconnaissance alimentaire de Nutrola ne repose pas sur un seul modèle. C'est un pipeline à plusieurs étapes où chaque étape gère une tâche distincte, et la sortie d'une étape alimente la suivante.

Étape 1 -- Prétraitement de l'image. Avant qu'un réseau de neurones ne voie votre photo, l'image brute subit une normalisation. Cela inclut le redimensionnement à une résolution d'entrée standard, l'ajustement de la balance des blancs et des variations d'exposition, ainsi que l'application de transformations d'augmentation des données pendant l'entraînement. Les recherches de Krizhevsky, Sutskever et Hinton dans leur article marquant de 2012 sur ImageNet ont démontré que le prétraitement et l'augmentation améliorent considérablement la généralisation dans les réseaux de neurones convolutifs profonds (CNN). Les pipelines modernes étendent cela avec des techniques comme CutMix (Yun et al., 2019) et RandAugment (Cubuk et al., 2020), qui enseignent au modèle à être robuste face aux occlusions et aux variations de couleur courantes en photographie alimentaire.

Étape 2 -- Détection et Segmentation des Aliments. Une fois prétraitée, l'image passe par un modèle de détection d'objets qui identifie et localise chaque aliment distinct sur l'assiette. Cette étape s'appuie fortement sur la recherche en réseaux de neurones convolutifs basés sur des régions. Faster R-CNN (Ren et al., 2015) a établi le paradigme des réseaux de proposition de régions, tandis que des architectures plus récentes comme DETR (Carion et al., 2020) de Facebook AI Research utilisent l'attention basée sur des transformateurs pour éliminer complètement des composants conçus manuellement comme les boîtes d'ancrage. Pour une précision au niveau des pixels, les modèles de segmentation sémantique basés sur des architectures comme DeepLab (Chen et al., 2017) attribuent chaque pixel de l'image à une catégorie alimentaire, ce qui est crucial pour les plats mixtes où les ingrédients se chevauchent.

Étape 3 -- Classification des Aliments. Chaque région alimentaire détectée est ensuite classifiée. L'architecture de base des classificateurs alimentaires modernes descend des architectures validées sur ImageNet (Deng et al., 2009), le jeu de données de 14 millions d'images étiquetées qui a catalysé la révolution de l'apprentissage profond. Des ensembles de données spécifiques aux aliments comme Food-101 (Bossard et al., 2014), qui contient 101 000 images réparties sur 101 catégories, et UECFOOD-256 (Kawano et Yanai, 2015), qui couvre 256 catégories alimentaires avec un accent sur la cuisine japonaise, fournissent les données d'entraînement spécifiques au domaine nécessaires pour affiner ces architectures polyvalentes pour la reconnaissance alimentaire.

Étape 4 -- Estimation des Portions. Après avoir identifié ce qui se trouve sur l'assiette, le système estime la quantité de chaque élément présent. C'est le problème non résolu le plus difficile dans la recherche sur la reconnaissance alimentaire et cela implique l'estimation de la profondeur et le raisonnement volumétrique à partir d'une seule image 2D.

Étape 5 -- Cartographie Nutritionnelle. Enfin, l'élément alimentaire classifié et sa taille de portion estimée sont mappés à une base de données nutritionnelle vérifiée pour produire des valeurs de calories, protéines, glucides, graisses et micronutriments.

Chacune de ces étapes représente un domaine de recherche actif. Les sections suivantes examinent en détail les étapes les plus techniquement difficiles.

Classification des Aliments : Au-delà de "C'est une Salade"

Faire la distinction entre une salade et un steak est simple pour n'importe quel classificateur moderne. Le véritable défi commence lorsque le système doit différencier des plats visuellement similaires : chicken tikka masala contre butter chicken, pad thai contre drunken noodles, ou une salade grecque contre un fattoush. Ces plats partagent des couleurs, des textures et des motifs structurels, mais diffèrent considérablement en ingrédients et en densité calorique.

Apprentissage par Transfert et Adaptation de Domaine

L'approche standard pour la classification des aliments repose sur l'apprentissage par transfert, une technique formalisée par Yosinski et al. (2014), où un modèle préentraîné sur un grand ensemble de données général comme ImageNet est affiné sur des données spécifiques aux aliments. Les couches inférieures du réseau, qui détectent les bords, les textures et les formes de base, se transfèrent bien entre les domaines. Les couches supérieures, qui encodent le sens sémantique, sont réentraînées pour apprendre des caractéristiques spécifiques aux aliments, comme la différence entre le brillant d'une surface frite et la finition mate d'une surface cuite à la vapeur.

Les recherches de Hassannejad et al. (2016) ont démontré que l'affinage d'InceptionV3 sur Food-101 a atteint une précision top-1 de 88,28 %, un bond significatif par rapport aux approches antérieures basées sur des caractéristiques artisanales. Des travaux plus récents utilisant des Vision Transformers (Dosovitskiy et al., 2020) et leurs variantes spécifiques aux aliments ont porté la précision sur Food-101 au-dessus de 93 %.

Classification Multi-Étiquettes pour des Assiettes Complexes

Les repas réels contiennent rarement un seul élément. Une assiette typique peut contenir du saumon grillé, des asperges rôties, du quinoa et une sauce au beurre citronné. La classification multi-étiquettes, où une seule image peut recevoir plusieurs étiquettes indépendantes, résout ce problème. Les recherches de Wang et al. (2016) sur les architectures CNN-RNN pour la classification d'images multi-étiquettes ont établi des cadres qui capturent les motifs de co-occurrence des étiquettes. Dans le domaine alimentaire, cela signifie que le modèle apprend que le riz et le curry apparaissent fréquemment ensemble, ce qui sert de signal contextuel améliorant la précision des éléments alimentaires individuels.

Nutrola étend cela avec un système de classification hiérarchique. Plutôt que de prédire une étiquette plate, le système classe d'abord la large catégorie alimentaire (céréale, protéine, légume, sauce), puis se concentre sur l'élément spécifique au sein de cette catégorie. Cette approche en deux étapes réduit la confusion entre des éléments visuellement similaires de différentes catégories et reflète la manière dont les bases de données nutritionnelles sont organisées.

Estimation des Portions : Le Défi 3D

Identifier quels aliments se trouvent sur une assiette ne résout que la moitié du problème. Une portion de 100 grammes de poitrine de poulet contient 165 calories. Une portion de 250 grammes en contient 412. Sans une estimation précise des portions, même une identification alimentaire parfaite produit des comptes de calories peu fiables.

Estimation de la Profondeur Monoculaire

Estimer le volume des aliments à partir d'une seule photographie 2D nécessite que le système infère la profondeur, un problème connu sous le nom d'estimation de la profondeur monoculaire. Eigen, Puhrsch et Fergus (2014) ont publié des travaux fondamentaux démontrant que les CNN pouvaient prédire des cartes de profondeur pixel par pixel à partir d'images uniques. Des recherches plus récentes de Ranftl et al. (2021) ont introduit MiDaS, un modèle entraîné sur des ensembles de données mixtes qui produit des estimations de profondeur relative robustes à travers des scènes diverses.

Pour les applications alimentaires, l'estimation de la profondeur permet au système de distinguer entre une fine couche de sauce étalée sur une assiette et un bol profond de soupe. Associées à la géométrie connue d'objets de référence courants comme les assiettes, les bols et les ustensiles, les cartes de profondeur peuvent être converties en estimations de volume approximatives.

Approches Géométriques pour l'Estimation de Volume

Des recherches de l'Université de Tokyo (Okamoto et Yanai, 2016) ont démontré que le volume des aliments pouvait être estimé en ajustant des primitives géométriques, telles que des cylindres, des hémisphères et des prismes rectangulaires, aux régions alimentaires segmentées. Un tas de riz s'apparente à un demi-ellipsoïde. Un verre de lait s'apparente à un cylindre. Une tranche de pain s'apparente à un prisme rectangulaire.

Ces approximations géométriques, combinées à des priorités de densité apprises (le système sait qu'un volume donné de purée de pommes de terre pèse plus que le même volume de pop-corn), produisent des estimations de poids qui, selon les recherches, se situent à 15-20 % de la vérité terrain pour la plupart des aliments courants. Nutrola affine ces estimations grâce à une approche d'ensemble propriétaire qui combine le raisonnement géométrique avec des modèles de régression appris sur des dizaines de milliers d'images alimentaires avec des poids connus.

Calibration par Objets de Référence

Certains systèmes de reconnaissance alimentaire utilisent des objets de référence connus dans la scène pour la calibration d'échelle. Une assiette standard a un diamètre d'environ 26 centimètres. Une carte de crédit mesure 85,6 par 53,98 millimètres. Lorsque le système détecte de tels objets, il peut établir une échelle réelle qui améliore considérablement les estimations de volume et de poids. Les recherches de Fang et al. (2016) à l'Université de Purdue ont montré que la calibration basée sur l'assiette réduisait l'erreur d'estimation des portions d'environ 25 % par rapport aux approches non calibrées.

La Couche de Base de Données Vérifiée

La reconnaissance par IA seule ne suffit pas à fournir des comptes de calories précis. Même si un modèle atteint 99 % de précision dans l'identification de la poitrine de poulet grillée, la sortie nutritionnelle finale dépend entièrement de la qualité de la base de données à laquelle elle est mappée.

C'est ici que l'approche de Nutrola diverge de celle de nombreux concurrents. La plupart des applications de suivi alimentaire s'appuient sur des bases de données crowdsourcées où n'importe quel utilisateur peut soumettre des informations nutritionnelles. Des études ont révélé que les bases de données alimentaires crowdsourcées contiennent des taux d'erreur compris entre 15 et 30 %, certaines entrées différant des valeurs vérifiées en laboratoire de plus de 50 % pour des macronutriments clés.

Nutrola maintient une base de données nutritionnelle 100 % vérifiée. Chaque entrée est recoupée avec des sources autorisées, y compris la base de données USDA FoodData Central, les tables de composition McCance et Widdowson utilisées par le NHS britannique, et des analyses nutritionnelles évaluées par des pairs. Cela signifie que même si la couche de reconnaissance IA introduit une petite marge d'erreur dans l'identification des aliments ou l'estimation des portions, les données nutritionnelles auxquelles elle est mappée sont fiables.

La couche de vérification gère également une subtilité que les approches purement IA manquent : la méthode de préparation affecte le contenu nutritionnel. Une poitrine de poulet de 150 grammes grillée contient environ 165 calories, mais la même poitrine frite à l'huile d'olive en contient environ 230. La base de données de Nutrola capture ces variations dépendantes de la préparation, et le modèle de reconnaissance est entraîné pour distinguer les méthodes de cuisson lorsque des indices visuels sont présents, comme la différence entre une surface grillée et une surface frite.

Apprentissage et Amélioration Continus

La reconnaissance alimentaire n'est pas un problème résolu une fois pour toutes. Les cuisines évoluent, de nouveaux plats émergent et les attentes des utilisateurs augmentent. Le système de Nutrola est conçu pour une amélioration continue grâce à plusieurs mécanismes ancrés dans la recherche en apprentissage automatique.

Apprentissage Actif

L'apprentissage actif, formalisé par Settles (2009), est une stratégie où le modèle identifie les exemples pour lesquels il a le moins de confiance et les priorise pour un examen et un étiquetage humains. Lorsque le système de Nutrola rencontre un plat qu'il ne peut pas classer avec une grande confiance, cette image est signalée pour un examen par des experts. Une fois étiquetée, elle entre dans le pipeline d'entraînement et le modèle s'améliore précisément sur les cas où il était le plus faible.

Cette approche est beaucoup plus efficace en termes de données que de collecter aléatoirement plus d'images d'entraînement. Les recherches ont constamment montré que l'apprentissage actif peut atteindre une précision équivalente du modèle avec 30 à 60 % de données étiquetées en moins par rapport à un échantillonnage aléatoire.

Gestion des Aliments Nouveaux et des Cuisines Régionales

Un des défis les plus significatifs dans la reconnaissance alimentaire est la couverture des plats régionaux et culturellement spécifiques. Un modèle principalement entraîné sur la cuisine occidentale peut avoir des difficultés avec les desserts d'Asie du Sud-Est, les ragoûts d'Afrique de l'Ouest ou les aliments fermentés scandinaves. Nutrola aborde cela par des campagnes de collecte de données ciblées axées sur les cuisines sous-représentées, combinées à des techniques d'apprentissage à quelques exemples (Wang et al., 2020) qui permettent au modèle d'apprendre de nouvelles catégories alimentaires à partir de relativement peu d'exemples.

Les retours des utilisateurs sont une entrée critique dans ce processus. Lorsqu'un utilisateur corrige un aliment mal identifié, cette correction est réintroduite dans le pipeline d'entraînement. Agrégées à travers des millions de repas enregistrés dans le monde, ces corrections créent un flux continu de données de vérité terrain qui couvre exactement les aliments que les gens consomment dans leur vie quotidienne.

Comment Cela Se Traduit sur Votre Assiette

Les recherches décrites ci-dessus produisent des avantages concrets que vous expérimentez chaque fois que vous ouvrez Nutrola.

Enregistrement en trois secondes. L'ensemble du pipeline, du prétraitement de l'image à la recherche nutritionnelle, s'exécute en moins de trois secondes sur un smartphone moderne. Les techniques d'optimisation des modèles, y compris la quantification (Jacob et al., 2018) et la recherche d'architecture neuronale (Zoph et Le, 2017), permettent à des modèles complexes de fonctionner efficacement sur du matériel mobile sans sacrifier la précision.

Gestion des repas complexes. La détection multi-étiquettes et la segmentation sémantique signifient que vous n'avez pas besoin de photographier chaque aliment séparément. Une seule photo d'une assiette chargée produit des analyses nutritionnelles individuelles pour chaque composant.

Précision inter-cuisines. L'apprentissage continu et la collecte de données ciblées garantissent que le système fonctionne que vous mangiez des sushis à Tokyo, des tacos à Mexico, de l'injera à Addis-Abeba ou un rôti dominical à Londres. Le modèle s'améliore avec chaque repas enregistré par la base d'utilisateurs mondiale de Nutrola.

Amélioration progressive de la précision. Plus vous utilisez Nutrola, mieux il devient, tant pour vous individuellement que pour tous les utilisateurs collectivement. L'apprentissage actif garantit que le modèle concentre son amélioration sur les cas exacts où il en a le plus besoin.

Données nutritionnelles vérifiées. Contrairement aux applications qui s'appuient sur des bases de données crowdsourcées avec des taux d'erreur inconnus, chaque compte de calories que Nutrola renvoie est soutenu par des données nutritionnelles vérifiées en laboratoire. L'IA identifie les aliments ; la base de données vérifiée garantit que les chiffres sont corrects.

FAQ

Comment l'IA de Nutrola reconnaît-elle les aliments à partir d'une photo ?

Nutrola utilise un pipeline de vision par ordinateur à plusieurs étapes. Votre photo passe d'abord par un prétraitement d'image, puis par un modèle de détection basé sur l'apprentissage profond qui identifie et segmente chaque aliment sur l'assiette. Chaque élément est classifié à l'aide de réseaux de neurones convolutifs affinés sur des ensembles de données spécifiques aux aliments, sa portion est estimée à l'aide de raisonnement en profondeur et volumétrique, et le résultat est mappé à la base de données nutritionnelle vérifiée de Nutrola pour produire des valeurs de calories et de macronutriments.

Quelle est la précision de la technologie de reconnaissance alimentaire de Nutrola ?

Les modèles de classification de Nutrola atteignent des taux de précision top-1 supérieurs à 90 % sur des benchmarks standard de reconnaissance alimentaire, avec une précision top-5 dépassant 95 %. Pour l'estimation des portions, le système se situe généralement à 15-20 % du poids réel, ce qui est comparable ou meilleur que la précision d'estimation des diététiciens formés. Associé à la base de données vérifiée de Nutrola, cela produit des estimations de calories significativement plus fiables que l'enregistrement manuel, qui, selon les recherches, sous-estime l'apport de 10 à 45 %.

Quelles recherches et ensembles de données alimentent l'IA de reconnaissance alimentaire de Nutrola ?

La technologie de Nutrola s'appuie sur des recherches fondamentales en vision par ordinateur, y compris des réseaux de neurones convolutifs validés sur ImageNet, des architectures de détection d'objets comme Faster R-CNN et DETR, et des ensembles de données spécifiques aux aliments comme Food-101 et UECFOOD-256. Le système s'appuie également sur des recherches en estimation de profondeur monoculaire pour la taille des portions et des recherches sur l'apprentissage actif pour l'amélioration continue du modèle. Toutes les données nutritionnelles sont vérifiées par rapport à des sources autorisées comme la base de données USDA FoodData Central.

Nutrola peut-elle reconnaître plusieurs aliments sur une seule assiette ?

Oui. Nutrola utilise la détection multi-étiquettes et la segmentation sémantique pour identifier et analyser séparément chaque aliment distinct dans une seule photo. Que votre assiette contienne deux éléments ou huit, le système isole chacun d'eux, le classe indépendamment, estime sa portion et renvoie une analyse nutritionnelle par élément ainsi que le total du repas.

Comment Nutrola gère-t-elle les aliments de différentes cuisines et cultures ?

Nutrola combine des données d'entraînement à large couverture avec des campagnes de collecte de données ciblées pour les cuisines sous-représentées et des techniques d'apprentissage à quelques exemples qui permettent au modèle d'apprendre de nouvelles catégories alimentaires à partir de relativement peu d'exemples. Les corrections des utilisateurs de la base mondiale d'utilisateurs de Nutrola alimentent continuellement le pipeline d'entraînement, garantissant que la précision s'améliore pour les plats spécifiques que les gens consomment réellement dans chaque région et culture alimentaire.

La reconnaissance alimentaire de Nutrola s'améliore-t-elle avec le temps ?

Oui. Nutrola utilise l'apprentissage actif, une stratégie d'apprentissage automatique où le système identifie les images pour lesquelles il a le moins de confiance et priorise celles-ci pour un examen par des experts et un réentraînement. Associé aux retours agrégés des utilisateurs provenant de millions de repas enregistrés dans le monde, cela signifie que le modèle s'améliore continuellement. Chaque repas que vous enregistrez contribue à rendre la reconnaissance de Nutrola plus précise pour tous les utilisateurs.