Het Onderzoek Achter Nutrola's Voedselherkenningstechnologie

Wanneer je een foto van je avondeten maakt en Nutrola binnen drie seconden een volledige voedingsanalyse teruggeeft, zijn daar tientallen jaren aan onderzoek op het gebied van computer vision, voedingswetenschap en AI-engineering aan voorafgegaan. Wat lijkt op een enkele herkenningsmoment is in werkelijkheid een keten van gespecialiseerde modellen, elk gericht op het oplossen van een specifiek wetenschappelijk probleem. Van het moment dat de sluiter van je camera klikt tot het moment dat de macronutriëntenwaarden op het scherm verschijnen, gaat je afbeelding door een pijplijn die is opgebouwd op basis van fundamenteel onderzoek van instellingen zoals Stanford, MIT, Google DeepMind en het Computer Vision Lab van ETH Zürich.

Dit artikel volgt die pijplijn stap voor stap en verwijst naar het echte onderzoek en de technische concepten die Nutrola's voedselherkenning mogelijk maken.

De Computer Vision Pijplijn

Nutrola's voedselherkenning is geen enkel model. Het is een meerfasige pijplijn waarin elke fase een aparte taak uitvoert, en de output van de ene fase dient als input voor de volgende.

Fase 1 -- Afbeeldingsvoorverwerking. Voordat een neuraal netwerk je foto ziet, ondergaat de ruwe afbeelding normalisatie. Dit omvat het aanpassen van de grootte naar een standaard invoerresolutie, het corrigeren van witbalans en belichtingsvariaties, en het toepassen van data-augmentatietransformaties tijdens de training. Onderzoek van Krizhevsky, Sutskever en Hinton in hun baanbrekende paper over ImageNet uit 2012 toonde aan dat voorverwerking en augmentatie de generalisatie in diepe convolutionele neurale netwerken (CNN's) aanzienlijk verbeteren. Moderne pijplijnen breiden dit uit met technieken zoals CutMix (Yun et al., 2019) en RandAugment (Cubuk et al., 2020), die het model leren robuust te zijn tegen occlusie en kleurverschuivingen die vaak voorkomen in voedselfotografie.

Fase 2 -- Voedseldetectie en Segmentatie. Na de voorverwerking gaat de afbeelding door een objectdetectiemodel dat elk afzonderlijk voedselitem op het bord identificeert en lokaliseert. Deze fase is sterk gebaseerd op onderzoek naar regio-gebaseerde convolutionele neurale netwerken. Faster R-CNN (Ren et al., 2015) vestigde het paradigma van regio-voorstelnetwerken, terwijl recentere architecturen zoals DETR (Carion et al., 2020) van Facebook AI Research transformer-gebaseerde aandacht gebruiken om handmatig ontworpen componenten zoals ankerdozen volledig te elimineren. Voor pixel-niveau precisie wijzen semantische segmentatiemodellen, gebaseerd op architecturen zoals DeepLab (Chen et al., 2017), elke pixel in de afbeelding toe aan een voedselcategorie, wat cruciaal is voor gemengde gerechten waar ingrediënten elkaar overlappen.

Fase 3 -- Voedselclassificatie. Elke gedetecteerde voedselregio wordt vervolgens geclassificeerd. De basis van moderne voedselclassificeerders is afgeleid van architecturen die zijn gevalideerd op ImageNet (Deng et al., 2009), de dataset van 14 miljoen gelabelde afbeeldingen die de diepgaande leerrevolutie heeft aangewakkerd. Voedselspecifieke datasets zoals Food-101 (Bossard et al., 2014), die 101.000 afbeeldingen in 101 categorieën bevat, en UECFOOD-256 (Kawano en Yanai, 2015), die 256 voedselcategorieën dekt met een focus op de Japanse keuken, bieden de domeinspecifieke trainingsdata die nodig zijn om deze algemene architecturen te verfijnen voor voedselherkenning.

Fase 4 -- Portie Schatting. Nadat is vastgesteld wat er op het bord ligt, schat het systeem hoeveel van elk item aanwezig is. Dit is het moeilijkste onopgeloste probleem in het onderzoek naar voedselherkenning en omvat diepte-inschatting en volumetrisch redeneren vanuit een enkele 2D-afbeelding.

Fase 5 -- Voedingsmapping. Ten slotte worden het geclassificeerde voedselitem en de geschatte portiegrootte gekoppeld aan een geverifieerde voedingsdatabase om calorieën, eiwitten, koolhydraten, vetten en micronutriëntenwaarden te produceren.

Elke van deze fasen vertegenwoordigt een specifiek onderzoeksgebied. De onderstaande secties onderzoeken de meest technisch uitdagende fasen in detail.

Voedselclassificatie: Verder dan "Dat is een Salade"

Het onderscheiden van een salade van een biefstuk is eenvoudig voor elke moderne classifier. De echte uitdaging begint wanneer het systeem moet onderscheiden tussen visueel vergelijkbare gerechten: chicken tikka masala versus butter chicken, pad thai versus drunken noodles, of een Griekse salade versus een fattoush. Deze gerechten delen kleuren, texturen en structurele patronen, maar verschillen aanzienlijk in ingrediënten en caloriedichtheid.

Transfer Learning en Domeinadaptatie

De standaardbenadering voor voedselclassificatie is gebaseerd op transfer learning, een techniek die is geformaliseerd door Yosinski et al. (2014), waarbij een model dat is voorgetraind op een grote algemene dataset zoals ImageNet, verder wordt verfijnd op voedselspecifieke data. De lagere lagen van het netwerk, die randen, texturen en basisvormen detecteren, zijn goed overdraagbaar tussen domeinen. De hogere lagen, die semantische betekenis coderen, worden opnieuw getraind om voedselspecifieke kenmerken te leren, zoals het verschil tussen de glans van een gebakken oppervlak en de matte afwerking van een gestoomd oppervlak.

Onderzoek van Hassannejad et al. (2016) toonde aan dat het verfijnen van InceptionV3 op Food-101 een top-1 nauwkeurigheid van 88,28 procent bereikte, een significante sprong ten opzichte van eerdere handmatig ontworpen kenmerkbenaderingen. Meer recent werk met Vision Transformers (Dosovitskiy et al., 2020) en hun voedselspecifieke varianten heeft de nauwkeurigheid op Food-101 boven de 93 procent geduwd.

Multi-Label Classificatie voor Complexe Borden

Echte maaltijden bevatten zelden een enkel item. Een typisch dinerbord kan gegrilde zalm, geroosterde asperges, quinoa en een citroenboter saus bevatten. Multi-label classificatie, waarbij een enkele afbeelding meerdere onafhankelijke labels kan ontvangen, lost dit probleem op. Onderzoek van Wang et al. (2016) naar CNN-RNN-architecturen voor multi-label afbeeldingclassificatie heeft kaders vastgesteld die labelco-occurrencepatronen vastleggen. In het voedingsdomein betekent dit dat het model leert dat rijst en curry vaak samen voorkomen, wat als contextuele aanwijzing dient die de nauwkeurigheid van individuele voedselitems verbetert.

Nutrola breidt dit uit met een hiërarchisch classificatiesysteem. In plaats van een vlak label te voorspellen, classificeert het systeem eerst de brede voedselcategorie (graan, eiwit, groente, saus) en verfijnt het vervolgens naar het specifieke item binnen die categorie. Deze tweefasige aanpak vermindert verwarring tussen visueel vergelijkbare items uit verschillende categorieën en weerspiegelt hoe voedingsdatabases zijn georganiseerd.

Portie Schatting: De 3D Uitdaging

Het identificeren van welk voedsel er op een bord ligt, lost slechts de helft van het probleem op. Een portie van 100 gram kipfilet bevat 165 calorieën. Een portie van 250 gram bevat 412 calorieën. Zonder nauwkeurige portieschatting, zelfs bij perfecte voedselidentificatie, zijn de calorieën onbetrouwbaar.

Monoculaire Diepte Schatting

Het schatten van het volume van voedsel vanuit een enkele 2D-foto vereist dat het systeem diepte afleidt, een probleem dat bekend staat als monoculaire diepte schatting. Eigen, Puhrsch en Fergus (2014) publiceerden fundamenteel werk waaruit bleek dat CNN's pixelgewijze dieptemaps konden voorspellen vanuit enkele afbeeldingen. Meer recent onderzoek van Ranftl et al. (2021) introduceerde MiDaS, een model dat is getraind op gemengde datasets en robuuste relatieve diepteschattingen produceert over diverse scènes.

Voor voedseltoepassingen stelt diepte-inschatting het systeem in staat om een dunne laag saus die over een bord is verspreid te onderscheiden van een diepe kom soep. In combinatie met de bekende geometrie van veelvoorkomende referentieobjecten zoals borden, kommen en bestek, kunnen dieptemaps worden omgezet in geschatte volumeschattingen.

Geometrische Benaderingen voor Volume Schatting

Onderzoek van de Universiteit van Tokio (Okamoto en Yanai, 2016) toonde aan dat het voedselvolume kan worden geschat door geometrische primitieve vormen, zoals cilinders, halve bollen en rechthoekige prismas, aan te passen aan gesegmenteerde voedselregio's. Een berg rijst benadert een halve ellipsoïde. Een glas melk benadert een cilinder. Een plak brood benadert een rechthoekig prisma.

Deze geometrische benaderingen, gecombineerd met geleerde dichtheidsprioren (het systeem weet dat een bepaald volume aardappelpuree meer weegt dan hetzelfde volume popcorn), produceren gewichtsinschattingen die in onderzoek zijn aangetoond binnen 15 tot 20 procent van de werkelijke waarde voor de meeste gangbare voedingsmiddelen. Nutrola verfijnt deze schattingen verder met een eigen ensemble-aanpak die geometrisch redeneren combineert met geleerde regressiemodellen die zijn getraind op tienduizenden voedselafbeeldingen met bekende gewichten.

Referentieobject Kalibratie

Sommige voedselherkenningssystemen gebruiken bekende referentieobjecten in de scène voor schaalkalibratie. Een standaard dinerbord heeft een diameter van ongeveer 26 centimeter. Een creditcard meet 85,6 bij 53,98 millimeter. Wanneer het systeem dergelijke objecten detecteert, kan het een echte schaal vaststellen die de volume- en gewichtsinschattingen aanzienlijk verbetert. Onderzoek van Fang et al. (2016) aan de Purdue Universiteit toonde aan dat kalibratie op basis van borden de fout in portieschatting met ongeveer 25 procent verminderde in vergelijking met ongekalibreerde benaderingen.

De Geverifieerde Database Laag

AI-herkenning alleen is niet voldoende om nauwkeurige calorieën te leveren. Zelfs als een model 99 procent nauwkeurigheid bereikt in het identificeren van gegrilde kipfilet, hangt de uiteindelijke voedingsoutput volledig af van de kwaliteit van de database waar het aan koppelt.

Hier divergeert Nutrola's aanpak van veel concurrenten. De meeste voedseltracking-apps vertrouwen op crowdsourced databases waar elke gebruiker voedingsinformatie kan indienen. Studies hebben aangetoond dat crowdsourced voedsel databases foutpercentages tussen 15 en 30 procent bevatten, waarbij sommige vermeldingen meer dan 50 procent verschillen van laboratoriumgeverifieerde waarden voor belangrijke macronutriënten.

Nutrola onderhoudt een 100 procent geverifieerde voedingsdatabase. Elke vermelding wordt gecontroleerd tegen gezaghebbende bronnen, waaronder de USDA FoodData Central, de McCance en Widdowson samenstellingstabellen die door de Britse Nationale Gezondheidsdienst worden gebruikt, en peer-reviewed voedingsanalyses. Dit betekent dat zelfs als de AI-herkenningslaag een kleine foutmarge introduceert in voedselidentificatie of portieschatting, de voedingsdata waar het aan koppelt betrouwbaar is.

De verificatielaag houdt ook rekening met een nuance die pure AI-benaderingen missen: de bereidingswijze beïnvloedt de voedingsinhoud. Een kipfilet van 150 gram die gegrild is, bevat ongeveer 165 calorieën, maar dezelfde filet die in olijfolie is gebakken, bevat ongeveer 230 calorieën. Nutrola's database legt deze bereidingsafhankelijke variaties vast, en het herkenningsmodel is getraind om tussen kookmethoden te onderscheiden wanneer visuele aanwijzingen aanwezig zijn, zoals het verschil tussen een gegrild oppervlak en een gebakken oppervlak.

Continue Leren en Verbeteren

Voedselherkenning is geen probleem dat eenmaal is opgelost en vervolgens wordt ingezet. Keukens evolueren, nieuwe gerechten komen op, en de verwachtingen van gebruikers groeien. Het systeem van Nutrola is ontworpen voor continue verbetering via verschillende mechanismen die zijn gebaseerd op machine learning onderzoek.

Actief Leren

Actief leren, geformaliseerd door Settles (2009), is een strategie waarbij het model de voorbeelden identificeert waar het het minst zeker van is en deze prioriteit geeft voor menselijke beoordeling en labeling. Wanneer Nutrola's systeem een gerecht tegenkomt dat het niet met hoge zekerheid kan classificeren, wordt die afbeelding gemarkeerd voor deskundige beoordeling. Zodra deze is gelabeld, komt deze in de trainingspijplijn en verbetert het model precies op de plekken waar het het zwakst was.

Deze aanpak is veel data-efficiënter dan willekeurig meer trainingsafbeeldingen verzamelen. Onderzoek heeft consequent aangetoond dat actief leren een equivalente modelnauwkeurigheid kan bereiken met 30 tot 60 procent minder gelabelde data in vergelijking met willekeurige sampling.

Omgaan met Nieuwe Voedingsmiddelen en Regionale Keukens

Een van de grootste uitdagingen in voedselherkenning is de dekking van regionale en cultureel specifieke gerechten. Een model dat voornamelijk is getraind op de westerse keuken, kan moeite hebben met Zuidoost-Aziatische desserts, West-Afrikaanse stoofschotels of Scandinavische gefermenteerde voedingsmiddelen. Nutrola pakt dit aan door gerichte dataverzamelingscampagnes te organiseren die zich richten op ondervertegenwoordigde keukens, gecombineerd met few-shot learning technieken (Wang et al., 2020) die het model in staat stellen nieuwe voedselcategorieën te leren vanuit relatief kleine aantallen voorbeelden.

Gebruikersfeedback is een cruciale input voor dit proces. Wanneer een gebruiker een verkeerd geïdentificeerd voedsel corrigeert, wordt die correctie teruggekoppeld naar de trainingspijplijn. Geaggregeerd over miljoenen maaltijden die wereldwijd zijn geregistreerd, creëren deze correcties een continue stroom van grondwaarheidsdata die precies de voedingsmiddelen dekt die echte mensen in hun dagelijks leven eten.

Hoe Dit Zich Vertaal naar Jouw Bord

Het hierboven beschreven onderzoek levert concrete voordelen op die je elke keer ervaart wanneer je Nutrola opent.

Drie-seconden logging. De hele pijplijn, van afbeeldingsvoorverwerking tot voedingslookup, wordt in minder dan drie seconden uitgevoerd op een moderne smartphone. Modeloptimalisatietechnieken, waaronder kwantisatie (Jacob et al., 2018) en neurale architectuurzoektochten (Zoph en Le, 2017), stellen complexe modellen in staat om efficiënt op mobiele hardware te draaien zonder in te boeten op nauwkeurigheid.

Complexe maaltijdverwerking. Multi-label detectie en semantische segmentatie betekenen dat je niet elk voedselitem afzonderlijk hoeft te fotograferen. Een enkele foto van een volgeladen dinerbord levert individuele voedingsanalyses op voor elk onderdeel.

Cross-keuken nauwkeurigheid. Continue leren en gerichte dataverzameling zorgen ervoor dat het systeem werkt, of je nu sushi eet in Tokio, taco's in Mexico-Stad, injera in Addis Abeba of een zondagse roast in Londen. Het model verbetert met elke maaltijd die wereldwijd wordt geregistreerd via Nutrola's gebruikersbasis.

Progressieve nauwkeurigheidsverbetering. Hoe meer je Nutrola gebruikt, hoe beter het wordt, zowel voor jou persoonlijk als voor alle gebruikers gezamenlijk. Actief leren zorgt ervoor dat het model zich richt op de exacte gevallen waar het het meest verbetering nodig heeft.

Geverifieerde voedingsdata. In tegenstelling tot apps die vertrouwen op crowdsourced databases met onbekende foutpercentages, is elke calorieënwaarde die Nutrola teruggeeft onderbouwd met laboratorium-geverifieerde voedingsdata. De AI identificeert het voedsel; de geverifieerde database zorgt ervoor dat de cijfers kloppen.

FAQ

Hoe herkent Nutrola's AI voedsel vanuit een foto?

Nutrola gebruikt een meerfasige computer vision pijplijn. Je foto gaat eerst door afbeeldingsvoorverwerking, vervolgens door een deep learning detectiemodel dat elk voedselitem op het bord identificeert en segmenteert. Elk item wordt geclassificeerd met behulp van convolutionele neurale netwerken die zijn verfijnd op voedselspecifieke datasets, de portie wordt geschat met behulp van diepte- en volumetrisch redeneren, en het resultaat wordt gekoppeld aan Nutrola's geverifieerde voedingsdatabase om calorieën en macronutriëntenwaarden te produceren.

Hoe nauwkeurig is Nutrola's voedselherkenningstechnologie?

Nutrola's classificatiemodellen behalen top-1 nauwkeurigheidspercentages van meer dan 90 procent op standaard voedselherkenningsbenchmarks, met top-5 nauwkeurigheid die meer dan 95 procent overschrijdt. Voor portieschatting valt het systeem doorgaans binnen 15 tot 20 procent van het werkelijke gewicht, wat vergelijkbaar is met of beter dan de schattingsnauwkeurigheid van getrainde diëtisten. In combinatie met Nutrola's geverifieerde database levert dit calorie-inschattingen op die aanzienlijk betrouwbaarder zijn dan handmatige registratie, waarvan onderzoek aantoont dat het de inname met 10 tot 45 procent onderschat.

Welk onderzoek en welke datasets ondersteunen Nutrola's voedselherkenning AI?

Nutrola's technologie is gebaseerd op fundamenteel onderzoek in computer vision, waaronder convolutionele neurale netwerken die zijn gevalideerd op ImageNet, objectdetectie-architecturen zoals Faster R-CNN en DETR, en voedselspecifieke datasets zoals Food-101 en UECFOOD-256. Het systeem maakt ook gebruik van monoculaire diepte-inschatting onderzoek voor portiegrootte en actief leren onderzoek voor continue modelverbetering. Alle voedingsdata worden geverifieerd aan de hand van gezaghebbende bronnen zoals de USDA FoodData Central.

Kan Nutrola meerdere voedingsmiddelen op een enkel bord herkennen?

Ja. Nutrola gebruikt multi-label detectie en semantische segmentatie om elk afzonderlijk voedselitem in een enkele foto te identificeren en apart te analyseren. Of je bord nu twee items of acht bevat, het systeem is in staat om elk item te isoleren, het onafhankelijk te classificeren, de portie te schatten en een voedingsanalyse per item terug te geven, samen met het totaal van de maaltijd.

Hoe gaat Nutrola om met voedingsmiddelen uit verschillende keukens en culturen?

Nutrola combineert breed-dekkende trainingsdata met gerichte dataverzameling voor ondervertegenwoordigde keukens en few-shot learning technieken die het model in staat stellen nieuwe voedselcategorieën te leren vanuit relatief kleine aantallen voorbeelden. Gebruikerscorrecties van Nutrola's wereldwijde gebruikersbasis worden continu teruggekoppeld naar de trainingspijplijn, waardoor de nauwkeurigheid verbetert voor de specifieke gerechten die mensen daadwerkelijk eten in elke regio en voedselcultuur.

Verbeterd Nutrola's voedselherkenning in de loop van de tijd?

Ja. Nutrola maakt gebruik van actief leren, een machine learning strategie waarbij het systeem de afbeeldingen identificeert waar het het minst zeker van is en deze prioriteit geeft voor deskundige beoordeling en hertraining. In combinatie met geaggregeerde gebruikersfeedback van miljoenen geregistreerde maaltijden wereldwijd, betekent dit dat het model continu verbetert. Elke maaltijd die je registreert, draagt bij aan het verbeteren van Nutrola's herkenning voor alle gebruikers.