Från forskningslaboratorium till din telefon: Datorseendet bakom modern matigenkänning

Teknologin som låter dig ta en bild av din middag och omedelbart se dess kaloriinnehåll har inte dykt upp ur tomma intet. Den är resultatet av decennier av akademisk forskning, otaliga publicerade artiklar och en konstant ström av genombrott inom datorseende och djupinlärning. Det som började som ett nischproblem i universitetslaboratorier har blivit en funktion som miljontals människor använder varje dag utan att tänka på det.

Den här artikeln följer hela resan för AI:n inom matigenkänning, från dess rötter i grundläggande forskning inom datorseende till den realtidsmatidentifiering som körs på din telefon. Under vägen kommer vi att titta på viktiga artiklar, benchmark-datamängder, de ständiga utmaningarna och ingenjörsarbetet som krävs för att omvandla laboratorieresultat till en pålitlig konsumentprodukt.

Gnistan som förändrade allt: ImageNet och djupinlärningsrevolutionen

För att förstå hur matigenkänning fungerar idag måste vi börja med en tävling som inte hade något med mat att göra.

ImageNet Large Scale Visual Recognition Challenge

År 2009 släppte Fei-Fei Li och hennes team vid Stanford ImageNet, en datamängd med över 14 miljoner bilder organiserade i mer än 20 000 kategorier. Den tillhörande ImageNet Large Scale Visual Recognition Challenge (ILSVRC) bad forskare att bygga system som kunde klassificera bilder i 1 000 objektkategorier, från flygplan till zebror. Under flera år använde de bästa systemen handgjorda funktioner och traditionella maskininlärningstekniker, vilket resulterade i topp-5 felgrader på omkring 25 till 28 procent.

Sedan kom 2012.

Alex Krizhevsky, Ilya Sutskever och Geoffrey Hinton deltog med ett djupkonvolutionellt neuralt nätverk som de kallade AlexNet. Det uppnådde en topp-5 felgrad på 15,3 procent, vilket krossade andraplatsen med mer än 10 procentenheter. Detta var inte en gradvis förbättring. Det var ett paradigmskifte som signalerade ankomsten av djupinlärning som den dominerande metoden inom datorseende.

Artikeln "ImageNet Classification with Deep Convolutional Neural Networks" (Krizhevsky et al., 2012) är en av de mest citerade artiklarna inom datavetenskap. Dess påverkan sträckte sig långt bortom ImageNet-utmaningen. Forskare inom varje delområde av datorseende, inklusive matigenkänning, började omedelbart utforska hur djupkonvolutionella neurala nätverk kunde tillämpas på sina specifika problem.

Varför ImageNet 2012 var viktigt för mat

Innan AlexNet förlitade sig matigenkänningssystem på handkonstruerade funktioner: färghistogram, texturdeskriptorer som Local Binary Patterns (LBP) och formbaserade funktioner som extraherades med algoritmer som SIFT (Scale-Invariant Feature Transform). Dessa metoder hade svårt att generalisera. Ett system som tränades för att känna igen pizza med hjälp av färg- och texturfunktioner skulle misslyckas när det presenterades för en pizza med en ovanlig topping eller under ovanliga ljusförhållanden.

Djupa CNN:er förändrade grundläggande förutsättningarna. Istället för att forskare skulle behöva definiera vilka visuella funktioner som är viktiga, lärde nätverket sig diskriminerande funktioner direkt från data. Detta innebar att givet tillräckligt med träningsbilder kunde en CNN lära sig att känna igen mat under en mängd olika förhållanden, hantera variationer i belysning, vinkel, uppläggning och tillagning som skulle övervinna handgjorda metoder.

Kaskaden av förbättringar: 2013 till 2020

Åren efter AlexNet producerade en snabb följd av arkitektoniska innovationer, där varje nyhet ökade noggrannheten och gjorde implementeringen mer praktisk:

År	Arkitektur	Nyckelbidrag	ImageNet Topp-5 Fel
2012	AlexNet	Bevisade djupa CNN:er i stor skala	15.3%
2014	VGGNet	Visade att djup (16-19 lager) förbättrar noggrannheten	7.3%
2014	GoogLeNet (Inception)	Multi-skala funktionsextraktion med effektiv beräkning	6.7%
2015	ResNet	Residualkopplingar som möjliggör 152-lagers nätverk	3.6%
2017	SENet	Kanaluppmärkningsmekanismer	2.3%
2019	EfficientNet	Kompoundskalning för optimal noggrannhet/effektivitet	2.0%
2020	Vision Transformer (ViT)	Självuppmärksamhet tillämpad på bildpatchar	1.8%

Var och en av dessa arkitekturer adopterades snabbt av forskare inom matigenkänning, som använde dem som ryggrad för mat-specifika modeller.

Food-101-datamängden: Ge forskare en gemensam referensram

Generella bildklassificerare tränade på ImageNet kunde särskilja en pizza från en bil, men att särskilja pizza margherita från pizza bianca kräver en mycket finare nivå av visuell diskriminering. Forskarsamhället inom matigenkänning behövde sin egen storskaliga datamängd.

Bossard et al. och födelsen av Food-101

År 2014 publicerade Lukas Bossard, Matthieu Guillaumin och Luc Van Gool från ETH Zürich "Food-101 -- Mining Discriminative Components with Random Forests" vid den europeiska konferensen om datorseende (ECCV). De introducerade Food-101-datamängden: 101 000 bilder som spänner över 101 matkategorier, med 1 000 bilder per kategori. Bilderna samlades medvetet in från verkliga källor (Foodspotting, en social plattform för matdelning) snarare än kontrollerade laboratoriemiljöer, vilket innebar att de inkluderade brus, variation och imperfektioner från verkliga matbilder.

Food-101 etablerade en gemensam referensram som gjorde det möjligt för forskare att jämföra sina metoder direkt. Den ursprungliga artikeln uppnådde 50,76 procent topp-1 noggrannhet med en random forest-metod med handgjorda funktioner. Inom ett år överträffade djupinlärningsmetoder 70 procent. År 2018 översteg modeller byggda på arkitekturer som Inception och ResNet 90 procent topp-1 noggrannhet på Food-101.

Andra viktiga matdatamängder

Food-101 var den mest använda referensen, men forskarsamhället producerade flera andra datamängder som drev fältet framåt:

UEC-Food100 och UEC-Food256 (2012, 2014): Utvecklade av University of Electro-Communications i Japan, fokuserade dessa datamängder på japansk mat och introducerade bounding box-annoteringar för multi-matdetektion. UEC-Food256 utvidgade täckningen till 256 kategorier som spänner över flera asiatiska kök.

VIREO Food-172 (2016): Skapad av City University of Hong Kong, inkluderade denna datamängd 172 kinesiska matkategorier tillsammans med ingrediensannoteringar, vilket möjliggjorde forskning om ingrediensnivåigenkänning.

Nutrition5k (2021): Utvecklad av Google Research, kopplade denna datamängd matbilder med precisa näringsmått som erhållits genom kalorimetri. Med 5 006 realistiska måltider och laboratorieverifierade kaloriantal, gav Nutrition5k en grundsanningsdatamängd för träning och utvärdering av portionsuppskattningssystem.

Food2K (2021): En storskalig referens som innehåller 2 000 matkategorier och över en miljon bilder, utformad för att driva matigenkänning mot skalan av generell objektigenkänning.

MAFood-121 (2019): Fokuserad på multi-attribut matigenkänning, inklusive kökstyp och tillagningsmetod tillsammans med matkategorin, vilket återspeglar det verkliga behovet av att förstå inte bara vad en mat är utan hur den tillagades.

Tillgången till dessa datamängder var avgörande. Inom maskininlärning spelar kvaliteten och skalan av träningsdata ofta en större roll än modellarkitekturen. Varje ny datamängd utvidgade det spektrum av livsmedel, kök och visuella förhållanden som modeller kunde lära sig från.

Varför mat är svårare än "vanlig" objektigenkänning

Forskare som arbetar med matigenkänning upptäckte snabbt att mat presenterar unika utmaningar som inte uppstår inom generell objektigenkänning. Att förstå dessa utmaningar förklarar varför ett system som kan identifiera bilar, hundar och byggnader pålitligt kan ha svårt med en tallrik mat.

Problemet med intra-kategorivariation

En golden retriever ser ut som en golden retriever oavsett om den sitter, springer eller sover. Men en sallad kan se ut som nästan vad som helst. En grekisk sallad, en Caesarsallad, en Waldorfsallad och en grönkåls- och kvinoasallad delar samma etikettkategori av "sallad" men har nästan inget visuellt gemensamt. Denna intra-kategorivariation är extrem för matkategorier och överstiger långt vad man finner i de flesta objektigenkänningstester.

Å sin sida är inter-kategorilikheten också hög. En skål med tomatsoppa och en skål med röd curry kan se nästan identiska ut uppifrån. Stekt ris och pilaf delar visuella kännetecken. En proteinbar och en brownie kan vara oskiljaktiga på ett foto. De visuella gränserna mellan matkategorier är ofta suddiga på ett sätt som gränserna mellan bilar och lastbilar inte är.

Den deformabla naturen hos mat

De flesta objekt som datorseendesystem tränas att känna igen har en konsekvent geometrisk struktur. En stol har ben, en sits och en rygg. Mat, å sin sida, är deformabel, amorf och oförutsägbar i sin visuella presentation. En portion potatismos har ingen konsekvent form. Pasta kan läggas upp på oändligt många sätt. Även samma recept tillagat av två olika personer kan se avsevärt olika ut.

Denna deformabilitet innebär att formbaserade funktioner, som är kraftfulla för rigid objektigenkänning, bidrar relativt lite till matigenkänning. Modeller måste förlita sig mer på färg, textur och kontextuella ledtrådar.

Ocklusion och blandade rätter

I ett typiskt måltidsfoto överlappar och döljer matvaror varandra. Sås täcker kött. Ost smälter över grönsaker. Ris ligger under en gryta. Dessa ocklusionsmönster är inte bara vanliga; de är normen. Ett matigenkänningssystem måste vara robust mot partiell synlighet på ett sätt som är mycket mer krävande än att till exempel detektera fotgängare i en gatubild.

Blandade rätter presenterar ett ännu svårare problem. En burrito sveper sina ingredienser inuti en tortilla, vilket gör dem osynliga. En smoothie blandar frukter och andra ingredienser till en homogen vätska. En gratäng kombinerar flera ingredienser till en enda visuell massa. För dessa livsmedel måste igenkänning förlita sig på helhetsintryck och inlärda associationer snarare än att identifiera individuella komponenter.

Belysning och miljövariation

Matbilder tas under mycket varierande förhållanden. Restaurangbelysning varierar från starkt fluorescerande till svagt stearinljus. Hemköks har inkonsekvent färgtemperatur. Blitzfotografi förändrar den uppenbara färgen på maten. Bilder tagna utomhus en solig dag ser helt annorlunda ut än bilder tagna i ett dunkelt kontor. Denna variation i avbildningsförhållanden påverkar färgbaserade funktioner dramatiskt, och eftersom färg är en av de starkaste ledtrådarna för matidentifiering, skapar det en betydande utmaning.

Portionsuppskattningsproblemet: Där forskningen blir riktigt svår

Att identifiera vilken mat som finns på en tallrik är bara hälften av problemet. För att vara användbart för näringsspårning måste ett system också uppskatta hur mycket av varje mat som finns. Detta är portionsuppskattningsproblemet, och det förblir ett av de mest aktiva och utmanande områdena inom matberäkningsforskning.

Varför portionsuppskattning är fundamentalt svårt

En enda 2D-bild förlorar djupinformation. Utan att veta avståndet från kameran till tallriken, storleken på tallriken eller höjden på en matberg är det omöjligt att återfå den verkliga fysiska volymen av mat enbart från pixelmätningar. Detta är inte en begränsning av nuvarande AI. Det är en matematisk verklighet av projektiv geometri. En liten skål nära kameran och en stor skål långt borta ger identiska bilder.

Forskare har utforskat flera metoder för att kringgå denna begränsning:

Referensobjektsmetoder: Vissa system ber användaren att inkludera ett känt referensobjekt (en mynt, ett kreditkort, en specifik tallrik) i bilden. Genom att mäta det kända objektets pixelmått mot dess verkliga storlek kan systemet uppskatta skalan. TADA (Three-Dimensional Automatic Dietary Assessment) systemet som utvecklades vid Purdue University använde en fiducialmarkör (ett schackbrädesmönster) för detta ändamål. Även om det är exakt, tillför denna metod friktion som gör den opraktisk för vardagligt användande.

Djupuppskattning från monokulära bilder: Neurala nätverk kan uppskatta djupkartor från enskilda bilder genom att utnyttja inlärda priorer om typiska scener. Forskning från grupper vid University of Pittsburgh och Georgia Tech har tillämpat monokulär djupuppskattning på matbilder och uppnått volymuppskattningar inom 15 till 25 procent av grundsanningen under kontrollerade förhållanden.

Multi-vy rekonstruktion: Vissa forskningssystem ber användare att fånga mat från flera vinklar, vilket möjliggör 3D-rekonstruktion. Även om det är mer exakt, tillför detta återigen friktion. Forskning av Fang et al. (2019) visade att även två vyer kan förbättra volymuppskattningens noggrannhet avsevärt.

Inlärda portionspriorer: Istället för att försöka återfå exakt fysisk volym lär sig vissa system statistiska fördelningar av typiska portionsstorlekar för varje matkategori. Om systemet vet att medianportionen av kokt vitt ris är cirka 158 gram kan det använda denna prior tillsammans med visuella ledtrådar om den relativa storleken på maten i bilden för att producera en rimlig uppskattning.

Nyckelartiklar om portionsuppskattning

Flera artiklar har avancerat kunskapsläget inom portionsuppskattning:

• Meyers et al. (2015), "Im2Calories: Towards an Automated Mobile Vision Food Diary," från Google Research, föreslog att använda en CNN för att uppskatta kaloriinnehåll direkt från matbilder, vilket omgår explicit volymuppskattning.
• Fang et al. (2019), "An End-to-End Image-Based Automatic Food Energy Estimation Technique Based on Learned Energy Distribution Maps," introducerade energifördelningskartor som förutsäger kaloriinnehåll per pixel.
• Thames et al. (2021), "Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food," tillhandahöll den första storskaliga datamängden med kalorimetri-verifierad näringsgrundsanning, vilket möjliggjorde mer rigorös utvärdering av portionsuppskattningssystem.
• Lu et al. (2020) visade att kombinationen av matsegmentering med djupuppskattning ger portionsuppskattningar med ett medelvärde av absolut fel under 20 procent för vanliga matkategorier.

Klyftan mellan forskningsnoggrannhet och verklig prestanda

Ett av de viktigaste och minst diskuterade ämnena inom AI för matigenkänning är klyftan mellan benchmarkprestanda och verklig prestanda. Att förstå denna klyfta är avgörande för att ställa realistiska förväntningar på vad matigenkänningsteknik kan och inte kan göra.

Benchmarkförhållanden vs. verklighet

Forskningsartiklar rapporterar vanligtvis noggrannhet på kuraterade testuppsättningar som dragits från samma distribution som träningsdata. En Food-101 noggrannhet på 93 procent låter imponerande, men det betyder att modellen testades på bilder från samma källa och liknande förhållanden som dess träningsbilder. När den implementeras i verkligheten sjunker noggrannheten av flera skäl:

Distributionsskifte: Användare tar foton med olika kameror, belysning, vinklar och kompositioner än de som representeras i träningsdata. En modell som tränats främst på overhead-matbilder från matbloggar kommer att prestera sämre när en användare tar en sned bild med en telefonblixt i en svagt upplyst restaurang.

Långsvansmat: Benchmarkdatamängder täcker ett begränsat antal kategorier. Food-101 har 101 kategorier; Food2K har 2 000. Men ett verkligt globalt matigenkänningssystem måste hantera tiotusentals rätter. Prestandan på sällsynta eller kulturellt specifika livsmedel är vanligtvis mycket lägre än rapporterade genomsnitt.

Sammansatta måltider: De flesta benchmarkar utvärderar klassificering av enskild mat. Verkliga måltider innehåller flera livsmedel på en enda tallrik, vilket kräver detektion, segmentering och klassificering samtidigt. Multi-matnoggrannhet är konsekvent lägre än noggrannhet för enskild mat.

Fel i portionsuppskattning som staplas: Även små fel i matidentifiering ackumuleras när de kombineras med portionsuppskattning. Om systemet misstar quinoa för couscous (en plausibel visuell förvirring), tillämpar det felaktig näringstäthet på sin volymuppskattning, vilket resulterar i fel i både makronäringsämnesuppdelning och kaloriantal.

Kvantifiering av klyftan

Publicerad forskning tyder på följande ungefärliga prestandaintervall:

Uppgift	Benchmarknoggrannhet	Verklig noggrannhet
Klassificering av enskild mat (topp-1)	88-93%	70-82%
Klassificering av enskild mat (topp-5)	96-99%	88-94%
Multi-matdetektion per objekt	75-85%	60-75%
Portionsuppskattning (inom 20% av den verkliga)	65-75%	45-60%
End-to-end kaloriuppskattning (inom 20%)	55-65%	35-50%

Dessa siffror belyser en viktig sanning: AI för matigenkänning är bra och blir bättre, men det är ännu inte en ersättning för noggrann mätning. Det är ett verktyg som dramatiskt minskar friktionen samtidigt som det accepterar en känd felmarginal.

En tidslinje över viktiga genombrott

Följande tidslinje sammanfattar de viktigaste milstolparna i resan från generell datorseendeforskning till matigenkänningstekniken i din telefon:

2009 -- ImageNet-datamängd släppt. Fei-Fei Li och teamet vid Stanford publicerar ImageNet-datamängden, vilket ger den storskaliga referensen som kommer att driva djupinlärningsrevolutionen.

2012 -- AlexNet vinner ILSVRC. Krizhevsky, Sutskever och Hinton visar att djupkonvolutionella neurala nätverk dramatiskt överträffar traditionella metoder för bildklassificering. Den djupinlärda eran inleds.

2012 -- UEC-Food100 publiceras. En av de första storskaliga datamängderna för matbilder, fokuserad på japansk mat, etablerar matigenkänning som ett distinkt forskningsproblem.

2014 -- Food-101-datamängd släpps. Bossard et al. vid ETH Zürich publicerar den benchmark som kommer att bli standardutvärderingsdatamängden för forskning inom matigenkänning.

2014 -- GoogLeNet och VGGNet. Två inflytelserika arkitekturer visar att djupare och mer sofistikerade nätverksdesigner avsevärt förbättrar klassificeringsnoggrannheten. Båda antas snabbt av forskare inom matigenkänning.

2015 -- ResNet introduceras. He et al. vid Microsoft Research introducerar residualkopplingar, vilket möjliggör nätverk med över 100 lager. ResNet blir den mest använda ryggraden i matigenkänningssystem under de kommande åren.

2015 -- Im2Calories-artikeln publiceras. Google Research visar end-to-end kaloriuppskattning från matbilder, vilket etablerar den direkta bild-till-näring-pipelinen som en gångbar forskningsriktning.

2016 -- Realtidsobjektdetektering mognar. YOLO (Redmon et al., 2016) och SSD (Liu et al., 2016) möjliggör realtidsdetektion av flera objekt, vilket gör det möjligt att detektera flera matvaror på en tallrik på under en sekund.

2017 -- Transfer learning blir standardpraxis. Forskningsgemenskapen konvergerar kring en gemensam metodik: förtränar på ImageNet, finjusterar på matdatamängder. Denna metod uppnår Food-101 noggrannhet över 88 procent.

2019 -- EfficientNet publiceras. Tan och Le vid Google introducerar kompoundskalning, vilket producerar modeller som är både mer exakta och mer effektiva än sina föregångare. Detta gör högnoggrann matigenkänning genomförbar på mobil hårdvara utan molninferens.

2020 -- Vision Transformers (ViT) publiceras. Dosovitskiy et al. vid Google visar att transformerarkitekturer, som ursprungligen utvecklades för naturlig språkbehandling, kan matcha eller överträffa CNN:er inom bildklassificering. Detta öppnar nya vägar för forskning inom matigenkänning.

2021 -- Nutrition5k-datamängd släpps. Google Research publicerar en datamängd med kalorimetri-verifierad näringsgrundsanning, vilket ger den första rigorösa benchmarken för att utvärdera end-to-end näringsuppskattning.

2022-2024 -- Grundmodeller dyker upp. Stora förtränade vision-språkmodeller som CLIP (Radford et al., 2021) och efterföljande modeller möjliggör zero-shot och few-shot matigenkänning, vilket gör att systemen kan identifiera matkategorier som de aldrig uttryckligen tränades på.

2025-2026 -- In-device inferens blir standard. Framsteg inom modellkomprimering, kvantisering och mobila neurala bearbetningsenheter (NPU:er) gör att matigenkänningsmodeller kan köras helt på enheten, vilket eliminerar latens och integritetsproblem kopplade till molnbehandling.

Hur Nutrola överbryggar klyftan mellan forskning och praktik

Den akademiska forskningen som beskrivs ovan är nödvändig men inte tillräcklig för att bygga ett matigenkänningssystem som fungerar pålitligt för verkliga människor under verkliga förhållanden. Klyftan mellan att publicera en artikel med 93 procent noggrannhet på Food-101 och att leverera en produkt som användare litar på för sin dagliga näringsspårning är enorm. Här blir ingenjörskonst, datastrategi och användarcentrerad design lika viktiga som modellarkitektur.

Träning på verkliga användardatadistributioner

Akademiska datamängder är kuraterade från matbloggar, sociala medier och kontrollerade fotograferingssessioner. Verkliga användarbilder är rörigare: delvis uppätna måltider, röriga bakgrunder, dålig belysning, ovanliga vinklar, flera tallrikar i bild. Nutrola tränar sina modeller på datadistributioner som återspeglar faktiska användningsmönster, inklusive de ofullkomliga, verkliga bilder som användare faktiskt fångar. Detta stänger en betydande del av distributionsskiftet.

Kontinuerligt lärande och feedbackloopar

En statisk modell som tränas en gång och implementeras kommer att försämras när användarbeteende och mattrender förändras. Nutrola implementerar kontinuerliga lärande-pipelines som inkluderar användarkorrigeringar och feedback. När en användare korrigerar en felidentifiering, samlas den signalen in (med integritetsskydd) och används för att förbättra modellens prestanda på de specifika livsmedel och förhållanden där fel är vanligast.

Kombinera flera signaler

Istället för att enbart förlita sig på visuell klassificering kombinerar Nutrola bildbaserad igenkänning med kontextuella signaler för att förbättra noggrannheten. Tid på dagen, geografisk region, nyligen måltidshistorik och användarpreferenser fungerar alla som priorer som hjälper till att särskilja visuellt liknande livsmedel. En skål med röd vätska fotograferad vid frukost i Nordamerika är mer sannolikt att vara tomatjuice än gazpacho, och systemet kan använda den kontexten för att göra bättre förutsägelser.

Ärlig kommunikation av osäkerhet

En av de viktigaste designbesluten är hur man kommunicerar osäkerhet. När modellen är säker presenterar Nutrola sin identifiering direkt. När säkerheten är lägre presenterar systemet flera alternativ och ber användaren bekräfta. Detta interaktionsmönster respekterar teknikens inneboende begränsningar samtidigt som det fortfarande minskar friktionen jämfört med manuell registrering. Istället för att låtsas vara perfekt är systemet transparent om när det behöver hjälp.

Optimera för näringsnoggrannhet, inte bara klassificeringsnoggrannhet

Akademiska benchmarkar mäter klassificeringsnoggrannhet: identifierade modellen maten korrekt? Men för näringsspårning är den relevanta metrikken näringsnoggrannhet: hur nära är den uppskattade kalori- och makronäringsinnehållet de sanna värdena? Nutrola optimerar för denna nedströmsmetrik. En förvirring mellan två visuellt liknande livsmedel med liknande näringsprofiler (vitt ris vs. jasminris) spelar mycket mindre roll än en förvirring mellan två visuellt liknande livsmedel med mycket olika näringsprofiler (en vanlig muffin vs. en proteinmuffin). Systemet är inställt för att minimera fel som har störst inverkan på näringsuppskattningar.

Forskningsgränsen: Vad kommer härnäst

Forskningen inom matigenkänning fortsätter att avancera. Flera aktiva forskningsriktningar har potential att ytterligare stänga klyftan mellan laboratorienoggrannhet och verklig prestanda:

Ingrediensnivåigenkänning: Gå bortom klassificering på rättenivå för att identifiera individuella ingredienser inom en rätt. Detta möjliggör mer exakt näringsuppskattning för sammansatta livsmedel och stödjer kontroll av kostrestriktioner (allergendetektering, till exempel).

3D-matrekonstruktion från enskilda bilder: Framsteg inom neurala strålfält (NeRF) och monokulär 3D-rekonstruktion tyder på att det snart kommer att vara möjligt att rekonstruera en rimligt exakt 3D-modell av en måltid från ett enda fotografi, vilket avsevärt förbättrar portionsuppskattningen.

Personliga matmodeller: Träna modeller som anpassar sig till individuella användares typiska måltider, föredragna restauranger och tillagningsstilar. En modell som vet att du äter samma frukost varje vardag kan uppnå nästan perfekt noggrannhet genom personalisering.

Multi-modalt resonemang: Kombinera visuell igenkänning med text (menybeskrivningar, receptnamn) och ljud (röstbeskrivningar av måltider) för att bygga mer robusta system för matförståelse.

Federerad inlärning för mat: Träna matigenkänningsmodeller över många användares enheter utan att centralisera rådata, vilket bevarar integriteten samtidigt som man drar nytta av mångsidig verklig träningsdata.

Vanliga frågor

Hur noggrann är AI-matigenkänning idag jämfört med en mänsklig dietist?

För vanliga livsmedel fotograferade under bra förhållanden matchar AI-matigenkänning eller överträffar hastigheten hos en mänsklig dietist och uppnår jämförbar identifieringsnoggrannhet. En registrerad dietist kan vanligtvis identifiera en matvara från ett foto med 85 till 95 procents noggrannhet. Nuvarande AI-system uppnår liknande nivåer för välrepresenterade matkategorier. Men dietister överträffar fortfarande AI på sällsynta eller tvetydiga livsmedel, kulturellt specifika rätter och portionsuppskattning. Den praktiska fördelen med AI är hastighet och tillgänglighet: det ger en omedelbar uppskattning dygnet runt, medan dietistkonsultationer är begränsade och dyra.

Vad är Food-101-datamängden och varför är den viktig?

Food-101 är en benchmarkdatamängd med 101 000 bilder som spänner över 101 matkategorier, publicerad av forskare vid ETH Zürich 2014. Den är viktig eftersom den gav den första allmänt antagna standarden för att utvärdera matigenkänningsmodeller. Innan Food-101 testade forskare sina system på privata eller småskaliga datamängder, vilket gjorde det omöjligt att jämföra resultat. Food-101 möjliggjorde reproducerbar forskning och drev snabb framsteg inom noggrannheten för matklassificering, från cirka 50 procent 2014 till över 93 procent 2020.

Varför är mat svårare att känna igen än andra objekt?

Mat presenterar flera utmaningar som är sällsynta inom generell objektigenkänning: extrem visuell variation inom samma matkategori (tänk på alla saker som kallas "sallad"), hög visuell likhet mellan olika matkategorier (tomatsoppa vs. röd curry), deformabla och amorfa former, frekvent ocklusion från såser och pålägg, samt stor variation i tillagningsstilar över kulturer. Dessutom måste maten både identifieras och kvantifieras (portionsuppskattning), vilket tillför en dimension som de flesta objektigenkänningstester inte kräver.

Hur hjälper transfer learning med matigenkänning?

Transfer learning innebär att man tar ett neuralt nätverk som förtränats på en stor allmän datamängd (vanligtvis ImageNet) och finjusterar det på en mindre mat-specifik datamängd. Detta fungerar eftersom de lågnivå visuella funktioner som lärts från ImageNet (kanter, texturer, färger, former) är allmänt användbara och överförs väl till matbilder. Endast de högre nivåerna, mat-specifika funktioner behöver läras från grunden. Transfer learning minskar dramatiskt mängden mat-specifik träningsdata som behövs och förbättrar vanligtvis noggrannheten med 10 till 20 procentenheter jämfört med att träna från grunden.

Kan AI uppskatta portionsstorlekar från en enda bild?

AI kan uppskatta portionsstorlekar från en enda bild, men med meningsfull osäkerhet. Utan djupinformation kan en 2D-bild inte exakt bestämma volymen av mat. Moderna system kombinerar inlärda portionspriorer (statistisk kunskap om typiska portionsstorlekar), relativa storleksledtrådar (jämföra mat med tallriken eller andra objekt) och monokulär djupuppskattning för att producera uppskattningar som vanligtvis ligger inom 15 till 30 procent av den verkliga portionsstorleken. Detta är tillräckligt noggrant för att vara användbart för daglig spårning men inte tillräckligt exakt för klinisk kostbedömning.

Vad är skillnaden mellan matklassificering och matdetektion?

Matklassificering tilldelar en enda etikett till en hel bild (denna bild innehåller pizza). Matdetektion identifierar och lokaliserar flera matvaror inom en bild, drar bounding boxes runt varje objekt och klassificerar dem oberoende (denna bild innehåller pizza i övre vänstra hörnet, sallad i nedre högra hörnet och en brödpinne längs toppen). Detektion är en svårare uppgift men är nödvändig för verkliga måltidsbilder, som nästan alltid innehåller flera matvaror.

Hur använder Nutrola denna forskning?

Nutrola bygger på hela den akademiska forskningen inom matigenkänning som beskrivs i denna artikel, genom att integrera state-of-the-art arkitekturer, träning på mångsidiga verkliga data och optimera för näringsnoggrannhet snarare än bara klassificeringsnoggrannhet. Systemet kombinerar visuell igenkänning med kontextuella signaler och användarfeedback för att leverera noggrannhet som överträffar vad någon enskild forskningsartikel uppnår i isolering. Nutrola bidrar också tillbaka till forskarsamhället genom att publicera resultat om verklig prestanda för matigenkänning och utmaningarna med att implementera dessa system i stor skala.

Kommer matigenkännings-AI någonsin att vara 100 procent exakt?

Perfekt noggrannhet är osannolik av flera skäl. Vissa livsmedel är verkligen visuellt oskiljaktiga (vitt socker och salt, till exempel). Portionsuppskattning från 2D-bilder har fundamentala matematiska begränsningar. Och variationen av globala kök innebär att det alltid kommer att finnas långsvansmat med begränsad träningsdata. Men den relevanta frågan är inte om teknologin är perfekt utan om den är användbar. Vid nuvarande noggrannhetsnivåer minskar AI-matigenkänning redan friktionen vid matregistrering med 70 till 80 procent jämfört med manuell inmatning, och noggrannheten fortsätter att förbättras med varje generation av modeller och träningsdata.

Slutsats

AI:n för matigenkänning i din telefon är resultatet av en forskningsresa som sträcker sig över mer än ett decennium. Den började med ett genombrott inom bildklassificering vid ImageNet-utmaningen 2012, fick fokus genom mat-specifika datamängder som Food-101, konfronterade de unika utmaningarna med mat som visuell domän och gradvis överbryggade klyftan mellan akademiska benchmarkar och verklig prestanda.

Den resan är långt ifrån över. Portionsuppskattning förblir ett öppet forskningsproblem. Långsvansmatkategorier behöver bättre täckning. Verklig noggrannhet fortsätter att ligga efter benchmarknoggrannhet med en betydande marginal. Men riktningen är tydlig: varje år ger bättre modeller, rikare träningsdata och mer sofistikerade metoder för de svåra problemen.

Nutrola finns vid korsningen av denna forskning och de praktiska behoven hos människor som försöker förstå vad de äter. Genom att hålla sig nära den senaste akademiska forskningen samtidigt som man har ett obevekligt fokus på verklig prestanda arbetar vi för att göra löftet om enkel och exakt näringsspårning till en verklighet för alla.