Hvordan AI-pipelinen for matgjenkjenning fungerer: Fra bilde til næringsdata

Når du tar et bilde av lunsjen din og ser en full makrooversikt dukke opp på under to sekunder, er det lett å ta resultatet for gitt. Bak denne tilsynelatende umiddelbare avlesningen ligger det imidlertid en flertrinns pipeline som tar bildet ditt gjennom kamerainngang, forhåndsbehandling, nevrale nettverksinferenser, klassifisering, porsjonsestimering, oppslag i databaser og endelig kaloriberegning før noe når skjermen din. Hvert trinn løser et spesifikt problem, avhenger av sitt eget sett med algoritmer, og gir et spesifikt utdata til neste trinn.

Denne artikkelen følger hele reisen fra kameraklikk til næringsetikett. Underveis vil vi nevne arkitekturene, teknikkene og ingeniørmessige avveininger som gjør hvert trinn mulig, og vi vil fremheve hvor Nutrola har introdusert egne innovasjoner for å heve nøyaktighet og hastighet utover bransjestandarder.

Trinn 1: Kamerainngang og bildeopptak

Alt begynner i det øyeblikket en bruker åpner kameravisningen og rammer inn en tallerken med mat. Moderne smarttelefoner tar bilder med oppløsninger fra 12 til 48 megapiksler, og produserer rå sensor data som koder fargeintensitetsverdier over et Bayer-filtermosaikk. Enhetens bildesignalprosessor (ISP) demosaikker disse dataene, anvender hvitbalanse, reduserer støy og gir ut en standard JPEG- eller HEIF-fil på brøkdelen av et sekund.

To maskinvarefunksjoner påvirker i økende grad dette trinnet. For det første kan LiDAR-sensorer på nyere iPhone Pro og utvalgte Android-flaggskip ta opp et dybdekart sammen med RGB-bildet. Disse dybdataene blir verdifulle senere under porsjonsestimeringen. For det andre gir enheter med tid-til-flykt-sensorer lignende, men grovere dybdeinformasjon som pipelinen fortsatt kan utnytte når LiDAR ikke er tilgjengelig.

Pipelinen tar inn RGB-bildet og, når tilgjengelig, dybdekartet som et par innganger. Hvis enheten ikke har dybdesensor, fortsetter pipelinen kun med RGB og kompenserer senere ved hjelp av monokulær dybdeestimering.

Nøkkelutdata fra dette trinnet

Et høyoppløselig RGB-bilde (og eventuelt et dybdekart) som representerer scenen foran brukeren.

Trinn 2: Bildebehandling

Rå kamerautdata er ikke klare for nevrale nettverksinferenser. Forhåndsbehandling omformer bildet til en standardisert tensor som modellen forventer.

Endring av størrelse og beskjæring

De fleste modeller for matgjenkjenning aksepterer inngang ved en fast oppløsning, vanligvis 224x224, 384x384 eller 512x512 piksler avhengig av arkitekturen. Pipelinen endrer størrelsen på bildet til denne måloppløsningen samtidig som den bevarer bildeforholdet, ved å bruke letterboxing eller sentrumsbeskjæring etter behov. Bicubic interpolasjon er den standard resampling-metoden fordi den bedre bevarer fine teksturdetaljer enn bilineære alternativer.

Normalisering

Pikselverdier konverteres fra 0-255 heltallsområdet til flyttallsverdier og normaliseres deretter ved hjelp av den kanalvise gjennomsnittlige og standardavviket fra treningsdatasettet. For modeller som er forhåndstrent på ImageNet, brukes de kanoniske normaliseringsverdiene (gjennomsnitt på [0.485, 0.456, 0.406] og standardavvik på [0.229, 0.224, 0.225] for R, G og B-kanalene henholdsvis). Denne normaliseringen sentrerer inngangsfordelingen rundt null og skalerer den til enhetsvarians, noe som stabiliserer gradientflyten under trening og sikrer konsekvent inferensadferd.

Fargespektrum og augmenteringsartefakter

Under trening bruker pipelinen omfattende dataaugmentering: tilfeldige rotasjoner, horisontale vendinger, fargejustering, Gaussisk uskarphet og utskårne områder. Ved inferens er disse augmenteringene deaktivert, men modellen har lært å være invariant til de typene visuell støy de simulerer. Dette betyr at et bilde tatt under varmt restaurantlys og et bilde tatt under kjølig fluorescerende kontorbelysning begge vil gi pålitelige funksjonsrepresentasjoner.

Nøkkelutdata fra dette trinnet

En normalisert flyttalls-tensor med faste romlige dimensjoner, klar for den nevrale nettverksryggraden.

Trinn 3: CNN-funksjonsutvinning

Dette er den beregningsmessige kjernen i pipelinen. Et dypt konvolusjonelt nevralt nettverk (eller i økende grad en visjonstransformer) behandler den forhåndsbehandlede tensoren og produserer en tett funksjonsvektor som koder det visuelle innholdet i bildet i en form som de nedstrøms klassifiserings- og deteksjonshodene kan tolke.

Ryggarkitekturer

Flere ryggarkitekturer har vist seg å være effektive for matgjenkjenning:

EfficientNet bruker sammensatt skalering for å balansere nettverksdybde, bredde og inngangsoppløsning. EfficientNet-B4 og B5 er populære valg fordi de gir sterk nøyaktighet til en beregningskostnad som er gjennomførbar på mobilmaskinvare når de kombineres med kvantisering. Nutrola bruker en EfficientNet-avledet rygg som har blitt finjustert på et proprietært bilde av matdatasett, og oppnår en gunstig avveining mellom latens og top-1 nøyaktighet.

Vision Transformers (ViT) deler bildet opp i faste størrelsesområder (typisk 16x16 piksler), projiserer hvert område inn i en embedding, og behandler sekvensen av embeddings gjennom multi-head selvoppmerksomhetslag. ViTs utmerker seg i å fange langdistanse romlige relasjoner, for eksempel å forstå at den brune skiven ved siden av de grønne bladene er en hamburgerpatty snarere enn en sjokoladekjeks, fordi den omkringliggende konteksten inkluderer et brød og salat. Hybridmodeller som DeiT (Data-efficient Image Transformer) og Swin Transformer har redusert datakravene og beregningskostnadene til rene ViTs, noe som gjør dem levedyktige for produksjonssystemer for matgjenkjenning.

MobileNetV3 er optimalisert for inferens på enheten med dybdeskillede konvolusjoner og maskinvarebevisst nevrale arkitektursøk. Den fungerer som ryggraden i latenskritiske stier der modellen må kjøre helt på enheten uten nettverksrundtur.

Funksjonspyramidenettverk

Fordi matvarer kan variere enormt i tilsynelatende størrelse innen et enkelt bilde (en stor pizza ved siden av en liten dippeskål), bruker pipelinen et Funksjonspyramidenettverk (FPN) for å trekke ut funksjoner på flere romlige skalaer. FPN bygger en topp-ned vei med laterale forbindelser fra ryggens mellomliggende funksjonskart, og produserer et sett med multiskala funksjonskart som er like uttrykksfulle for å oppdage små garnityrer og store hovedretter.

Nøkkelutdata fra dette trinnet

Et sett med multiskala funksjonskart (eller en enkelt samlet funksjonsvektor for klassifiseringsoppgaver) som koder de visuelle semantikkene til hver region i bildet.

Trinn 4: Multi-label matklassifisering og deteksjon

Virkelige måltider inneholder sjelden bare én type mat. En typisk middagstallerken kan inneholde grillet laks, dampet brokkoli, brun ris og en sitronbåt. Pipelinen må oppdage, lokalisere og klassifisere hver distinkte matvare i rammen.

Objektgjenkjenning med YOLO og DETR

Pipelinen anvender et objektgjenkjenningshode på toppen av de uttrukne funksjonskartene. To familier av detektorer dominerer dette området:

YOLO (You Only Look Once) utfører deteksjon i et enkelt fremoverpass ved å dele bildet opp i et rutenett og forutsi avgrensningsbokser og klasse sannsynligheter for hver rutenettcelle samtidig. YOLOv8 og dets etterfølgere er spesielt godt egnet for mobil distribusjon fordi de behandler hele bildet i ett skudd i stedet for å foreslå og deretter forbedre regioner. Nutrola bruker et YOLO-avledet deteksjonshode som er justert på over 15 000 matklasser som spenner over globale kjøkken.

DETR (Detection Transformer) behandler objektgjenkjenning som et sett prediksjonsproblem, ved å bruke en transformer encoder-decoder-arkitektur for å direkte gi ut et sett med deteksjoner uten behov for ankerbokser eller ikke-maksimal undertrykkelse. DETR håndterer overlappende matvarer mer elegant enn ankerbaserte metoder fordi dens sett-baserte tap naturlig unngår dupliserte prediksjoner.

Semantisk segmentering for blandede retter

For sammensatte retter som salater, wokretter og kornskåler der distinkte ingredienser overlapper og blander seg, er avgrensningsbokser for grove. Pipelinen bytter til en semantisk segmenteringsgren, ofte basert på en U-Net eller DeepLabv3+-arkitektur, som klassifiserer hver piksel i bildet. Denne pikselnivåklassifiseringen gjør det mulig for systemet å estimere andelen av hver ingrediens i en blandet rett selv når det ikke er klare grenser som skiller dem.

Konfidensvurdering og kandidatvurdering

Hver deteksjon kommer med en konfidensscore. Pipelinen anvender en terskel (vanligvis 0,5 til 0,7 avhengig av applikasjonen) for å filtrere ut lavkonfidensprediksjoner. Når den beste prediksjonen er usikker, kan systemet presentere de tre til fem beste kandidatene for brukeren for bekreftelse, noe som reduserer feilrater uten å kreve manuell inntasting.

Nutrolas klassifiseringsmotor inkluderer en brukerkontekstm modul som tar hensyn til brukerens tidligere måltider, matpreferanser, geografiske plassering og tidspunkt på dagen. Hvis en bruker ofte logger meksikansk mat og modellen er usikker mellom en hvetetortilla og en naan, vil kontekstm modul justere sannsynligheten mot tortillaen. Dette personaliseringslaget reduserer målbar feilklassifisering over tid.

Nøkkelutdata fra dette trinnet

En liste over oppdagede matvarer, hver med en klassebetegnelse, en avgrensningsboks eller pikselmaske, og en konfidensscore.

Trinn 5: Porsjonsstørrelsesestimering

Å vite at en tallerken inneholder grillet kylling og ris er ikke nok. Pipelinen må estimere hvor mye av hver matvare som er til stede, fordi 100 gram kyllingbryst og 300 gram kyllingbryst skiller seg med mer enn 300 kalorier.

Monokulær dybdeestimering

Når ingen maskinvaredybdesensor er tilgjengelig, bruker pipelinen en monokulær dybdeestimeringsmodell (vanligvis basert på MiDaS eller DPT-arkitekturen) for å utlede et dybdekart fra RGB-bildet alene. Disse modellene lærer å forutsi dybde fra kontekstuelle ledetråder som objekt overlapning, relativ størrelse, teksturgradienter og forsvinningspunkter. Det utledede dybdekartet, selv om det er mindre presist enn LiDAR-data, er tilstrekkelig til å tilnærme den tredimensjonale formen til mat på en tallerken.

Referanseobjekt skalering

Et fotografi inneholder ingen iboende skala. Pipelinen løser dette ved å oppdage referanseobjekter med kjente dimensjoner i rammen. Tallerkener (vanligvis 25 til 27 cm i diameter), standard bestikk, boller og til og med kanter på smarttelefoner kan forankre skalaen. Ved å passe en ellipse til den oppdagede tallerkenens kant og bruke prosjektiv geometri for å utlede synsvinkelen, rekonstruerer pipelinen virkelige avstander fra pikselmålinger.

Volum-til-vekt konvertering

Med matens tredimensjonale form estimert, beregner pipelinen volum ved å integrere dybdeprofilen over matens pikselmaske. Den konverterer deretter volum til vekt ved hjelp av matspesifikke tetthets tabeller. En kopp med bladgrønn spinat veier langt mindre enn en kopp hummus, så tetthetsoppslaget er avgjørende for nøyaktighet.

Nutrola opprettholder en proprietær tetthetsdatabase som dekker tusenvis av matvarer i ulike tilberedningstilstander (rå, kokt, blandet, frossen) og bruker den til å konvertere estimerte volum til gramvekter med høyere presisjon enn generiske tetthets tabeller.

Nøkkelutdata fra dette trinnet

En estimert vekt i gram for hver oppdaget matvare.

Trinn 6: Oppslag i næringsdatabase

Når hver matvare er klassifisert og veid, spør pipelinen en næringsdatabase for å hente makronæringsstoff- og mikronæringsstoffprofil per 100 gram av den maten.

Databasearkitektur

Høykvalitets næringsdatabaser henter fra offentlige kilder som USDA FoodData Central, UK Nutrient Databank, og nasjonale ekvivalenter fra dusinvis av land. Disse kildene gir laboratorieanalyserte næringsverdier for tusenvis av matvarer i standardisert form.

Nutrolas database går utover disse offentlige kildene ved å inkludere produsentdata fra over 1,2 millioner merkede produkter, restaurantmenyelementer med næringsinformasjon verifisert gjennom partnerskap, og samfunnsinnsendte oppføringer som passerer en flerlagers verifikasjonsprosess inkludert kryssreferanser, uteliggerdeteksjon og kostholdsekspertvurdering. Resultatet er en samlet database med over 2 millioner matoppføringer med næringsdata normalisert til et konsistent skjema.

Usikker matching og enhetsoppløsning

Klassifiseringsmodellen gir en matetikett som "grillet kyllinglår med skinn" som må matches til den riktige databaseoppføringen. Dette er et ikke-trivielt enhetsoppløsningsproblem fordi den samme maten kan ha dusinvis av navn på tvers av regioner og språk. Pipelinen bruker embedding-basert semantisk søk for å finne den nærmeste databaseoppføringen. En finjustert tekstencoder kartlegger både den predikerte matetiketten og hvert databasenavn til det samme vektorrommet, og den nærmeste naboen (målt ved kosinuslikhet) velges.

Når flere nære treff eksisterer (for eksempel "grillet kyllinglår med skinn" versus "grillet kyllinglår, stekt, skinn spist"), velger systemet den oppføringen hvis tilberedningsmetode best samsvarer med de visuelle ledetrådene som er oppdaget i bildet.

Nøkkelutdata fra dette trinnet

En komplett næringsprofil (kalorier, protein, karbohydrater, fett, fiber og mikronæringsstoffer) per 100 gram for hver oppdaget matvare.

Trinn 7: Makro- og kaloriberegning

Det siste beregningsstadiet er enkel aritmetikk, men det er her feil fra hvert oppstrøms trinn akkumuleres. Pipelinen multipliserer næringsverdiene per 100 gram med den estimerte vekten av hver matvare, og summerer deretter resultatene på tvers av alle elementene for å produsere en total måltidsoversikt.

Beregningen

For hver matvare:

• Kalorier = (estimerte gram / 100) x kalorier per 100 g
• Protein = (estimerte gram / 100) x protein per 100 g
• Karbohydrater = (estimerte gram / 100) x karbohydrater per 100 g
• Fett = (estimerte gram / 100) x fett per 100 g

Disse per-elementverdiene summeres for å produsere måltidstotalen.

Feilpropagering og konfidensintervaller

Fordi hvert oppstrøms trinn introduserer en viss usikkerhet, presenterer ikke Nutrola et enkelt punktestimat som absolutt sannhet. Systemet beregner konfidensintervaller ved å propagere klassifiseringskonfidensscoren og usikkerheten i porsjonsestimeringen gjennom beregningen. Hvis klassifiseringskonfidensen er høy, men porsjonsestimatet er usikkert (for eksempel at maten er stablet i en dyp bolle som skjuler volumet), reflekterer systemet dette ved å utvide konfidensområdet og kan be brukeren om å bekrefte porsjonen.

Denne åpenheten er et bevisst designvalg. I stedet for å presentere en falsk følelse av presisjon, viser Nutrola et område (for eksempel "420 til 510 kcal") når de underliggende estimatene rettferdiggjør det, noe som hjelper brukerne med å utvikle en realistisk forståelse av inntaket sitt.

Nøkkelutdata fra dette trinnet

Totale kalorier og makronæringsstoffoversikt for måltidet, med valgfrie konfidensintervaller.

Trinn 8: Brukergrensesnitt og logging

Det siste trinnet viser resultatene i brukergrensesnittet. De oppdagede matvarene listes med sine individuelle kalori- og makroverdier, og måltidstotalen vises tydelig. Brukeren kan trykke på ethvert element for å korrigere det eller justere porsjonen, og disse korreksjonene mates tilbake til personaliseringsmodellene for å forbedre fremtidige prediksjoner.

På Nutrola inkluderer visningen et visuelt lag på det originale bildet som viser avgrensningsbokser eller segmenthøydepunkter for hver oppdaget mat, noe som gjør det umiddelbart klart hva AI identifiserte og hvor. Denne visuelle tilbakemeldingen bygger tillit og gjør feil lette å oppdage og korrigere.

Det loggede måltidet lagres i brukerens daglige ernæringsjournal og bidrar til løpende totaler for kalorier, protein, karbohydrater, fett og sporede mikronæringsstoffer. Dataene synkroniseres med Apple Health, Google Fit og andre tilkoblede plattformer gjennom standardiserte helse-API-er.

Nøkkelutdata fra dette trinnet

En fullstendig gjengitt måltidsloggoppføring med per-element og total næringsdata, visuelle overlegg og synkronisering til helseplattformer.

Oppsummering av pipelinen

Trinn	Kjerne teknologi	Inngang	Utgang
1. Kamerainngang	Enhetens ISP, LiDAR/ToF-sensorer	Lys fra scenen	RGB-bilde + valgfritt dybdekart
2. Bildebehandling	Bicubic resizing, kanalnormalisering	Råbilde	Normalisert tensor (f.eks. 384x384x3)
3. Funksjonsutvinning	EfficientNet, ViT, Swin Transformer, FPN	Normalisert tensor	Multiskala funksjonskart
4. Matklassifisering	YOLOv8, DETR, DeepLabv3+, brukerkontekst	Funksjonskart	Merket matvarer med avgrensningsbokser/masker
5. Porsjonsestimering	MiDaS dybdeestimering, referanseskalering, tetthets tabeller	RGB + dybde + matmasker	Vekt i gram per matvare
6. Oppslag i databasen	Embedding-basert semantisk søk, USDA/merkede databaser	Matetiketter + tilberedningsledetråder	Næringsprofiler per 100 g
7. Kaloriberegning	Vektet aritmetikk, usikkerhetspropagering	Gramestimater + næringsprofiler	Totale kalorier og makroer med konfidensintervaller
8. Brukergrensesnitt	UI-gjengivelse, helse-datasynkroniserings-API-er	Beregnet næringsdata	Måltidsloggoppføring med visuell overlegg

Hvor Nutrolas innovasjoner passer inn

Flere av trinnene beskrevet ovenfor inkluderer innovasjoner spesifikke for Nutrolas implementering:

Personalisert klassifiseringskontekst. Brukerkontekstm modul i Trinn 4 bruker historiske måldata, matpreferanser, beliggenhet og tidspunkt på dagen for å avklare usikre prediksjoner. Dette er ikke standard i de fleste matgjenkjenningspipelines og gir målbare forbedringer i nøyaktighet i virkeligheten sammenlignet med kontekstuelt frie modeller.

Proprietær tetthetsdatabase. Volum-til-vekt konverteringen i Trinn 5 er avhengig av en tetthetsdatabase som dekker matvarer på tvers av flere tilberedningstilstander. Generiske systemer bruker ofte en enkelt gjennomsnittlig tetthet per matvare, noe som introduserer systematiske feil for elementer som kokte versus rå grønnsaker eller drenert versus udrenert hermetisk mat.

Konfidensbevisst visning. I stedet for å vise et enkelt kalorinummer, viser Nutrola usikkerhet når det eksisterer. Denne ærlige tilnærmingen reduserer brukerfrustrasjon når estimater virker feil, fordi området selv kommuniserer at systemet er mindre sikkert om et bestemt element.

Enhetlig multi-kilde næringsdatabase. Den 2-millioners oppføringsdatabasen i Trinn 6 slår sammen offentlige laboratoriedata, merkede produktdata og verifiserte samfunnsinnsendte oppføringer til et enkelt normalisert skjema, noe som gir pipelinen tilgang til langt flere matoppføringer enn noen enkelt kilde gir.

Kontinuerlig læring fra korreksjoner. Hver brukerrettelse i Trinn 8 mates tilbake til klassifiserings- og porsjonsmodeller under periodiske retreningssykluser, noe som skaper en flywheel-effekt der nøyaktigheten forbedres etter hvert som brukerbasen vokser.

Latens og hensyn til enheten

End-to-end latens er enormt viktig for brukeropplevelsen. Hvis pipelinen tar mer enn to til tre sekunder, oppfatter brukerne det som tregt og kan gå tilbake til manuell logging. Flere ingeniørstrategier holder latensen lav:

Modellkvantisering konverterer 32-bit flyttallsvekter til 8-bit heltall, noe som reduserer modellstørrelsen med omtrent 4x og akselererer inferens på mobile nevrale prosesseringsenheter (NPU-er) med minimal nøyaktighetstap. Nutrola anvender post-treningskvantisering på både funksjonsutvinningsryggen og deteksjonshodet.

Inferens på enheten eliminerer nettverksrundtur helt for de beregningsintensive stadiene (funksjonsutvinning og deteksjon). Apples Core ML og Androids NNAPI gir maskinvareakselererte inferensveier som pipelinen retter seg mot. Bare de lette oppslagene i databasen og kaloriberegningene krever en serveranrop, og selv disse kan falle tilbake til en lokal cache for offline drift.

Spekulativ utførelse begynner forhåndsbehandling og funksjonsutvinning mens kameravisningen fortsatt er aktiv, så når brukeren trykker på utløserknappen, har pipelinen allerede delvis behandlet rammen. Denne teknikken kutter flere hundre millisekunder av den oppfattede latensen.

Nøyaktighetsbenchmark og virkelighetsytelse

På standard akademiske benchmark som Food-101, ISIA Food-500 og Nutrition5k, oppnår moderne pipeliner top-1 klassifiseringsnøyaktighet mellom 85 og 92 prosent og porsjonsestimeringsfeil innen 15 til 25 prosent av sannhetsvekten. Virkelighetsytelsen varierer fordi brukerinnsendte bilder er mer støyende enn kuraterte datasett: dårlig belysning, delvis skjuling, uvanlige vinkler og uvanlige regionale retter forringer nøyaktigheten.

Nutrolas interne testing på et holdt sett med 50 000 virkelige brukerbilder viser en top-1 klassifiseringsnøyaktighet på 89 prosent og en median porsjonsestimeringsfeil på 18 prosent. Når de tre beste kandidatene vurderes, stiger klassifiseringsnøyaktigheten til 96 prosent, noe som er grunnen til at korrigeringsgrensesnittet fremhever alternative forslag.

Disse tallene fortsetter å forbedre seg med hver retreningssyklus etter hvert som tilbakemeldingssløyfen for korreksjoner akkumulerer flere merkede data fra virkelighetsbruk.

Ofte stilte spørsmål

Hvor lang tid tar hele pipelinen fra bilde til næringsdata?

På moderne smarttelefoner med dedikert nevralt prosesseringsmaskinvare fullfører end-to-end pipelinen vanligvis på 1,0 til 2,5 sekunder. Det meste av tiden brukes på funksjonsutvinning og objektgjenkjenning i Trinn 3 og 4. Forhåndsbehandling og kaloriberegning er nesten umiddelbare, og oppslag i databasen legger bare til 50 til 150 millisekunder avhengig av nettverksforhold eller om en lokal cache brukes. Nutrolas spekulative utførelsessystem, som begynner å behandle kameravisningen før brukeren trykker på utløserknappen, kan redusere oppfattet latens til under ett sekund i mange tilfeller.

Hvor nøyaktig er AI-matklassifisering sammenlignet med manuell logging?

AI-matklassifisering oppnår top-1 nøyaktighet mellom 85 og 92 prosent på standard benchmark, og top-3 nøyaktighet over 95 prosent. Manuell logging, selv om den teoretisk sett er presis når den utføres nøye, lider av systematisk underrapportering på 10 til 45 prosent ifølge publiserte kostholdsforskning. I praksis har AI-klassifisering kombinert med et raskt brukerbekreftelsestrinn en tendens til å produsere mer konsistente og mindre partiske resultater enn ren manuell inntasting, spesielt for brukere som logger flere måltider per dag og opplever inntastingsutmattelse.

Hva skjer når AI ikke kan identifisere en matvare?

Når den høyeste konfidensprediksjonen faller under systemets terskel, tar pipelinen en elegant tilbakefallsmetode. Den presenterer de tre til fem beste kandidatidentifikasjonene og ber brukeren om å velge den riktige, eller å skrive inn et navn manuelt. Denne brukerrettelsen logges og mates tilbake i treningspipen under neste retreningssyklus, noe som betyr at hver feil blir et treningssignal som forbedrer fremtidige prediksjoner. Over tid, etter hvert som disse korreksjonene akkumuleres, utvides systemets dekning av uvanlige og regionale matvarer jevnt.

Fungerer pipelinen annerledes for blandede retter som salater eller karrieretter?

Ja. For blandede retter der individuelle ingredienser ikke er romlig separable, bytter pipelinen fra avgrensningsboksdeteksjon til semantisk segmentering ved hjelp av arkitekturer som DeepLabv3+. Denne pikselnivåklassifiseringen estimerer andelen av hver ingrediens innen det blandede området. For sterkt blandede retter som smoothies eller purerte supper der visuell separasjon er umulig, er pipelinen avhengig av oppskriftbasert dekomponering: den identifiserer rettetypen og bruker deretter en oppskriftmodell for å estimere de sannsynlige ingrediensprosentene og deres kombinerte næringsprofil.

Hvordan fungerer porsjonsestimering uten en dybdesensor?

Når ingen LiDAR- eller tid-til-flykt-sensor er tilgjengelig, bruker pipelinen en monokulær dybdeestimeringsmodell (som MiDaS eller DPT) for å utlede omtrentlig dybde fra RGB-bildet alene. Disse modellene har blitt trent på millioner av bilde-dybde-par og kan estimere den tredimensjonale formen til mat fra kontekstuelle ledetråder som tallerkengeometri, skygge mønstre og teksturgradienter. Systemet oppdager også referanseobjekter med kjent størrelse, spesielt tallerkener og bestikk, for å forankre skalaen. Selv om monokulær estimering er mindre presis enn maskinvaredybdesensing, holder kombinasjonen av lærte dybdeledetråder og referanseskalering porsjonsestimatene innen et praktisk nøyaktighetsområde for ernæringssporing.

Kan pipelinen håndtere flere tallerkener eller måltider i ett bilde?

Objektgjenkjenningsstadiet er designet for å håndtere vilkårlig antall matvarer uavhengig av om de ligger på én tallerken eller flere. YOLO- og DETR-deteksjonshodene skanner hele bildet og gir uavhengige deteksjoner for hver matvare som finnes, enten de er på en enkelt middagstallerken, spredt over et bord med flere retter, eller ordnet på et brett. Hver oppdaget vare behandles uavhengig gjennom porsjonsestimerings- og kaloriberegningsstadiene. For best nøyaktighet anbefaler Nutrola å fotografere hver tallerken eller bolle individuelt slik at referanseskaleringen kan kalibreres per tallerken, men systemet håndterer multi-tallerken scener elegant når det ikke er praktisk.