mAP og IoU: En Grundig Gennemgang af Computer Vision Benchmark for Fødevaregenkendelse

Når en ernæringsapp hævder, at dens AI kan "identificere din mad fra et foto", hvad betyder det så i målbare termer? Hvor præcist er identifikationen? Hvordan håndterer systemet en tallerken med seks forskellige retter, der rører ved hinanden? Og hvordan sammenligner man ét fødevaregenkendelsessystem med et andet?

Svarene findes i to målinger, som forskningsmiljøet inden for computer vision bruger til at evaluere objektdetekteringsmodeller: mAP (mean Average Precision) og IoU (Intersection over Union). Disse tal afgør, om en fødevare-AI virkelig er præcis eller blot imponerende i en demonstration.

Forståelse af IoU: Grundlæggende Måling

Intersection over Union måler, hvor godt en forudsagt bounding box eller segmenteringsmaske overlapper med den faktiske placering og form af fødevaren, som er mærket af en menneskelig annotator.

Beregningen er ligetil:

IoU = Overlap Areal / Union Areal

En IoU på 1,0 betyder, at forudsigelsen perfekt matcher den faktiske placering. En IoU på 0,0 betyder, at der slet ikke er overlap. I praksis er den standardgrænse for en "korrekt" detektion i fødevaregenkendelse en IoU på 0,5 eller højere, hvilket betyder mindst 50 procent overlap mellem den forudsagte og den faktiske fødevare.

Hvorfor IoU Er Vigtigt for Ernæring

IoU påvirker direkte portionsestimering. Hvis modellens bounding box kun fanger 60 procent af risene på din tallerken (IoU under nøjagtighedsgrænsen for tæt segmentering), vil portionsestimatet undervurdere. Omvendt, hvis bounding box er for stor og inkluderer en del af den tilstødende karry, vil kalorieestimatet for risene blive oppustet af karryens ernæringsprofil.

For enkle tallerkener med et enkelt fødevareelement centreret i billedet er IoU relativt let at optimere. Udfordringen stiger dramatisk med komplekse, multi-item tallerkener.

Forståelse af mAP: System-Niveau Måling

Mean Average Precision aggregerer detektionsnøjagtighed på tværs af alle fødevarekategorier og tillidsgrænser til en enkelt score. Det besvarer spørgsmålet: hvor pålideligt opdager og klassificerer modellen alle de fødevaretyper, den kan genkende?

Beregningen involverer:

1. Præcision: Af alle de detektioner, modellen har lavet, hvor mange var korrekte?
2. Recall: Af alle de faktiske fødevarer, der var til stede, hvor mange fandt modellen?
3. Average Precision (AP): Arealet under præcision-recall-kurven for en enkelt fødevarekategori
4. mAP: Gennemsnittet af AP-værdierne på tværs af alle fødevarekategorier

En model med mAP@0.5 på 0.85 opdager og klassificerer korrekt 85 procent af fødevarerne ved IoU 0.5-grænsen på tværs af alle kategorier. mAP@0.5:0.95 er en strammere måling, der gennemsnitligt vurderer præstationen på tværs af IoU-grænser fra 0.5 til 0.95 og straffer modeller, der opnår løse detektioner, men fejler ved tæt segmentering.

Kløften Mellem Demo og Virkelighed

De fleste fødevare-AI-demonstrationer viser enkeltstående, velbelyste, overhead-fotos: en skål ramen, en tallerken sushi, en salat. Under disse forhold opnår moderne modeller mAP@0.5-scores over 0.90. Tallet falder betydeligt under virkelige forhold.

Faktorer, der forringer mAP i praksis:

• Flere overlappende genstande: En tallerken med ris, dal, sabzi og roti, der rører ved hinanden
• Delvis skjul: Én fødevare delvist skjult bag en anden
• Variabel belysning: Dæmpet restaurantbelysning versus klart køkkenlys
• Ikke-standard vinkler: Fotos taget fra siden i stedet for direkte ovenfra
• Visuel lighed: Brun ris og quinoa, eller forskellige typer dal, der ser næsten identiske ud

Virkelighedens fødevaregenkendelse mAP falder typisk 10 til 20 point under kontrolleret benchmark-præstation.

Problemet med Multi-Item Tallerken

Den definerende udfordring i fødevaregenkendelse er ikke at identificere en enkelt fødevare isoleret. Det er at identificere fem eller seks forskellige retter på en enkelt tallerken, hvor de rører ved, overlapper og visuelt blander sig med hinanden.

Overvej en typisk indisk thali: ris, to karryretter, dal, raita, papad og pickle, alt serveret på en enkelt tallerken med retter, der rører ved hinanden. Eller en mexicansk platter med ris, bønner, guacamole, salsa, sour cream og en tortilla. Hver ret skal identificeres individuelt, og dens portion skal estimeres uafhængigt.

Semantisk Segmentering vs. Instans Segmentering

Der er to primære tilgange til at løse dette problem, og forskellen er vigtig.

Semantisk segmentering tildeler hver pixel i billedet til en fødevarekategori. Alle pixels, der er "ris", bliver mærket som ris, alle pixels, der er "karry", bliver mærket som karry. Dette fungerer godt for klart adskilte genstande, men fejler, når to instanser af samme kategori er til stede (to forskellige karryretter på samme tallerken) eller når grænserne er tvetydige.

Instans segmentering identificerer hver enkelt fødevare som en separat enhed, selvom to genstande tilhører samme kategori. Dette er den nødvendige tilgang til præcis analyse af multi-item tallerkener, da det giver systemet mulighed for at estimere portionsstørrelsen for hver genstand uafhængigt.

Moderne instans segmenteringsarkitekturer som Mask R-CNN og dens efterfølgere genererer både en klassifikationsetiket og en pixel-niveau maske for hver detekteret fødevare. Kvaliteten af disse masker bestemmer direkte nøjagtigheden af portionsestimering.

Benchmark Præstation: Hvor Vi Står

Feltet for fødevaregenkendelse bruger flere standard benchmarks til at evaluere modelpræstation. Her er hvordan den nuværende state-of-the-art præsterer.

Food-101

Den oprindelige store fødevarebenchmark, der indeholder 101 fødevarekategorier med 1.000 billeder hver. Nuværende topmodeller opnår klassifikationsnøjagtighed over 95 procent på Food-101. Dog er Food-101 en klassifikationsbenchmark (én fødevare pr. billede) og ikke en detektionsbenchmark, så den tester ikke multi-item tallerkenscenarier.

UECFOOD-256

Et datasæt med 256 kategorier med bounding box-annoteringer, der muliggør detektionsvurdering. State-of-the-art modeller opnår mAP@0.5 på cirka 0.78 til 0.82 på dette datasæt, hvilket afspejler den øgede sværhedsgrad ved multi-kategoridetektion.

Nutrition5k

En nyere benchmark, der parrer fødevarebilleder med faktiske ernæringsdata målt gennem laboratorieanalyse. Dette datasæt muliggør end-to-end evaluering: ikke bare "identificerede modellen fødevaren korrekt?" men "producerede den et præcist kalorieestimat?" Præstationen på Nutrition5k afslører den sammensatte effekt af detektionsfejl på ernæringsnøjagtigheden.

ISIA Food-500

Et stort datasæt med 500 fødevarekategorier trukket fra forskellige globale køkkener. Det afslører det kulturelle biasproblem i fødevaregenkendelse: modeller, der primært er trænet på vestlige datasæt, viser betydelige nøjagtighedsproblemer på asiatiske, afrikanske og sydamerikanske fødevarekategorier.

Arkitektur Evolution: Fra CNN til Vision Transformer

De modelarkitekturer, der bruges til fødevaregenkendelse, har udviklet sig betydeligt, og hver generation har forbedret håndteringen af multi-item tallerkener.

YOLO Familie (YOLOv5 til YOLOv10)

YOLO (You Only Look Once) familien af modeller prioriterer hastighed. YOLOv8 og senere versioner opnår mAP@0.5 på 0.75 til 0.82 på fødevaredetekteringsbenchmarks, mens de kører inferens på under 50 millisekunder på moderne hardware. Dette gør dem velegnede til realtids mobile applikationer, hvor brugeren forventer resultater inden for 1 til 2 sekunder efter at have taget et billede.

Ulempen er, at YOLO-modeller kan have problemer med tæt overlappende genstande, hvor præcise grænseafgrænsninger er kritiske for portionsestimering.

Vision Transformers (ViT, DINOv2)

Transformer-baserede arkitekturer behandler billeder som sekvenser af patches og bruger selvopmærksomhedsmekanismer til at fange global kontekst. For fødevaregenkendelse betyder dette, at modellen kan bruge kontekstuelle ledetråde, hvis ris er til stede, er karry mere sandsynligt i nærheden, for at forbedre detektionen af tvetydige genstande.

Vision Transformers opnår højere mAP på komplekse multi-item tallerkener sammenlignet med CNN-baserede tilgange, især for genstande med tvetydige grænser. Omkostningen er højere beregningskrav og langsommere inferens.

Hybrid Tilgange

Nuværende bedst præsterende systemer kombinerer CNN-baseret funktionsekstraktion med transformer-opmærksomhedsmekanismer. Disse hybride arkitekturer opnår mAP@0.5 over 0.85 på multi-item fødevaredetektion, samtidig med at de opretholder inferenshastigheder, der er praktiske for mobile applikationer.

Nutrolas genkendelsespipeline bruger en hybridarkitektur, der balancerer detektionsnøjagtighed med den under 2 sekunder responstid, som brugerne forventer.

Fra Detektion til Ernæring: Nøjagtigheds Pipelines

Det endelige output fra et fødevaregenkendelsessystem er ikke en bounding box eller en segmenteringsmaske. Det er et kalorie- og makroestimat. Nøjagtigheden af dette estimat afhænger af en række trin, hver med sin egen fejlrate.

1. Detektion og klassifikation: Er fødevareelementet identificeret korrekt? (Målt ved mAP)
2. Segmenteringskvalitet: Er pixelmasken stram nok til præcis portionsestimering? (Målt ved IoU)
3. Volumenestimering: Givet masken, hvor meget mad er der faktisk? (Målt mod ground-truth vægte)
4. Ernæringskortlægning: Givet den identificerede mad og estimerede volumen, hvad er kalorierne og makroerne? (Målt mod laboratorie-verificerede ernæringsdata)

Fejl i hvert trin akkumuleres. En model, der korrekt identificerer et fødevareelement 90 procent af tiden med portionsestimater, der er nøjagtige inden for 15 procent, vil producere kalorieestimater med en samlet fejlrate, der er bredere end nogen af de enkelte metrikker antyder.

Det er derfor, benchmark-målinger alene ikke fortæller hele historien. Den ernæringsdatabase og volumenestimeringskomponenter er lige så vigtige, og det er her, formålsbyggede ernæringssystemer adskiller sig fra generiske fødevaregenkendelsesmodeller.

Hvad Disse Metrikker Betyder for Din Opgørelse

For slutbrugeren er de praktiske implikationer af disse benchmarks ligetil.

Enkelt-retter (en skål havregryn, en proteinshake, et stykke frugt) genkendes med høj nøjagtighed af de fleste moderne fødevare-AI-systemer. Fejlmarginen ligger typisk inden for 5 til 10 procent af det faktiske kalorieindhold.

Multi-item tallerkener er sværere. Forvent nøjagtighed inden for 10 til 20 procent for veladskilte genstande og 15 til 25 procent for overlappende eller blandede genstande. Her forbedrer multimodal input (tilføjelse af stemme- eller tekstdetaljer) resultaterne betydeligt.

Komplekse blandede retter (gryderetter, casseroller, karryretter) forbliver den sværeste udfordring. Her er systemet stærkt afhængigt af ret-niveau genkendelse og databaseopslag snarere end komponent-niveau analyse. En verificeret database med ret-specifikke poster bliver vigtigere end detektionsnøjagtighed.

Forbedringskurven er klar: hver generation af modelarkitekturer lukker kløften mellem kontrolleret benchmarkpræstation og virkelighedens nøjagtighed. Men de mest meningsfulde nøjagtighedsgevinster i dag kommer ikke kun fra bedre detektionsmodeller, men fra at kombinere visuel AI med verificerede ernæringsdata og multimodal brugerinput.

Ofte Stillede Spørgsmål

Hvad er mAP i fødevaregenkendelse AI?

Mean Average Precision (mAP) er den standardmåling, der bruges til at evaluere, hvor præcist en objektdetekteringsmodel identificerer og lokaliserer genstande i billeder. I fødevaregenkendelse måler mAP, hvor pålideligt AI opdager og korrekt klassificerer forskellige fødevarer på tværs af alle kategorier, den er trænet på. En højere mAP indikerer bedre samlet detektionspræstation. Metrikken tager højde for både præcision (var detektionerne korrekte) og recall (blev alle genstande fundet), hvilket giver et omfattende mål for systemnøjagtighed. Nuværende state-of-the-art fødevaregenkendelsesmodeller opnår mAP@0.5-scores mellem 0.78 og 0.88 på standard benchmarks.

Hvor præcist er AI kalorieopgørelse fra fotos?

Nøjagtigheden varierer betydeligt afhængigt af måltidets kompleksitet. For enkelt-retter med klart synlige fødevarer opnår moderne AI kalorieestimater inden for 5 til 10 procent af de faktiske værdier. For multi-item tallerkener med veladskilte komponenter falder nøjagtigheden til inden for 10 til 20 procent. Komplekse blandede retter og måltider med skjulte ingredienser som madolie præsenterer den største udfordring, med potentielle fejl på 20 til 30 procent, hvis man kun stoler på fotoanalyse. Systemer, der kombinerer fotogenkendelse med brugerleveret kontekst om tilberedningsmetoder og skjulte ingredienser, opnår den bedste virkelige nøjagtighed.

Hvad er forskellen mellem semantisk og instans segmentering i fødevare-AI?

Semantisk segmentering mærker hver pixel i et billede med en fødevarekategori, men adskiller ikke mellem separate instanser af samme kategori. Instans segmentering identificerer hver enkelt fødevare som en distinkt enhed med sin egen maske, selvom flere genstande deler samme kategori. For kalorieopgørelse er instans segmentering afgørende, fordi den giver systemet mulighed for at estimere portionsstørrelser for hver genstand uafhængigt. Uden instans segmentering ville en tallerken med to forskellige karryretter blive behandlet som et enkelt karryområde, hvilket ville give et unøjagtigt ernæringsestimat.

Hvorfor afspejler fødevare-AI benchmarks ikke virkelighedens præstation?

Standard benchmarks som Food-101 og UECFOOD-256 bruger kuraterede billeder, der typisk viser velbelyste, enkeltstående overhead-fotos. Virkelige fødevarebilleder tages i variabel belysning, fra inkonsistente vinkler, med flere overlappende genstande og ofte med delvis skjul. Desuden er benchmarkdatasæt overvejende vestligt centrerede, hvilket betyder, at modeller, der testes på dem, kan vise oppustet nøjagtighed, der ikke generaliserer til globalt forskellige køkkener. Virkelighedens mAP falder typisk 10 til 20 point under benchmarkpræstation på grund af disse distributionskløfter.

Hvilken modelarkitektur fungerer bedst til fødevaregenkendelse?

Nuværende bedste resultater kommer fra hybride arkitekturer, der kombinerer konvolutionelle neurale netværk (CNN) funktionsekstraktion med transformer-baserede opmærksomhedsmekanismer. Rene CNN-modeller som YOLO-familien tilbyder hurtig inferens, der er velegnet til mobile apps, mens Vision Transformers giver bedre nøjagtighed på komplekse multi-item tallerkener. Hybride tilgange balancerer begge fordele og opnår mAP@0.5 over 0.85 på multi-item fødevaredetektion, samtidig med at de opretholder de under 2 sekunder responstider, der kræves for praktisk mobil brug. Valget af arkitektur afhænger også af implementeringskonteksten: mobile apps favoriserer lettere modeller, mens cloud-baseret behandling kan udnytte større transformer-arkitekturer.