mAP a IoU: Hluboký ponor do benchmarků počítačového vidění pro rozpoznávání potravin

Když aplikace pro výživu tvrdí, že její AI dokáže „identifikovat vaše jídlo z fotografie“, co to vlastně znamená v měřitelných termínech? Jak přesná je tato identifikace? Jak systém zvládá talíř se šesti různými položkami, které se dotýkají? A jak porovnat jeden systém rozpoznávání potravin s druhým?

Odpovědi leží ve dvou metrikách, které výzkumná komunita v oblasti počítačového vidění používá k hodnocení modelů detekce objektů: mAP (mean Average Precision) a IoU (Intersection over Union). Tyto čísla určují, zda je AI pro potraviny skutečně přesná, nebo jen působivá v ukázkách.

Pochopení IoU: Základní metrika

Intersection over Union měří, jak dobře se předpovězený ohraničující rámeček nebo segmentační maska překrývá se skutečností, tedy s reálnou polohou a tvarem potravinové položky, jak ji označil lidský anotátor.

Výpočet je jednoduchý:

IoU = Oblast překrytí / Oblast sjednocení

IoU 1.0 znamená, že předpověď dokonale odpovídá skutečnosti. IoU 0.0 znamená, že nedochází k žádnému překrytí. V praxi je standardní prahová hodnota pro „správnou“ detekci v rozpoznávání potravin IoU 0.5 nebo vyšší, což znamená alespoň 50 procent překrytí mezi předpovězenou a skutečnou oblastí potravin.

Proč je IoU důležité pro výživu

IoU přímo ovlivňuje odhad porcí. Pokud ohraničující rámeček modelu zachytí pouze 60 procent rýže na vašem talíři (IoU pod prahovou hodnotou přesnosti pro těsné segmentace), odhad porce bude nižší. Naopak, pokud je ohraničující rámeček příliš velký a zahrnuje část sousedního kari, odhad kalorií pro rýži bude nadhodnocen o nutriční profil kari.

U jednoduchých talířů s jednou potravinovou položkou umístěnou uprostřed snímku je optimalizace IoU relativně snadná. Výzva se dramaticky zvyšuje u složitých talířů s více položkami.

Pochopení mAP: Metrika na úrovni systému

Mean Average Precision agreguje přesnost detekce napříč všemi kategoriemi potravin a prahovými hodnotami důvěry do jediné skóre. Odpovídá na otázku: jak spolehlivě model detekuje a správně klasifikuje všechny typy potravin, které dokáže rozpoznat?

Výpočet zahrnuje:

1. Přesnost: Kolik z detekcí, které model provedl, bylo správných?
2. Odezva: Kolik skutečných potravinových položek bylo přítomno a model je našel?
3. Průměrná přesnost (AP): Oblast pod křivkou přesnosti-odezvy pro jednu potravinovou kategorii
4. mAP: Průměr AP hodnot napříč všemi potravinovými kategoriemi

Model s mAP@0.5 0.85 správně detekuje a klasifikuje 85 procent potravinových položek při prahu IoU 0.5 napříč všemi kategoriemi. mAP@0.5:0.95 je přísnější metrika, která průměruje výkon napříč prahovými hodnotami IoU od 0.5 do 0.95, penalizující modely, které dosahují volných detekcí, ale selhávají při těsné segmentaci.

Rozdíl mezi ukázkou a realitou

Většina ukázek AI pro potraviny zobrazuje fotografie s jednou položkou, dobře osvětlené a z ptačí perspektivy: misku ramen, talíř sushi, salát. Za těchto podmínek moderní modely dosahují mAP@0.5 skóre nad 0.90. Toto číslo však výrazně klesá při reálných podmínkách.

Faktory, které snižují mAP v praxi:

• Více překrývajících se položek: Talíř rýže, dal, sabzi a roti, které se dotýkají
• Částečné zakrytí: Jedna potravinová položka částečně skrytá za jinou
• Proměnlivé osvětlení: Tmavé osvětlení v restauraci versus jasné osvětlení v kuchyni
• Nestandardní úhly: Fotografie pořízené z boku místo přímo shora
• Vizuální podobnost: Hnědá rýže a quinoa, nebo různé typy dal, které vypadají téměř identicky

Skutečné rozpoznávání potravin mAP obvykle klesá o 10 až 20 bodů pod výkon benchmarků v kontrolovaných podmínkách.

Problém více položek na talíři

Definující výzvou v rozpoznávání potravin není identifikace jedné potraviny v izolaci. Je to identifikace pěti nebo šesti různých položek na jednom talíři, kde se dotýkají, překrývají a vizuálně splývají.

Zvažte typický indický thali: rýže, dvě kari, dal, raita, papad a nakládaná zelenina, vše servírované na jednom talíři s dotýkajícími se položkami. Nebo mexický talíř s rýží, fazolemi, guacamole, salsou, zakysanou smetanou a tortillou. Každou položku je třeba individuálně identifikovat a odhadnout její porci nezávisle.

Sémantická segmentace vs. instance segmentace

Existují dva hlavní přístupy k řešení tohoto problému, a rozdíl je důležitý.

Sémantická segmentace přiřazuje každému pixelu v obrázku potravinovou kategorii. Všechny pixely, které jsou „rýže“, jsou označeny jako rýže, všechny pixely, které jsou „kari“, jsou označeny jako kari. To funguje dobře pro jasně oddělené položky, ale selhává, když jsou přítomny dvě instance stejné kategorie (dvě různá kari na stejném talíři) nebo když jsou hranice nejasné.

Instance segmentace identifikuje každou jednotlivou potravinovou položku jako samostatnou entitu, i když dvě položky patří do stejné kategorie. To je přístup potřebný pro přesnou analýzu talířů s více položkami, protože umožňuje systému odhadnout velikost porce každé položky nezávisle.

Moderní architektury instance segmentace, jako je Mask R-CNN a její nástupci, generují jak klasifikační štítek, tak masku na úrovni pixelu pro každou detekovanou potravinovou položku. Kvalita těchto masek přímo určuje přesnost odhadu porce.

Výkon benchmarků: Kde se nacházíme

Oblast rozpoznávání potravin používá několik standardních benchmarků k hodnocení výkonu modelů. Zde je, jak si aktuální špičkové modely vedou.

Food-101

Původní velký benchmark pro potraviny, obsahující 101 potravinových kategorií s 1 000 obrázky každé. Aktuální nejlepší modely dosahují přesnosti klasifikace nad 95 procent na Food-101. Nicméně, Food-101 je benchmark klasifikace (jedna potravina na obrázek), nikoli benchmark detekce, takže netestuje scénáře s více položkami na talíři.

UECFOOD-256

Dataset s 256 kategoriemi a anotacemi ohraničujících rámečků, umožňující hodnocení detekce. Špičkové modely dosahují mAP@0.5 přibližně 0.78 až 0.82 na tomto datasetu, což odráží zvýšenou obtížnost detekce více kategorií.

Nutrition5k

Novější benchmark, který páruje obrázky potravin se skutečnými nutričními daty měřenými laboratorní analýzou. Tento dataset umožňuje end-to-end hodnocení: nejen „rozpoznal model potravinu správně?“, ale „vytvořil přesný odhad kalorií?“ Výkon na Nutrition5k odhaluje kumulativní efekt chyb detekce na nutriční přesnost.

ISIA Food-500

Velký dataset s 500 potravinovými kategoriemi z různých světových kuchyní. Odhaluje problém kulturního zkreslení v rozpoznávání potravin: modely trénované převážně na západních datasetech vykazují významné poklesy přesnosti na asijských, afrických a jihoamerických potravinových kategoriích.

Evoluce architektury: Od CNN k Vision Transformer

Architektury modelů používané pro rozpoznávání potravin se výrazně vyvinuly a každá generace zlepšila zpracování talířů s více položkami.

Rodina YOLO (YOLOv5 až YOLOv10)

Rodina modelů YOLO (You Only Look Once) upřednostňuje rychlost. YOLOv8 a novější verze dosahují mAP@0.5 0.75 až 0.82 na benchmarkech detekce potravin, přičemž provádějí inference za méně než 50 milisekund na moderním hardwaru. To je činí vhodnými pro aplikace v reálném čase, kde uživatel očekává výsledky do 1 až 2 sekund po pořízení fotografie.

Nevýhodou je, že modely YOLO mohou mít potíže s těsně překrývajícími se položkami, kde je přesné vymezení hranic klíčové pro odhad porce.

Vision Transformers (ViT, DINOv2)

Architektury založené na transformátorech zpracovávají obrázky jako sekvence částí a používají mechanismy sebe-pozornosti k zachycení globálního kontextu. Pro rozpoznávání potravin to znamená, že model může využívat kontextové nápovědy, například pokud je přítomna rýže, je pravděpodobnější, že poblíž bude kari, k vylepšení detekce nejasných položek.

Vision Transformers dosahují vyššího mAP na složitých talířích s více položkami ve srovnání s přístupy založenými na CNN, zejména pro položky s nejasnými hranicemi. Cena je vyšší výpočetní náročnost a pomalejší inference.

Hybridní přístupy

Současné nejlepší systémy kombinují extrakci funkcí založenou na CNN s mechanismy pozornosti transformátorů. Tyto hybridní architektury dosahují mAP@0.5 nad 0.85 na detekci potravin s více položkami, přičemž udržují rychlosti inference praktické pro mobilní aplikace.

Rozpoznávací pipeline Nutrola používá hybridní architekturu, která vyvažuje přesnost detekce s odpovědní dobou pod 2 sekundy, kterou uživatelé očekávají.

Od detekce k výživě: Přesnost pipeline

Konečný výstup systému rozpoznávání potravin není ohraničující rámeček nebo segmentační maska. Je to odhad kalorií a makroživin. Přesnost tohoto odhadu závisí na řetězci kroků, z nichž každý má svou vlastní míru chyby.

1. Detekce a klasifikace: Je potravinová položka identifikována správně? (Měřeno mAP)
2. Kvalita segmentace: Je pixelová maska dostatečně těsná pro přesný odhad porce? (Měřeno IoU)
3. Odhad objemu: Kolik potravin je skutečně přítomno, vzhledem k masce? (Měřeno proti skutečným hmotnostem)
4. Nutriční mapování: Jaké jsou kalorie a makra, vzhledem k identifikované potravině a odhadovanému objemu? (Měřeno proti laboratorně ověřeným nutričním datům)

Chyby v každé fázi se kumulují. Model, který správně identifikuje potravinovou položku 90 procent času s odhady porcí přesnými na 15 procent, vyprodukuje odhady kalorií s kombinovanou chybou širší, než jak naznačují jednotlivé metriky.

Proto samotné benchmarkové metriky neříkají celou pravdu. Nutriční databáze a komponenty odhadu objemu jsou stejně důležité, a právě zde se specializované nutriční systémy odlišují od obecných modelů rozpoznávání potravin.

Co tyto metriky znamenají pro vaše sledování

Pro koncového uživatele jsou praktické důsledky těchto benchmarků přímočaré.

Jednopoložkové jídla (miska ovesné kaše, proteinový shake, kus ovoce) jsou rozpoznávány s vysokou přesností většinou moderních systémů AI pro potraviny. Chybovost je obvykle v rozmezí 5 až 10 procent skutečného obsahu kalorií.

Talíře s více položkami jsou složitější. Očekávejte přesnost v rozmezí 10 až 20 procent pro dobře oddělené položky a 15 až 25 procent pro překrývající se nebo smíšené položky. Zde multimodální vstup (přidání hlasových nebo textových detailů) významně zlepšuje výsledky.

Složená smíšená jídla (dušená jídla, zapečené pokrmy, kari) zůstávají nejtěžší výzvou. Zde se systém silně spoléhá na rozpoznávání pokrmů na úrovni talíře a vyhledávání v databázi spíše než na analýzu jednotlivých komponent. Ověřená databáze se specifickými záznamy o pokrmech se stává důležitější než přesnost detekce.

Trajektorie zlepšení je jasná: každá generace architektur modelů zmenšuje rozdíl mezi výkonem v kontrolovaných benchmarkových podmínkách a skutečnou přesností. Ale nejvýznamnější zisky v přesnosti dnes přicházejí nejen z lepších detekčních modelů, ale z kombinace vizuální AI s ověřenými nutričními daty a multimodálním uživatelským vstupem.

Často kladené otázky

Co je mAP v AI pro rozpoznávání potravin?

Mean Average Precision (mAP) je standardní metrika pro hodnocení toho, jak přesně model detekce objektů identifikuje a lokalizuje položky na obrázcích. V rozpoznávání potravin mAP měří, jak spolehlivě AI detekuje a správně klasifikuje různé potravinové položky napříč všemi kategoriemi, na kterých byla trénována. Vyšší mAP znamená lepší celkový výkon detekce. Metrika zohledňuje jak přesnost (byly detekce správné), tak odezvu (byly všechny položky nalezeny), což poskytuje komplexní měření přesnosti systému. Aktuální špičkové modely rozpoznávání potravin dosahují mAP@0.5 skóre mezi 0.78 a 0.88 na standardních benchmarkech.

Jak přesné je sledování kalorií pomocí AI z fotografií?

Přesnost se výrazně liší podle složitosti jídla. U jednopoložkových jídel s jasně viditelnou potravinou moderní AI dosahuje odhadů kalorií v rozmezí 5 až 10 procent skutečných hodnot. U talířů s více položkami s dobře oddělenými komponenty klesá přesnost na 10 až 20 procent. Složitá smíšená jídla a pokrmy s skrytými ingrediencemi, jako jsou kuchyňské oleje, představují největší výzvu, s potenciálními chybami 20 až 30 procent, pokud se spoléháte pouze na analýzu fotografií. Systémy, které kombinují rozpoznávání fotografií s uživatelským kontextem ohledně metod přípravy a skrytých ingrediencí, dosahují nejlepší reálné přesnosti.

Jaký je rozdíl mezi sémantickou a instance segmentací v AI pro potraviny?

Sémantická segmentace označuje každý pixel v obrázku potravinovou kategorií, ale nerozlišuje mezi samostatnými instancemi stejné kategorie. Instance segmentace identifikuje každou jednotlivou potravinovou položku jako samostatnou entitu se svou vlastní maskou, i když více položek patří do stejné kategorie. Pro sledování kalorií je instance segmentace nezbytná, protože umožňuje systému odhadnout velikosti porcí pro každou položku nezávisle. Bez instance segmentace by byl talíř se dvěma různými kari považován za jednu oblast kari, což by vedlo k nepřesnému nutričnímu odhadu.

Proč benchmarky AI pro potraviny neodrážejí výkon v reálném světě?

Standardní benchmarky jako Food-101 a UECFOOD-256 používají upravené obrázky, které obvykle zobrazují dobře osvětlené, jednopoložkové fotografie z ptačí perspektivy. Skutečné fotografie potravin jsou pořízeny v proměnlivém osvětlení, z nekonzistentních úhlů, s více překrývajícími se položkami a často s částečným zakrytím. Kromě toho jsou benchmarkové datasety převážně zaměřeny na západní kulturu, což znamená, že modely testované na nich mohou vykazovat nadhodnocenou přesnost, která se negeneralizuje na globálně rozmanité kuchyně. Skutečné mAP obvykle klesá o 10 až 20 bodů pod výkon benchmarků kvůli těmto rozdílům v distribuci.

Která architektura modelu funguje nejlépe pro rozpoznávání potravin?

Aktuálně nejlepší výsledky pocházejí z hybridních architektur, které kombinují extrakci funkcí založenou na konvolučních neuronových sítích (CNN) s mechanismy pozornosti založenými na transformátorech. Čisté modely CNN, jako je rodina YOLO, nabízejí rychlou inference vhodnou pro mobilní aplikace, zatímco Vision Transformers poskytují lepší přesnost na složitých talířích s více položkami. Hybridní přístupy vyvažují obě výhody, dosahují mAP@0.5 nad 0.85 na detekci potravin s více položkami, přičemž udržují doby inference pod 2 sekundy, které jsou vyžadovány pro praktické mobilní použití. Volba architektury také závisí na kontextu nasazení: mobilní aplikace preferují lehčí modely, zatímco cloudové zpracování může využívat větší architektury transformátorů.