mAP i IoU: Głębokie zanurzenie w benchmarki wizji komputerowej dla rozpoznawania żywności

Kiedy aplikacja do śledzenia diety twierdzi, że jej AI potrafi "rozpoznać twoje jedzenie na zdjęciu", co to tak naprawdę oznacza w wymiernych kategoriach? Jak dokładne jest to rozpoznawanie? Jak system radzi sobie z talerzem z sześcioma różnymi potrawami stykającymi się ze sobą? I jak porównać jeden system rozpoznawania żywności z innym?

Odpowiedzi znajdują się w dwóch metrykach, które społeczność badawcza wizji komputerowej wykorzystuje do oceny modeli detekcji obiektów: mAP (średnia precyzja) i IoU (przecięcie przez sumę). Te liczby określają, czy AI do rozpoznawania żywności jest naprawdę dokładne, czy tylko robi wrażenie podczas demonstracji.

Zrozumienie IoU: Podstawowa metryka

Intersection over Union mierzy, jak dobrze przewidywana ramka ograniczająca lub maska segmentacji pokrywa się z rzeczywistością, czyli rzeczywistą lokalizacją i kształtem przedmiotu żywnościowego oznaczonym przez ludzkiego anotatora.

Obliczenia są proste:

IoU = Powierzchnia nakładania / Powierzchnia unii

IoU wynoszące 1.0 oznacza, że przewidywanie idealnie odpowiada rzeczywistości. IoU wynoszące 0.0 oznacza, że nie ma żadnego nakładania. W praktyce standardowy próg dla "poprawnej" detekcji w rozpoznawaniu żywności to IoU wynoszące 0.5 lub więcej, co oznacza co najmniej 50-procentowe nakładanie się przewidywanej i rzeczywistej strefy żywności.

Dlaczego IoU ma znaczenie dla żywienia

IoU bezpośrednio wpływa na oszacowanie porcji. Jeśli ramka ograniczająca modelu obejmuje tylko 60 procent ryżu na twoim talerzu (IoU poniżej progu dokładności dla ścisłej segmentacji), oszacowanie porcji będzie zaniżone. Z drugiej strony, jeśli ramka jest zbyt duża i obejmuje część sąsiedniego curry, oszacowanie kalorii dla ryżu zostanie zawyżone przez profil odżywczy curry.

Dla prostych talerzy z pojedynczym przedmiotem żywnościowym w centrum kadru, IoU jest stosunkowo łatwe do optymalizacji. Wyzwanie znacznie wzrasta w przypadku złożonych talerzy z wieloma potrawami.

Zrozumienie mAP: Metryka na poziomie systemu

Mean Average Precision agreguje dokładność detekcji w różnych kategoriach żywności i progach pewności w jedną wartość. Odpowiada na pytanie: jak niezawodnie model wykrywa i poprawnie klasyfikuje różne rodzaje żywności, które potrafi rozpoznać?

Obliczenia obejmują:

1. Precyzja: Z wszystkich detekcji, które model wykonał, ile było poprawnych?
2. Czułość: Z wszystkich rzeczywistych przedmiotów żywnościowych, ile model znalazł?
3. Średnia precyzja (AP): Powierzchnia pod krzywą precyzji-czułości dla jednej kategorii żywności
4. mAP: Średnia wartości AP dla wszystkich kategorii żywności

Model z mAP@0.5 wynoszącym 0.85 poprawnie wykrywa i klasyfikuje 85 procent przedmiotów żywnościowych przy progu IoU 0.5 w różnych kategoriach. mAP@0.5:0.95 to bardziej rygorystyczna metryka, która uśrednia wyniki w różnych prógach IoU od 0.5 do 0.95, karząc modele, które osiągają luźne detekcje, ale zawodzą w przypadku ścisłej segmentacji.

Różnica między demonstracją a rzeczywistością

Większość demonstracji AI w rozpoznawaniu żywności pokazuje zdjęcia pojedynczych przedmiotów, dobrze oświetlone, z góry: miska ramen, talerz sushi, sałatka. W takich warunkach nowoczesne modele osiągają wyniki mAP@0.5 powyżej 0.90. Liczba ta znacznie spada w warunkach rzeczywistych.

Czynniki, które obniżają mAP w praktyce:

• Wiele nakładających się przedmiotów: Talerz z ryżem, dal, sabzi i roti stykającymi się ze sobą
• Częściowa zasłona: Jeden przedmiot żywnościowy częściowo ukryty za innym
• Zmienna oświetlenie: Przyciemnione oświetlenie w restauracji w porównaniu do jasnego oświetlenia w kuchni
• Niestandardowe kąty: Zdjęcia robione z boku zamiast bezpośrednio z góry
• Podobieństwo wizualne: Brązowy ryż i quinoa, lub różne rodzaje dal, które wyglądają niemal identycznie

Rzeczywiste mAP w rozpoznawaniu żywności zazwyczaj spada o 10 do 20 punktów poniżej wydajności w kontrolowanych benchmarkach.

Problem talerza z wieloma potrawami

Kluczowym wyzwaniem w rozpoznawaniu żywności nie jest identyfikacja pojedynczego przedmiotu w izolacji. To identyfikacja pięciu lub sześciu różnych potraw na jednym talerzu, gdzie stykają się, nakładają i wizualnie mieszają ze sobą.

Rozważmy typowy indyjskie thali: ryż, dwa curry, dal, raita, papad i pikle, wszystko serwowane na jednym talerzu z przedmiotami stykającymi się. Lub meksykański talerz z ryżem, fasolą, guacamole, salsą, śmietaną i tortillą. Każdy przedmiot musi być indywidualnie zidentyfikowany, a jego porcja oszacowana niezależnie.

Segmentacja semantyczna vs. segmentacja instancji

Istnieją dwa podstawowe podejścia do rozwiązania tego problemu, a różnica ma znaczenie.

Segmentacja semantyczna przypisuje każdy piksel w obrazie do kategorii żywności. Wszystkie piksele, które są "ryżem", są oznaczane jako ryż, wszystkie piksele, które są "curry", są oznaczane jako curry. Działa to dobrze dla wyraźnie oddzielonych przedmiotów, ale zawodzi, gdy obecne są dwa przypadki tej samej kategorii (dwa różne curry na tym samym talerzu) lub gdy granice są niejednoznaczne.

Segmentacja instancji identyfikuje każdy pojedynczy przedmiot żywnościowy jako oddzielny byt, nawet jeśli dwa przedmioty należą do tej samej kategorii. To podejście jest wymagane do dokładnej analizy talerzy z wieloma potrawami, ponieważ pozwala systemowi oszacować rozmiar porcji każdego przedmiotu niezależnie.

Nowoczesne architektury segmentacji instancji, takie jak Mask R-CNN i jej następcy, generują zarówno etykietę klasyfikacyjną, jak i maskę na poziomie piksela dla każdego wykrytego przedmiotu żywnościowego. Jakość tych masek bezpośrednio wpływa na dokładność oszacowania porcji.

Wydajność benchmarków: Gdzie stoimy

W dziedzinie rozpoznawania żywności używa się kilku standardowych benchmarków do oceny wydajności modeli. Oto jak obecny stan technologii wypada.

Food-101

Pierwszy duży benchmark żywnościowy, zawierający 101 kategorii żywności z 1000 obrazów każda. Obecnie najlepsze modele osiągają dokładność klasyfikacji powyżej 95 procent na Food-101. Jednak Food-101 to benchmark klasyfikacyjny (jedna żywność na obraz), a nie benchmark detekcji, więc nie testuje scenariuszy z wieloma potrawami na talerzu.

UECFOOD-256

Zbiór danych z 256 kategoriami z adnotacjami ramki ograniczającej, umożliwiający ocenę detekcji. Modele stanu techniki osiągają mAP@0.5 wynoszące około 0.78 do 0.82 na tym zbiorze danych, co odzwierciedla zwięksoną trudność detekcji wielu kategorii.

Nutrition5k

Nowszy benchmark, który łączy obrazy żywności z rzeczywistymi danymi odżywczymi mierzonymi przez analizy laboratoryjne. Ten zbiór danych umożliwia ocenę end-to-end: nie tylko "czy model poprawnie zidentyfikował żywność?", ale "czy wyprodukował dokładne oszacowanie kalorii?" Wydajność na Nutrition5k ujawnia kumulujący się efekt błędów detekcji na dokładność odżywczą.

ISIA Food-500

Duży zbiór danych z 500 kategoriami żywności pochodzącymi z różnych kuchni świata. Ujawnia problem z kulturowym uprzedzeniem w rozpoznawaniu żywności: modele trenowane głównie na zachodnich zbiorach danych wykazują znaczące spadki dokładności w przypadku azjatyckich, afrykańskich i południowoamerykańskich kategorii żywności.

Ewolucja architektury: Od CNN do Vision Transformer

Architektury modeli używane do rozpoznawania żywności znacznie się rozwinęły, a każda generacja poprawiła obsługę talerzy z wieloma potrawami.

Rodzina YOLO (YOLOv5 do YOLOv10)

Rodzina modeli YOLO (You Only Look Once) priorytetowo traktuje szybkość. YOLOv8 i nowsze wersje osiągają mAP@0.5 wynoszące od 0.75 do 0.82 w benchmarkach detekcji żywności, działając przy tym w czasie poniżej 50 milisekund na nowoczesnym sprzęcie. To czyni je odpowiednimi do aplikacji mobilnych w czasie rzeczywistym, gdzie użytkownik oczekuje wyników w ciągu 1 do 2 sekund od zrobienia zdjęcia.

Wymiana to, że modele YOLO mogą mieć trudności z ściśle nakładającymi się przedmiotami, gdzie precyzyjne wyznaczenie granic jest kluczowe dla oszacowania porcji.

Vision Transformers (ViT, DINOv2)

Architektury oparte na transformatorach przetwarzają obrazy jako sekwencje fragmentów i wykorzystują mechanizmy samo-zwracania, aby uchwycić kontekst globalny. W przypadku rozpoznawania żywności oznacza to, że model może wykorzystać wskazówki kontekstowe, jeśli ryż jest obecny, curry jest bardziej prawdopodobne w pobliżu, aby poprawić detekcję niejednoznacznych przedmiotów.

Vision Transformers osiągają wyższe mAP na złożonych talerzach z wieloma potrawami w porównaniu do podejść opartych na CNN, szczególnie dla przedmiotów o niejednoznacznych granicach. Koszt to wyższe wymagania obliczeniowe i wolniejsze wnioskowanie.

Podejścia hybrydowe

Obecnie najlepiej działające systemy łączą ekstrakcję cech opartą na CNN z mechanizmami uwagi opartymi na transformatorach. Te hybrydowe architektury osiągają mAP@0.5 powyżej 0.85 w detekcji żywności z wieloma potrawami, jednocześnie utrzymując prędkości wnioskowania praktyczne dla aplikacji mobilnych.

Pipeline rozpoznawania Nutrola wykorzystuje architekturę hybrydową, która równoważy dokładność detekcji z czasem reakcji poniżej 2 sekund, którego oczekują użytkownicy.

Od detekcji do żywienia: Pipeline dokładności

Ostateczny wynik systemu rozpoznawania żywności to nie ramka ograniczająca ani maska segmentacji. To oszacowanie kalorii i makroskładników. Dokładność tego oszacowania zależy od ciągu kroków, z których każdy ma swoją własną stopę błędu.

1. Detekcja i klasyfikacja: Czy przedmiot żywnościowy został poprawnie zidentyfikowany? (Mierzone przez mAP)
2. Jakość segmentacji: Czy maska piksela jest wystarczająco ścisła dla dokładnego oszacowania porcji? (Mierzone przez IoU)
3. Oszacowanie objętości: Biorąc pod uwagę maskę, ile jedzenia faktycznie tam jest? (Mierzone w porównaniu do rzeczywistych wag)
4. Mapowanie odżywcze: Biorąc pod uwagę zidentyfikowaną żywność i oszacowaną objętość, jakie są kalorie i makroskładniki? (Mierzone w porównaniu do zweryfikowanych danych odżywczych)

Błędy na każdym etapie kumulują się. Model, który poprawnie identyfikuje przedmiot żywnościowy w 90 procentach przypadków, z oszacowaniami porcji dokładnymi w granicach 15 procent, wygeneruje oszacowania kalorii z łączną stopą błędu szerszą, niż sugerują to poszczególne metryki.

Dlatego metryki benchmarkowe same w sobie nie opowiadają pełnej historii. Baza danych odżywczych i komponenty oszacowania objętości są równie ważne, a to tam systemy żywieniowe zaprojektowane specjalnie różnią się od ogólnych modeli rozpoznawania żywności.

Co te metryki oznaczają dla twojego śledzenia

Dla końcowego użytkownika praktyczne implikacje tych benchmarków są proste.

Pojedyncze posiłki (miska owsianki, koktajl białkowy, kawałek owocu) są rozpoznawane z wysoką dokładnością przez większość nowoczesnych systemów AI do rozpoznawania żywności. Margines błędu wynosi zazwyczaj od 5 do 10 procent rzeczywistej zawartości kalorii.

Talerze z wieloma potrawami są trudniejsze. Oczekuj dokładności w granicach 10 do 20 procent dla dobrze oddzielonych przedmiotów i 15 do 25 procent dla nakładających się lub mieszanych przedmiotów. To tutaj multimodalne wejście (dodanie szczegółów głosowych lub tekstowych) znacznie poprawia wyniki.

Złożone potrawy mieszane (gulasze, zapiekanki, curry) pozostają największym wyzwaniem. Tutaj system polega w dużej mierze na rozpoznawaniu na poziomie dania i wyszukiwaniu w bazie danych, a nie na analizie na poziomie składników. Zweryfikowana baza danych z wpisami specyficznymi dla dań staje się ważniejsza niż dokładność detekcji.

Kierunek poprawy jest jasny: każda generacja architektur modeli zmniejsza różnicę między wydajnością w kontrolowanych benchmarkach a dokładnością w rzeczywistych warunkach. Jednak najbardziej znaczące zyski w dokładności dzisiaj pochodzą nie tylko z lepszych modeli detekcji, ale z połączenia wizualnej AI z zweryfikowanymi danymi odżywczymi i multimodalnym wejściem od użytkowników.

Najczęściej zadawane pytania

Co to jest mAP w AI do rozpoznawania żywności?

Mean Average Precision (mAP) to standardowa metryka oceny, jak dokładnie model detekcji obiektów identyfikuje i lokalizuje przedmioty na obrazach. W rozpoznawaniu żywności mAP mierzy, jak niezawodnie AI wykrywa i poprawnie klasyfikuje różne przedmioty żywnościowe we wszystkich kategoriach, na których zostało przeszkolone. Wyższe mAP wskazuje na lepszą ogólną wydajność detekcji. Metryka uwzględnia zarówno precyzję (czy detekcje były poprawne), jak i czułość (czy wszystkie przedmioty zostały znalezione), co daje kompleksowy pomiar dokładności systemu. Obecnie modele rozpoznawania żywności osiągają wyniki mAP@0.5 w przedziale od 0.78 do 0.88 w standardowych benchmarkach.

Jak dokładne jest śledzenie kalorii przez AI na podstawie zdjęć?

Dokładność znacznie się różni w zależności od złożoności posiłku. W przypadku pojedynczych posiłków z wyraźnie widoczną żywnością nowoczesne AI osiąga oszacowania kalorii w granicach 5 do 10 procent rzeczywistych wartości. W przypadku talerzy z wieloma potrawami o dobrze oddzielonych składnikach, dokładność spada do granic 10 do 20 procent. Złożone potrawy mieszane i posiłki z ukrytymi składnikami, takimi jak oleje do gotowania, stanowią największe wyzwanie, z potencjalnymi błędami wynoszącymi 20 do 30 procent, jeśli polega się wyłącznie na analizie zdjęć. Systemy, które łączą rozpoznawanie zdjęć z kontekstem dostarczonym przez użytkownika na temat metod przygotowania i ukrytych składników, osiągają najlepszą dokładność w rzeczywistych warunkach.

Jaka jest różnica między segmentacją semantyczną a segmentacją instancji w AI żywności?

Segmentacja semantyczna oznacza każdy piksel w obrazie kategorią żywności, ale nie rozróżnia między oddzielnymi instancjami tej samej kategorii. Segmentacja instancji identyfikuje każdy pojedynczy przedmiot żywnościowy jako odrębny byt z własną maską, nawet jeśli wiele przedmiotów należy do tej samej kategorii. Dla śledzenia kalorii segmentacja instancji jest niezbędna, ponieważ pozwala systemowi oszacować rozmiary porcji dla każdego przedmiotu niezależnie. Bez segmentacji instancji talerz z dwoma różnymi curry byłby traktowany jako jedna strefa curry, co prowadziłoby do nieprecyzyjnego oszacowania odżywczego.

Dlaczego benchmarki AI w rozpoznawaniu żywności nie odzwierciedlają wydajności w rzeczywistych warunkach?

Standardowe benchmarki, takie jak Food-101 i UECFOOD-256, wykorzystują starannie dobrane obrazy, które zazwyczaj przedstawiają dobrze oświetlone, pojedyncze przedmioty, z góry. Rzeczywiste zdjęcia żywności są robione w zmiennym oświetleniu, pod różnymi kątami, z wieloma nakładającymi się przedmiotami i często z częściową zasłoną. Dodatkowo, zbiory danych benchmarkowych są głównie skoncentrowane na kulturze zachodniej, co oznacza, że modele testowane na nich mogą wykazywać zawyżoną dokładność, która nie przekłada się na różnorodne kuchnie na całym świecie. Rzeczywiste mAP zazwyczaj spada o 10 do 20 punktów poniżej wydajności benchmarków z powodu tych różnic w dystrybucji.

Jaka architektura modelu działa najlepiej w rozpoznawaniu żywności?

Obecnie najlepsze wyniki osiągają hybrydowe architektury, które łączą ekstrakcję cech opartą na sieciach neuronowych (CNN) z mechanizmami uwagi opartymi na transformatorach. Czyste modele CNN, takie jak rodzina YOLO, oferują szybką detekcję odpowiednią dla aplikacji mobilnych, podczas gdy Vision Transformers zapewniają lepszą dokładność w przypadku złożonych talerzy z wieloma potrawami. Podejścia hybrydowe łączą obie zalety, osiągając mAP@0.5 powyżej 0.85 w detekcji żywności z wieloma potrawami, jednocześnie utrzymując czasy reakcji poniżej 2 sekund, które są wymagane dla praktycznego użytku mobilnego. Wybór architektury zależy również od kontekstu wdrożenia: aplikacje mobilne preferują lżejsze modele, podczas gdy przetwarzanie w chmurze może korzystać z większych architektur opartych na transformatorach.