Die Forschung hinter Nutrola's Lebensmittel-Erkennungstechnologie

Wenn Sie ein Foto Ihres Abendessens aufnehmen und Nutrola Ihnen innerhalb von weniger als drei Sekunden eine vollständige Nährstoffanalyse liefert, stecken Jahrzehnte an Forschung in Computer Vision, Ernährungswissenschaft und KI-Engineering dahinter. Was wie ein einzelner Moment der Erkennung erscheint, ist tatsächlich eine Kaskade spezialisierter Modelle, die jeweils ein spezifisches wissenschaftliches Problem lösen. Vom Moment, in dem der Kameraverschluss auslöst, bis die Makronährstoffwerte auf dem Bildschirm erscheinen, durchläuft Ihr Bild eine Pipeline, die auf grundlegender Forschung von Institutionen wie Stanford, MIT, Google DeepMind und dem ETH Zürich Computer Vision Lab basiert.

Dieser Artikel verfolgt diese Pipeline Schritt für Schritt und zitiert die tatsächliche Forschung und technischen Konzepte, die Nutrola's Lebensmittel-Erkennung ermöglichen.

Die Computer Vision Pipeline

Die Lebensmittel-Erkennung von Nutrola ist kein einzelnes Modell. Es handelt sich um eine mehrstufige Pipeline, in der jede Stufe eine spezifische Aufgabe übernimmt und die Ausgabe einer Stufe in die nächste einfließt.

Stufe 1 – Bildvorverarbeitung. Bevor ein neuronales Netzwerk Ihr Foto sieht, wird das Rohbild normalisiert. Dazu gehört das Anpassen auf eine standardisierte Eingaberesolution, die Anpassung von Weißabgleich und Belichtungsvariationen sowie das Anwenden von Datenaugmentierungs-Transformationen während des Trainings. Forschungen von Krizhevsky, Sutskever und Hinton in ihrem wegweisenden Paper zu ImageNet von 2012 haben gezeigt, dass Vorverarbeitung und Augmentierung die Generalisierung in tiefen konvolutionalen neuronalen Netzwerken (CNNs) erheblich verbessern. Moderne Pipelines erweitern dies mit Techniken wie CutMix (Yun et al., 2019) und RandAugment (Cubuk et al., 2020), die das Modell lehren, robust gegenüber Verdeckungen und Farbverschiebungen zu sein, die in der Lebensmittel-Fotografie häufig auftreten.

Stufe 2 – Lebensmittel-Erkennung und Segmentierung. Nach der Vorverarbeitung durchläuft das Bild ein Objekterkennungsmodell, das jedes einzelne Lebensmittel auf dem Teller identifiziert und lokalisiert. Diese Stufe stützt sich stark auf Forschungen zu regionenbasierten konvolutionalen neuronalen Netzwerken. Faster R-CNN (Ren et al., 2015) etablierte das Paradigma der Region Proposal Networks, während neuere Architekturen wie DETR (Carion et al., 2020) von Facebook AI Research transformerbasierte Aufmerksamkeit nutzen, um handgefertigte Komponenten wie Ankerboxen vollständig zu eliminieren. Für pixelgenaue Präzision weisen semantische Segmentierungsmodelle, die auf Architekturen wie DeepLab (Chen et al., 2017) basieren, jedem Pixel im Bild eine Lebensmittelkategorie zu, was entscheidend für gemischte Gerichte ist, bei denen die Zutaten sich überlappen.

Stufe 3 – Lebensmittel-Klassifikation. Jede erkannte Lebensmittelregion wird dann klassifiziert. Das Rückgrat moderner Lebensmittelklassifikatoren stammt von Architekturen, die auf ImageNet (Deng et al., 2009) validiert wurden, dem Datensatz mit 14 Millionen gekennzeichneten Bildern, der die Deep-Learning-Revolution ausgelöst hat. Lebensmittelspezifische Datensätze wie Food-101 (Bossard et al., 2014), der 101.000 Bilder in 101 Kategorien enthält, und UECFOOD-256 (Kawano und Yanai, 2015), der 256 Lebensmittelkategorien mit Fokus auf die japanische Küche abdeckt, liefern die domänenspezifischen Trainingsdaten, die benötigt werden, um diese allgemeinen Architekturen für die Lebensmittel-Erkennung zu verfeinern.

Stufe 4 – Portionsschätzung. Nachdem identifiziert wurde, was auf dem Teller liegt, schätzt das System, wie viel von jedem Element vorhanden ist. Dies ist das schwierigste ungelöste Problem in der Lebensmittel-Erkennungsforschung und beinhaltet die Tiefenschätzung und volumetrisches Denken aus einem einzelnen 2D-Bild.

Stufe 5 – Nährstoffzuordnung. Schließlich werden das klassifizierte Lebensmittel und die geschätzte Portionsgröße einer verifizierten Nährstoffdatenbank zugeordnet, um Kalorien-, Protein-, Kohlenhydrat-, Fett- und Mikronährstoffwerte zu erzeugen.

Jede dieser Stufen repräsentiert ein spezifisches aktives Forschungsfeld. Die folgenden Abschnitte untersuchen die technisch herausforderndsten Stufen im Detail.

Lebensmittel-Klassifikation: Über "Das ist ein Salat" hinaus

Einen Salat von einem Steak zu unterscheiden, ist für jeden modernen Klassifikator einfach. Die echte Herausforderung beginnt, wenn das System zwischen visuell ähnlichen Gerichten unterscheiden muss: Chicken Tikka Masala versus Butter Chicken, Pad Thai versus Drunken Noodles oder einen griechischen Salat versus Fattoush. Diese Gerichte teilen sich Farben, Texturen und strukturelle Muster, unterscheiden sich jedoch erheblich in Zutaten und Kaloriendichte.

Transferlernen und Domänenanpassung

Der Standardansatz zur Lebensmittelklassifikation basiert auf Transferlernen, einer Technik, die von Yosinski et al. (2014) formalisiert wurde, bei der ein auf einem großen allgemeinen Datensatz wie ImageNet vortrainiertes Modell auf lebensmittelspezifische Daten feinjustiert wird. Die unteren Schichten des Netzwerks, die Kanten, Texturen und grundlegende Formen erkennen, übertragen sich gut zwischen den Domänen. Die höheren Schichten, die semantische Bedeutungen kodieren, werden neu trainiert, um lebensmittelspezifische Merkmale zu lernen, wie den Unterschied zwischen dem Glanz einer gebratenen Oberfläche und dem matten Finish einer gedämpften.

Forschungen von Hassannejad et al. (2016) zeigten, dass das Feinjustieren von InceptionV3 auf Food-101 eine Top-1-Genauigkeit von 88,28 Prozent erreichte, ein erheblicher Sprung im Vergleich zu früheren handgefertigten Merkmalsansätzen. Neuere Arbeiten, die Vision Transformers (Dosovitskiy et al., 2020) und deren lebensmittelspezifische Varianten nutzen, haben die Genauigkeit auf Food-101 auf über 93 Prozent gesteigert.

Multi-Label-Klassifikation für komplexe Teller

Echte Mahlzeiten enthalten selten nur ein einzelnes Element. Ein typischer Abendteller könnte gegrillten Lachs, gerösteten Spargel, Quinoa und eine Zitronenbuttersauce enthalten. Die Multi-Label-Klassifikation, bei der ein einzelnes Bild mehrere unabhängige Labels erhalten kann, löst dieses Problem. Forschungen von Wang et al. (2016) zu CNN-RNN-Architekturen für die Multi-Label-Bildklassifikation etablierten Rahmenwerke, die Muster der Label-Ko-Occurrence erfassen. Im Lebensmittelbereich bedeutet dies, dass das Modell lernt, dass Reis und Curry häufig zusammen auftreten, was als kontextuelles Signal dient, das die Genauigkeit einzelner Lebensmittel verbessert.

Nutrola erweitert dies mit einem hierarchischen Klassifikationssystem. Anstatt ein flaches Label vorherzusagen, klassifiziert das System zunächst die breite Lebensmittelkategorie (Getreide, Protein, Gemüse, Sauce) und verfeinert dann die spezifische Zutat innerhalb dieser Kategorie. Dieser zweistufige Ansatz reduziert Verwirrung zwischen visuell ähnlichen Elementen aus unterschiedlichen Kategorien und spiegelt wider, wie Nährstoffdatenbanken organisiert sind.

Portionsschätzung: Die 3D-Herausforderung

Zu identifizieren, welche Lebensmittel auf einem Teller liegen, löst nur die Hälfte des Problems. Eine 100-Gramm-Portion Hähnchenbrust enthält 165 Kalorien. Eine 250-Gramm-Portion enthält 412 Kalorien. Ohne genaue Portionsschätzung liefert selbst die perfekte Lebensmittelidentifikation unzuverlässige Kalorienwerte.

Monokulare Tiefenschätzung

Die Schätzung des Volumens von Lebensmitteln aus einem einzigen 2D-Foto erfordert, dass das System die Tiefe ableitet, ein Problem, das als monokulare Tiefenschätzung bekannt ist. Eigen, Puhrsch und Fergus (2014) veröffentlichten grundlegende Arbeiten, die zeigten, dass CNNs pixelweise Tiefenkarten aus Einzelbildern vorhersagen können. Neuere Forschungen von Ranftl et al. (2021) führten MiDaS ein, ein Modell, das auf gemischten Datensätzen trainiert wurde und robuste relative Tiefenschätzungen über verschiedene Szenen hinweg produziert.

Für Lebensmittelanwendungen ermöglicht die Tiefenschätzung dem System, zwischen einer dünnen Schicht Sauce, die über einen Teller verteilt ist, und einer tiefen Schüssel Suppe zu unterscheiden. In Kombination mit der bekannten Geometrie gängiger Referenzobjekte wie Tellern, Schüsseln und Besteck können Tiefenkarten in ungefähre Volumenschätzungen umgewandelt werden.

Geometrische Ansätze zur Volumenschätzung

Forschungen von der Universität Tokio (Okamoto und Yanai, 2016) zeigten, dass das Lebensmittelvolumen geschätzt werden kann, indem geometrische Primitiven wie Zylinder, Halbkugeln und Quader an segmentierte Lebensmittelregionen angepasst werden. Ein Haufen Reis approximiert eine halbe Ellipsoidform. Ein Glas Milch approximiert einen Zylinder. Eine Scheibe Brot approximiert einen Quader.

Diese geometrischen Annäherungen, kombiniert mit gelernten Dichteprioren (das System weiß, dass ein gegebenes Volumen Kartoffelpüree mehr wiegt als dasselbe Volumen Popcorn), liefern Gewichtsschätzungen, die Forschungen zufolge bei den meisten gängigen Lebensmitteln innerhalb von 15 bis 20 Prozent der tatsächlichen Werte liegen. Nutrola verfeinert diese Schätzungen weiter mithilfe eines proprietären Ensemble-Ansatzes, der geometrisches Denken mit gelernten Regressionsmodellen kombiniert, die auf Zehntausenden von Lebensmittelbildern mit bekannten Gewichten trainiert wurden.

Kalibrierung von Referenzobjekten

Einige Lebensmittel-Erkennungssysteme verwenden bekannte Referenzobjekte in der Szene zur Skalierung. Ein standardmäßiger Abendteller hat einen Durchmesser von etwa 26 Zentimetern. Eine Kreditkarte misst 85,6 mal 53,98 Millimeter. Wenn das System solche Objekte erkennt, kann es eine reale Skala festlegen, die die Volumen- und Gewichtsschätzungen erheblich verbessert. Forschungen von Fang et al. (2016) an der Purdue University zeigten, dass die plattengestützte Kalibrierung den Schätzfehler bei Portionsgrößen um etwa 25 Prozent im Vergleich zu nicht kalibrierten Ansätzen reduzierte.

Die verifizierte Datenbankebene

Allein die KI-Erkennung reicht nicht aus, um genaue Kalorienwerte zu liefern. Selbst wenn ein Modell eine Genauigkeit von 99 Prozent bei der Identifizierung von gegrillter Hähnchenbrust erreicht, hängt das endgültige Nährstoffergebnis vollständig von der Qualität der Datenbank ab, auf die es zugreift.

Hier unterscheidet sich Nutrola's Ansatz von vielen Wettbewerbern. Die meisten Lebensmittel-Tracking-Apps verlassen sich auf crowdsourced Datenbanken, in denen jeder Benutzer Nährstoffinformationen einreichen kann. Studien haben gezeigt, dass crowdsourced Lebensmittel-Datenbanken Fehlerquoten zwischen 15 und 30 Prozent aufweisen, wobei einige Einträge von laborverifizierten Werten um mehr als 50 Prozent für wichtige Makronährstoffe abweichen.

Nutrola pflegt eine 100 Prozent verifizierte Nährstoffdatenbank. Jeder Eintrag wird mit autoritativen Quellen wie dem USDA FoodData Central, den McCance- und Widdowson-Zusammensetzungstabellen, die vom britischen National Health Service verwendet werden, und peer-reviewed Nährstoffanalysen abgeglichen. Das bedeutet, dass selbst wenn die KI-Erkennungsebene eine kleine Fehlerquote bei der Lebensmittelidentifikation oder Portionsschätzung einführt, die Nährstoffdaten, auf die sie zugreift, zuverlässig sind.

Die Verifizierungsebene behandelt auch eine Nuance, die reine KI-Ansätze oft übersehen: Die Zubereitungsart beeinflusst den Nährstoffgehalt. Eine 150-Gramm-Hähnchenbrust, die gegrillt wird, enthält etwa 165 Kalorien, während dieselbe Brust, die in Olivenöl gebraten wird, etwa 230 Kalorien enthält. Nutrola's Datenbank erfasst diese zubereitungsabhängigen Variationen, und das Erkennungsmodell wird trainiert, um zwischen Kochmethoden zu unterscheiden, wenn visuelle Hinweise vorhanden sind, wie der Unterschied zwischen einer gegrillten Oberfläche und einer gebratenen.

Kontinuierliches Lernen und Verbesserung

Die Lebensmittel-Erkennung ist kein Problem, das einmal gelöst und dann implementiert wird. Küchen entwickeln sich weiter, neue Gerichte entstehen, und die Erwartungen der Benutzer wachsen. Das System von Nutrola ist für kontinuierliche Verbesserungen ausgelegt, die auf mehreren Mechanismen basieren, die in der Forschung zum maschinellen Lernen verankert sind.

Aktives Lernen

Aktives Lernen, formalisiert von Settles (2009), ist eine Strategie, bei der das Modell die Beispiele identifiziert, bei denen es am wenigsten sicher ist, und diese für die menschliche Überprüfung und Kennzeichnung priorisiert. Wenn Nutrola's System auf ein Gericht stößt, das es nicht mit hoher Sicherheit klassifizieren kann, wird dieses Bild für eine Expertenüberprüfung markiert. Nach der Kennzeichnung tritt es in die Trainingspipeline ein, und das Modell verbessert sich genau in den Fällen, in denen es am schwächsten war.

Dieser Ansatz ist weitaus dateneffizienter als das zufällige Sammeln weiterer Trainingsbilder. Forschungen haben konsequent gezeigt, dass aktives Lernen die Modellgenauigkeit mit 30 bis 60 Prozent weniger gekennzeichneten Daten im Vergleich zur zufälligen Stichprobe erreichen kann.

Umgang mit neuen Lebensmitteln und regionalen Küchen

Eine der größten Herausforderungen in der Lebensmittel-Erkennung ist die Abdeckung regionaler und kulturell spezifischer Gerichte. Ein Modell, das hauptsächlich auf westlicher Küche trainiert wurde, könnte Schwierigkeiten mit südostasiatischen Desserts, westafrikanischen Eintöpfen oder skandinavischen fermentierten Lebensmitteln haben. Nutrola geht dies durch gezielte Datensammlungsaktionen an, die sich auf unterrepräsentierte Küchen konzentrieren, kombiniert mit Few-Shot-Lerntechniken (Wang et al., 2020), die es dem Modell ermöglichen, neue Lebensmittelkategorien aus relativ kleinen Beispielen zu lernen.

Benutzerfeedback ist ein kritischer Input in diesen Prozess. Wenn ein Benutzer ein falsch identifiziertes Lebensmittel korrigiert, fließt diese Korrektur in die Trainingspipeline zurück. Aggregiert über Millionen von weltweit erfassten Mahlzeiten schaffen diese Korrekturen einen kontinuierlichen Strom von Ground-Truth-Daten, die genau die Lebensmittel abdecken, die echte Menschen in ihrem täglichen Leben konsumieren.

Wie sich das auf Ihren Teller auswirkt

Die oben beschriebene Forschung bringt konkrete Vorteile mit sich, die Sie jedes Mal erleben, wenn Sie Nutrola öffnen.

Drei-Sekunden-Logging. Die gesamte Pipeline, von der Bildvorverarbeitung bis zur Nährstoffabfrage, wird in weniger als drei Sekunden auf einem modernen Smartphone ausgeführt. Modelloptimierungstechniken wie Quantisierung (Jacob et al., 2018) und neuronale Architektursuche (Zoph und Le, 2017) ermöglichen es komplexen Modellen, effizient auf mobiler Hardware zu laufen, ohne die Genauigkeit zu opfern.

Umgang mit komplexen Mahlzeiten. Die Multi-Label-Erkennung und semantische Segmentierung bedeuten, dass Sie nicht jedes Lebensmittel einzeln fotografieren müssen. Ein einzelnes Foto eines vollbeladenen Abendtellers liefert individuelle Nährstoffanalysen für jede Komponente.

Genauigkeit über Küchen hinweg. Kontinuierliches Lernen und gezielte Datensammlungen stellen sicher, dass das System funktioniert, egal ob Sie Sushi in Tokio, Tacos in Mexiko-Stadt, Injera in Addis Abeba oder einen Sonntagsbraten in London essen. Das Modell verbessert sich mit jeder erfassten Mahlzeit über die globale Nutzerbasis von Nutrola.

Fortschreitende Genauigkeitsverbesserung. Je mehr Sie Nutrola nutzen, desto besser wird es, sowohl für Sie persönlich als auch für alle Benutzer insgesamt. Aktives Lernen sorgt dafür, dass sich das Modell auf die genauen Fälle konzentriert, in denen es am meisten Verbesserungen benötigt.

Verifizierte Nährstoffdaten. Im Gegensatz zu Apps, die auf crowdsourced Datenbanken mit unbekannten Fehlerquoten angewiesen sind, wird jede Kalorienzahl, die Nutrola zurückgibt, durch laborverifizierte Nährstoffdaten gestützt. Die KI identifiziert das Lebensmittel; die verifizierte Datenbank stellt sicher, dass die Zahlen stimmen.

FAQ

Wie erkennt Nutrola's KI Lebensmittel aus einem Foto?

Nutrola verwendet eine mehrstufige Computer Vision-Pipeline. Ihr Foto durchläuft zunächst die Bildvorverarbeitung, dann ein Deep Learning-Erkennungsmodell, das jedes Lebensmittel auf dem Teller identifiziert und segmentiert. Jedes Element wird mithilfe von konvolutionalen neuronalen Netzwerken klassifiziert, die auf lebensmittelspezifischen Datensätzen feinjustiert wurden, seine Portion wird mithilfe von Tiefen- und volumetrischem Denken geschätzt, und das Ergebnis wird mit Nutrola's verifizierter Nährstoffdatenbank abgeglichen, um Kalorien- und Makronährstoffwerte zu erzeugen.

Wie genau ist Nutrola's Lebensmittel-Erkennungstechnologie?

Nutrola's Klassifikationsmodelle erreichen Top-1-Genauigkeitsraten von über 90 Prozent bei standardisierten Lebensmittel-Erkennungsbenchmarks, wobei die Top-5-Genauigkeit über 95 Prozent liegt. Bei der Portionsschätzung liegt das System typischerweise innerhalb von 15 bis 20 Prozent des tatsächlichen Gewichts, was mit oder besser ist als die Schätzgenauigkeit von ausgebildeten Diätassistenten. In Kombination mit Nutrola's verifizierter Datenbank liefert dies Kalorienwerte, die erheblich zuverlässiger sind als manuelles Logging, das laut Forschung den Verbrauch um 10 bis 45 Prozent unterberichtet.

Welche Forschung und Datensätze treiben Nutrola's Lebensmittel-Erkennungs-KI an?

Nutrola's Technologie basiert auf grundlegender Forschung in der Computer Vision, einschließlich konvolutionaler neuronaler Netzwerke, die auf ImageNet validiert wurden, Objekterkennungsarchitekturen wie Faster R-CNN und DETR sowie lebensmittelspezifischen Datensätzen wie Food-101 und UECFOOD-256. Das System nutzt auch Forschungen zur monokularen Tiefenschätzung für die Portionsgrößenbestimmung und Forschungen zum aktiven Lernen für die kontinuierliche Modellverbesserung. Alle Nährstoffdaten werden mit autoritativen Quellen wie dem USDA FoodData Central verifiziert.

Kann Nutrola mehrere Lebensmittel auf einem einzigen Teller erkennen?

Ja. Nutrola verwendet Multi-Label-Erkennung und semantische Segmentierung, um jedes einzelne Lebensmittel in einem einzigen Foto zu identifizieren und separat zu analysieren. Egal, ob Ihr Teller zwei oder acht Elemente enthält, das System isoliert jedes einzelne, klassifiziert es unabhängig, schätzt seine Portion und gibt eine Nährstoffanalyse pro Element sowie die Gesamtsumme der Mahlzeit zurück.

Wie geht Nutrola mit Lebensmitteln aus verschiedenen Küchen und Kulturen um?

Nutrola kombiniert umfassende Trainingsdaten mit gezielten Datensammlungen für unterrepräsentierte Küchen und Few-Shot-Lerntechniken, die es dem Modell ermöglichen, neue Lebensmittelkategorien aus relativ kleinen Beispielen zu lernen. Benutzerkorrekturen aus Nutrola's globaler Nutzerbasis fließen kontinuierlich in die Trainingspipeline ein, sodass die Genauigkeit für die spezifischen Gerichte, die Menschen in jeder Region und Kultur tatsächlich essen, verbessert wird.

Verbessert sich Nutrola's Lebensmittel-Erkennung im Laufe der Zeit?

Ja. Nutrola nutzt aktives Lernen, eine Strategie des maschinellen Lernens, bei der das System die Bilder identifiziert, bei denen es am wenigsten sicher ist, und diese für die Expertenüberprüfung und das Retraining priorisiert. Kombiniert mit aggregiertem Benutzerfeedback aus Millionen von weltweit erfassten Mahlzeiten bedeutet dies, dass das Modell kontinuierlich verbessert wird. Jede Mahlzeit, die Sie erfassen, trägt dazu bei, die Erkennung von Nutrola für alle Benutzer genauer zu machen.