Come funziona il pipeline AI di riconoscimento alimentare: dalla foto ai dati nutrizionali

Quando scatti una foto del tuo pranzo e vedi apparire un'analisi completa dei macro in meno di due secondi, è facile dare per scontato il risultato. Tuttavia, dietro a quella lettura apparentemente istantanea si nasconde un pipeline a più fasi che trasforma la tua immagine attraverso cattura della fotocamera, preprocessing, inferenza della rete neurale, classificazione, stima delle porzioni, ricerca nel database e calcolo finale delle calorie prima che qualcosa arrivi sullo schermo. Ogni fase risolve un problema specifico, si basa su un proprio insieme di algoritmi e fornisce un output specifico alla fase successiva.

Questo articolo ripercorre l'intero viaggio dal clic della fotocamera all'etichetta nutrizionale. Lungo il cammino, nomineremo le architetture, le tecniche e i compromessi ingegneristici che rendono ogni fase operativa, evidenziando dove Nutrola ha introdotto le proprie innovazioni per superare gli standard di precisione e velocità del settore.

Fase 1: Input della fotocamera e acquisizione dell'immagine

Tutto inizia nel momento in cui un utente apre il mirino della fotocamera e inquadra un piatto di cibo. Gli smartphone moderni catturano immagini a risoluzioni che variano da 12 a 48 megapixel, producendo dati grezzi del sensore che codificano i valori di intensità del colore attraverso un mosaico di filtri Bayer. Il processore del segnale dell'immagine (ISP) del dispositivo demosaica questi dati, applica il bilanciamento del bianco, riduce il rumore e restituisce un file JPEG o HEIF standard in una frazione di secondo.

Due caratteristiche hardware influenzano sempre di più questa fase. In primo luogo, i sensori LiDAR presenti negli ultimi iPhone Pro e in alcuni smartphone Android di fascia alta possono catturare una mappa di profondità insieme all'immagine RGB. Questi dati di profondità diventano preziosi in seguito durante la stima delle porzioni. In secondo luogo, i dispositivi con sensori di tempo di volo forniscono informazioni di profondità simili ma meno dettagliate, che il pipeline può comunque sfruttare quando il LiDAR non è disponibile.

Il pipeline acquisisce l'immagine RGB e, quando disponibile, la mappa di profondità come input abbinato. Se il dispositivo non offre un sensore di profondità, il pipeline procede solo con l'RGB e compensa successivamente utilizzando la stima della profondità monoculare.

Output chiave di questa fase

Un'immagine RGB ad alta risoluzione (e opzionalmente una mappa di profondità) che rappresenta la scena davanti all'utente.

Fase 2: Preprocessing dell'immagine

L'output grezzo della fotocamera non è pronto per l'inferenza della rete neurale. Il preprocessing trasforma l'immagine in un tensore standardizzato che il modello si aspetta.

Ridimensionamento e ritaglio

La maggior parte dei modelli di riconoscimento alimentare accetta input a una risoluzione fissa, comunemente 224x224, 384x384 o 512x512 pixel a seconda dell'architettura. Il pipeline ridimensiona l'immagine a questa risoluzione target mantenendo il rapporto d'aspetto, applicando letterboxing o ritaglio centrale se necessario. L'interpolazione bicubica è il metodo di campionamento standard perché preserva meglio i dettagli delle texture fini rispetto alle alternative bilineari.

Normalizzazione

I valori dei pixel vengono convertiti dall'intervallo intero 0-255 a numeri in virgola mobile e poi normalizzati utilizzando la media e la deviazione standard a livello di canale del dataset di addestramento. Per i modelli pre-addestrati su ImageNet, vengono applicati i valori di normalizzazione canonici (media di [0.485, 0.456, 0.406] e deviazione standard di [0.229, 0.224, 0.225] per i canali R, G e B rispettivamente). Questa normalizzazione centra la distribuzione dell'input attorno a zero e la scala a varianza unitaria, stabilizzando il flusso del gradiente durante l'addestramento e garantendo un comportamento di inferenza coerente.

Spazio colore e artefatti di aumento

Durante l'addestramento, il pipeline applica un'ampia augmentazione dei dati: rotazioni casuali, ribaltamenti orizzontali, variazioni di colore, sfocatura gaussiana e ritagli. Durante l'inferenza, queste augmentazioni sono disabilitate, ma il modello ha imparato a essere invariabile ai tipi di rumore visivo che simulano. Ciò significa che una foto scattata sotto l'illuminazione calda di un ristorante e una foto scattata sotto l'illuminazione fluorescente fredda di un ufficio produrranno entrambe rappresentazioni affidabili delle caratteristiche.

Output chiave di questa fase

Un tensore normalizzato in virgola mobile di dimensioni spaziali fisse, pronto per la rete neurale di base.

Fase 3: Estrazione delle caratteristiche CNN

Questa è il nucleo computazionale del pipeline. Una rete neurale convoluzionale profonda (o sempre più un trasformatore visivo) elabora il tensore preprocessato e produce un vettore di caratteristiche dense che codifica il contenuto visivo dell'immagine in una forma che le teste di classificazione e rilevamento a valle possono interpretare.

Architetture di base

Diverse architetture di base si sono dimostrate efficaci per il riconoscimento alimentare:

EfficientNet utilizza il bilanciamento della scala per equilibrare profondità, larghezza e risoluzione di input. EfficientNet-B4 e B5 sono scelte popolari perché offrono una forte accuratezza a un costo computazionale fattibile su hardware mobile quando combinati con la quantizzazione. Nutrola impiega una base derivata da EfficientNet che è stata ottimizzata su un dataset proprietario di immagini alimentari, raggiungendo un favorevole compromesso tra latenza e accuratezza top-1.

Vision Transformers (ViT) dividono l'immagine in patch di dimensioni fisse (tipicamente 16x16 pixel), proiettano ciascuna patch in un embedding e elaborano la sequenza di embeddings attraverso strati di autoattenzione multi-testa. I ViT eccellono nel catturare relazioni spaziali a lungo raggio, ad esempio comprendendo che il disco marrone accanto alle foglie verdi è un hamburger piuttosto che un biscotto al cioccolato, poiché il contesto circostante include un panino e lattuga. Modelli ibridi come DeiT (Data-efficient Image Transformer) e Swin Transformer hanno ridotto i requisiti di dati e il costo computazionale dei ViT puri, rendendoli praticabili per i sistemi di riconoscimento alimentare in produzione.

MobileNetV3 è ottimizzato per l'inferenza su dispositivo con convoluzioni separabili in profondità e ricerca architettonica neurale consapevole dell'hardware. Funziona come base nei percorsi critici per la latenza in cui il modello deve funzionare interamente sul dispositivo senza un giro di rete.

Reti a piramide di caratteristiche

Poiché gli alimenti possono variare enormemente in dimensioni apparenti all'interno di un'unica immagine (una grande pizza accanto a una piccola ciotola di salsa), il pipeline utilizza una Rete a Piramide di Caratteristiche (FPN) per estrarre caratteristiche a più scale spaziali. La FPN costruisce un percorso dall'alto verso il basso con connessioni laterali dalle mappe di caratteristiche intermedie della base, producendo un insieme di mappe di caratteristiche multi-scala che sono ugualmente espressive nel rilevare piccole guarnizioni e grandi portate.

Output chiave di questa fase

Un insieme di mappe di caratteristiche multi-scala (o un singolo vettore di caratteristiche raggruppato per compiti di sola classificazione) che codifica la semantica visiva di ogni regione nell'immagine.

Fase 4: Classificazione e rilevamento alimentare multi-etichetta

I pasti reali raramente contengono un solo alimento. Un tipico piatto da cena potrebbe contenere salmone grigliato, broccoli al vapore, riso integrale e una fetta di limone. Il pipeline deve rilevare, localizzare e classificare ogni singolo alimento distinto nel fotogramma.

Rilevamento oggetti con YOLO e DETR

Il pipeline applica una testa di rilevamento oggetti sopra le mappe di caratteristiche estratte. Due famiglie di rilevatori dominano questo campo:

YOLO (You Only Look Once) esegue il rilevamento in un'unica passata in avanti dividendo l'immagine in una griglia e prevedendo simultaneamente le scatole di delimitazione e le probabilità di classe per ciascuna cella della griglia. YOLOv8 e i suoi successori sono particolarmente adatti per il deployment mobile perché elaborano l'intera immagine in un colpo solo anziché proporre e poi affinare le regioni. Nutrola utilizza una testa di rilevamento derivata da YOLO ottimizzata su oltre 15.000 classi alimentari che coprono cucine globali.

DETR (Detection Transformer) tratta il rilevamento oggetti come un problema di previsione di set, utilizzando un'architettura encoder-decoder basata su trasformatore per restituire direttamente un insieme di rilevamenti senza la necessità di scatole di ancoraggio o soppressione non massima. DETR gestisce gli alimenti sovrapposti in modo più elegante rispetto ai metodi basati su ancoraggio perché la sua perdita basata su set evita naturalmente le previsioni duplicate.

Segmentazione semantica per piatti misti

Per piatti compositi come insalate, saltati e ciotole di cereali in cui ingredienti distinti si sovrappongono e si mescolano, le scatole di delimitazione sono troppo imprecise. Il pipeline passa a un ramo di segmentazione semantica, spesso basato su un'architettura U-Net o DeepLabv3+, che classifica ogni pixel nell'immagine. Questa classificazione a livello di pixel consente al sistema di stimare la proporzione di ogni ingrediente in un piatto misto anche quando non ci sono confini chiari che li separano.

Valutazione della fiducia e classificazione dei candidati

Ogni rilevamento viene accompagnato da un punteggio di fiducia. Il pipeline applica una soglia (tipicamente da 0.5 a 0.7 a seconda dell'applicazione) per filtrare le previsioni a bassa fiducia. Quando la previsione principale è incerta, il sistema può presentare i primi tre o cinque candidati all'utente per conferma, riducendo i tassi di errore senza richiedere un'inserimento manuale.

Il motore di classificazione di Nutrola incorpora un modulo di contesto utente che tiene conto dei pasti passati dell'utente, delle preferenze culinarie, della posizione geografica e dell'orario della giornata. Se un utente registra frequentemente cucina messicana e il modello è incerto tra una tortilla di farina e un naan, il modulo di contesto sposta la probabilità verso la tortilla. Questo strato di personalizzazione riduce misurabilmente i tassi di misclassificazione nel tempo.

Output chiave di questa fase

Un elenco di alimenti rilevati, ciascuno con un'etichetta di classe, una scatola di delimitazione o una maschera di pixel e un punteggio di fiducia.

Fase 5: Stima della dimensione delle porzioni

Sapere che un piatto contiene pollo grigliato e riso non è sufficiente. Il pipeline deve stimare quanto di ciascun alimento è presente, poiché 100 grammi di petto di pollo e 300 grammi di petto di pollo differiscono per più di 300 calorie.

Stima della profondità monoculare

Quando non è disponibile alcun sensore di profondità hardware, il pipeline utilizza un modello di stima della profondità monoculare (comunemente basato sull'architettura MiDaS o DPT) per inferire una mappa di profondità dall'immagine RGB da sola. Questi modelli apprendono a prevedere la profondità da indizi contestuali come sovrapposizione degli oggetti, dimensione relativa, gradienti di texture e punti di fuga. La mappa di profondità inferita, sebbene meno precisa dei dati LiDAR, è sufficiente per approssimare la forma tridimensionale del cibo su un piatto.

Scaling degli oggetti di riferimento

Una fotografia non contiene una scala intrinseca. Il pipeline risolve questo problema rilevando oggetti di riferimento di dimensioni note nel fotogramma. Piatti (tipicamente da 25 a 27 cm di diametro), posate standard, ciotole e persino bordi di smartphone possono ancorare la scala. Adattando un'ellisse al bordo del piatto rilevato e applicando la geometria proiettiva per inferire l'angolo di visione, il pipeline ricostruisce le distanze reali dalle misurazioni in pixel.

Conversione volume-peso

Con la forma tridimensionale del cibo stimata, il pipeline calcola il volume integrando il profilo di profondità sulla maschera di pixel del cibo. Poi converte il volume in peso utilizzando tabelle di densità specifiche per gli alimenti. Una tazza di spinaci a foglia pesa molto meno di una tazza di hummus, quindi la ricerca della densità è essenziale per l'accuratezza.

Nutrola mantiene un database di densità proprietario che copre migliaia di alimenti in vari stati di preparazione (crudi, cotti, frullati, congelati) e lo utilizza per convertire i volumi stimati in pesi in grammi con una fedeltà superiore rispetto alle tabelle di densità generiche.

Output chiave di questa fase

Un peso stimato in grammi per ciascun alimento rilevato.

Fase 6: Ricerca nel database nutrizionale

Con ogni alimento classificato e pesato, il pipeline interroga un database nutrizionale per recuperare il profilo di macronutrienti e micronutrienti per 100 grammi di quel cibo.

Architettura del database

I database nutrizionali di alta qualità attingono a fonti governative come il USDA FoodData Central, il UK Nutrient Databank e equivalenti nazionali di decine di paesi. Queste fonti forniscono valori nutrizionali analizzati in laboratorio per migliaia di alimenti in forma standardizzata.

Il database di Nutrola va oltre queste fonti governative incorporando dati forniti dai produttori di oltre 1,2 milioni di prodotti di marca, voci di menu di ristoranti con informazioni nutrizionali verificate attraverso partnership e voci inviate dalla comunità che superano un pipeline di verifica multilivello che include cross-referencing, rilevamento di outlier e revisione da parte di dietisti. Il risultato è un database unificato di oltre 2 milioni di voci alimentari con dati nutrizionali normalizzati a uno schema coerente.

Abbinamento fuzzy e risoluzione delle entità

Il modello di classificazione restituisce un'etichetta alimentare come "coscia di pollo grigliata con pelle" che deve essere abbinata all'entrata corretta nel database. Questo è un problema di risoluzione delle entità non banale perché lo stesso alimento può avere decine di nomi in diverse regioni e lingue. Il pipeline utilizza una ricerca semantica basata su embedding per trovare l'entrata più vicina nel database. Un codificatore di testo fine-tuned mappa sia l'etichetta alimentare prevista che ogni nome di entrata del database nello stesso spazio vettoriale, e il vicino più prossimo (misurato dalla similarità coseno) viene selezionato.

Quando esistono più abbinamenti ravvicinati (ad esempio "coscia di pollo, grigliata, con pelle" rispetto a "coscia di pollo, arrosto, pelle mangiata"), il sistema sceglie l'entrata il cui metodo di preparazione corrisponde meglio agli indizi visivi rilevati nell'immagine.

Output chiave di questa fase

Un profilo nutrizionale completo (calorie, proteine, carboidrati, grassi, fibre e micronutrienti) per 100 grammi di ciascun alimento rilevato.

Fase 7: Calcolo dei macro e delle calorie

L'ultima fase computazionale è un semplice calcolo aritmetico, ma è dove gli errori di ogni fase precedente si sommano. Il pipeline moltiplica i valori nutrizionali per 100 grammi per il peso stimato di ciascun alimento, quindi somma i risultati per produrre un'analisi totale del pasto.

Il calcolo

Per ciascun alimento:

• Calorie = (grammi stimati / 100) x calorie per 100 g
• Proteine = (grammi stimati / 100) x proteine per 100 g
• Carboidrati = (grammi stimati / 100) x carboidrati per 100 g
• Grassi = (grammi stimati / 100) x grassi per 100 g

Questi valori per ciascun alimento vengono sommati per produrre il totale del pasto.

Propagazione degli errori e intervalli di confidenza

Poiché ogni fase precedente introduce una certa incertezza, Nutrola non presenta una singola stima come verità assoluta. Il sistema calcola gli intervalli di confidenza propagando il punteggio di fiducia della classificazione e l'incertezza della stima delle porzioni attraverso il calcolo. Se la fiducia nella classificazione è alta ma la stima della porzione è incerta (ad esempio, il cibo è accumulato in una ciotola profonda che oscura il volume), il sistema riflette questo ampliando l'intervallo di confidenza e può invitare l'utente a confermare la porzione.

Questa trasparenza è una scelta di design deliberata. Piuttosto che presentare un falso senso di precisione, Nutrola mostra un intervallo (ad esempio, "420 a 510 kcal") quando le stime sottostanti lo giustificano, aiutando gli utenti a sviluppare una comprensione realistica del loro apporto.

Output chiave di questa fase

Calorie totali e analisi dei macronutrienti per il pasto, con intervalli di confidenza opzionali.

Fase 8: Visualizzazione e registrazione per l'utente

L'ultima fase rende i risultati nell'interfaccia utente. Gli alimenti rilevati sono elencati con i loro valori calorici e macro individuali, e il totale del pasto è visualizzato in modo prominente. L'utente può toccare qualsiasi elemento per correggerlo o regolare la porzione, e queste correzioni vengono reintegrate nei modelli di personalizzazione per migliorare le previsioni future.

Su Nutrola, la visualizzazione include un sovrapposizione visiva sulla foto originale che mostra scatole di delimitazione o evidenzia segmenti per ogni alimento rilevato, rendendo immediatamente chiaro ciò che l'AI ha identificato e dove. Questo feedback visivo costruisce fiducia e rende gli errori facili da individuare e correggere.

Il pasto registrato è memorizzato nel diario nutrizionale giornaliero dell'utente e contribuisce ai totali correnti per calorie, proteine, carboidrati, grassi e micronutrienti tracciati. I dati si sincronizzano con Apple Health, Google Fit e altre piattaforme connesse tramite API standardizzate per i dati sulla salute.

Output chiave di questa fase

Una voce di registrazione del pasto completamente renderizzata con dati nutrizionali per elemento e totali, sovrapposizioni visive e sincronizzazione con piattaforme sanitarie.

Tabella di riepilogo del pipeline

Fase	Tecnologia principale	Input	Output
1. Input della fotocamera	ISP del dispositivo, sensori LiDAR/ToF	Luce dalla scena	Immagine RGB + mappa di profondità opzionale
2. Preprocessing dell'immagine	Ridimensionamento bicubico, normalizzazione dei canali	Immagine grezza	Tensore normalizzato (es. 384x384x3)
3. Estrazione delle caratteristiche	EfficientNet, ViT, Swin Transformer, FPN	Tensore normalizzato	Mappe di caratteristiche multi-scala
4. Classificazione alimentare	YOLOv8, DETR, DeepLabv3+, contesto utente	Mappe di caratteristiche	Alimenti etichettati con scatole di delimitazione / maschere
5. Stima delle porzioni	Stima della profondità MiDaS, scaling di riferimento, tabelle di densità	RGB + profondità + maschere alimentari	Peso in grammi per alimento
6. Ricerca nel database	Ricerca semantica basata su embedding, database USDA / di marca	Etichette alimentari + indizi di preparazione	Profili nutrizionali per 100 g
7. Calcolo delle calorie	Aritmetica pesata, propagazione dell'incertezza	Stime in grammi + profili nutrizionali	Calorie totali e macro con intervalli di confidenza
8. Visualizzazione per l'utente	Rendering UI, API di sincronizzazione dati sanitari	Dati nutrizionali calcolati	Voce di registrazione del pasto con sovrapposizione visiva

Dove si inseriscono le innovazioni di Nutrola

Alcune delle fasi descritte sopra includono innovazioni specifiche per l'implementazione di Nutrola:

Contesto di classificazione personalizzato. Il modulo di contesto utente nella Fase 4 utilizza dati storici sui pasti, preferenze culinarie, posizione e orario della giornata per disambiguare previsioni incerte. Questo non è standard nella maggior parte dei pipeline di riconoscimento alimentare e produce miglioramenti misurabili nell'accuratezza reale rispetto ai modelli privi di contesto.

Database di densità proprietario. La conversione volume-peso nella Fase 5 si basa su un database di densità che copre alimenti in più stati di preparazione. I sistemi generici spesso utilizzano una singola densità media per alimento, il che introduce errori sistematici per articoli come verdure cotte rispetto a quelle crude o cibi in scatola scolati rispetto a quelli non scolati.

Visualizzazione consapevole della fiducia. Piuttosto che mostrare un singolo numero di calorie, Nutrola evidenzia l'incertezza quando esiste. Questo approccio onesto riduce la frustrazione degli utenti quando le stime sembrano errate, poiché l'intervallo stesso comunica che il sistema è meno certo riguardo a un particolare elemento.

Database nutrizionale unificato multi-sorgente. Il database di 2 milioni di voci nella Fase 6 unisce dati di laboratorio governativi, dati di prodotti di marca e invii verificati dalla comunità in uno schema normalizzato unico, dando al pipeline accesso a molti più alimenti rispetto a qualsiasi singola fonte.

Apprendimento continuo dalle correzioni. Ogni correzione dell'utente nella Fase 8 viene reintegrata nei modelli di classificazione e porzione durante i cicli di riaddestramento periodici, creando un volano in cui l'accuratezza migliora man mano che cresce la base utenti.

Considerazioni su latenza e su dispositivo

La latenza end-to-end è fondamentale per l'esperienza utente. Se il pipeline impiega più di due o tre secondi, gli utenti lo percepiscono come lento e potrebbero tornare alla registrazione manuale. Diverse strategie ingegneristiche mantengono bassa la latenza:

Quantizzazione del modello converte i pesi in virgola mobile a 32 bit in interi a 8 bit, riducendo la dimensione del modello di circa 4 volte e accelerando l'inferenza su unità di elaborazione neurale (NPU) mobili con una perdita minima di accuratezza. Nutrola applica la quantizzazione post-addestramento sia alla base di estrazione delle caratteristiche che alla testa di rilevamento.

Inferenza su dispositivo elimina completamente il giro di rete per le fasi computazionalmente intensive (estrazione delle caratteristiche e rilevamento). Core ML di Apple e NNAPI di Android forniscono percorsi di inferenza accelerati dall'hardware che il pipeline mira a sfruttare. Solo le fasi leggere di ricerca nel database e calcolo delle calorie richiedono una chiamata al server, e anche queste possono tornare a una cache locale per operazioni offline.

Esecuzione speculativa inizia il preprocessing e l'estrazione delle caratteristiche mentre l'anteprima della fotocamera è ancora attiva, quindi, quando l'utente tocca il pulsante di scatto, il pipeline ha già parzialmente elaborato il fotogramma. Questa tecnica riduce di alcuni centinaia di millisecondi la latenza percepita.

Benchmark di accuratezza e prestazioni nel mondo reale

Su benchmark accademici standard come Food-101, ISIA Food-500 e Nutrition5k, i pipeline moderni raggiungono un'accuratezza di classificazione top-1 tra l'85 e il 92 percento e errori di stima delle porzioni entro il 15-25 percento rispetto al peso reale. Le prestazioni nel mondo reale variano perché le foto inviate dagli utenti sono più rumorose rispetto ai dataset curati: scarsa illuminazione, occlusione parziale, angoli insoliti e piatti regionali poco comuni degradano tutte l'accuratezza.

I test interni di Nutrola su un set di 50.000 foto di utenti mostrano un'accuratezza di classificazione top-1 dell'89 percento e un errore mediano di stima delle porzioni del 18 percento. Quando si considerano i primi tre candidati, l'accuratezza di classificazione sale al 96 percento, motivo per cui l'interfaccia di correzione mostra in modo prominente suggerimenti alternativi.

Questi numeri continuano a migliorare con ogni ciclo di riaddestramento man mano che il ciclo di feedback delle correzioni accumula più dati etichettati dall'uso reale.

Domande Frequenti

Quanto tempo impiega l'intero pipeline dalla foto ai dati nutrizionali?

Sugli smartphone moderni con hardware dedicato per l'elaborazione neurale, il pipeline end-to-end completa tipicamente in 1.0 a 2.5 secondi. La maggior parte di quel tempo è spesa nell'estrazione delle caratteristiche e nel rilevamento degli oggetti nelle Fasi 3 e 4. Il preprocessing e il calcolo delle calorie sono quasi istantanei, e la ricerca nel database aggiunge solo 50 a 150 millisecondi a seconda delle condizioni di rete o se viene utilizzata una cache locale. Il sistema di esecuzione speculativa di Nutrola, che inizia a elaborare l'anteprima della fotocamera prima che l'utente tocchi il pulsante di scatto, può ridurre la latenza percepita a meno di un secondo in molti casi.

Quanto è accurata la classificazione alimentare AI rispetto alla registrazione manuale?

La classificazione alimentare AI raggiunge un'accuratezza top-1 tra l'85 e il 92 percento su benchmark standard, e un'accuratezza top-3 superiore al 95 percento. La registrazione manuale, sebbene teoricamente precisa quando eseguita con attenzione, soffre di una sottovalutazione sistematica del 10-45 percento secondo ricerche dietetiche pubblicate. Nella pratica, la classificazione AI combinata con un rapido passaggio di conferma da parte dell'utente tende a produrre risultati più coerenti e meno distorti rispetto all'inserimento puramente manuale, in particolare per gli utenti che registrano più pasti al giorno e sperimentano affaticamento nell'inserimento.

Cosa succede quando l'AI non riesce a identificare un alimento?

Quando la previsione di massima fiducia scende sotto la soglia del sistema, il pipeline adotta un approccio di fallback elegante. Presenta i primi tre o cinque identificazioni candidate e chiede all'utente di selezionare quella corretta o di digitare un nome manualmente. Questa correzione dell'utente viene registrata e reintegrata nel pipeline di addestramento durante il ciclo di riaddestramento successivo, il che significa che ogni fallimento diventa un segnale di addestramento che migliora le previsioni future. Nel tempo, man mano che queste correzioni si accumulano, la copertura del sistema di alimenti insoliti e regionali si espande costantemente.

Il pipeline funziona in modo diverso per piatti misti come insalate o curry?

Sì. Per piatti misti in cui gli ingredienti individuali non sono spazialmente separabili, il pipeline passa dal rilevamento a scatola di delimitazione alla segmentazione semantica utilizzando architetture come DeepLabv3+. Questa classificazione a livello di pixel stima la proporzione di ciascun ingrediente all'interno dell'area mista. Per piatti fortemente frullati come frullati o zuppe frullate in cui la separazione visiva è impossibile, il pipeline si basa sulla decomposizione basata su ricette: identifica il tipo di piatto e poi utilizza un modello di ricetta per stimare le proporzioni probabili degli ingredienti e il loro profilo nutrizionale combinato.

Come funziona la stima delle porzioni senza un sensore di profondità?

Quando non è disponibile alcun sensore LiDAR o di tempo di volo, il pipeline utilizza un modello di stima della profondità monoculare (come MiDaS o DPT) per inferire una profondità approssimativa dall'immagine RGB da sola. Questi modelli sono stati addestrati su milioni di coppie immagine-profondità e possono stimare la forma tridimensionale del cibo da indizi contestuali come geometria del piatto, schemi di ombra e gradienti di texture. Il sistema rileva anche oggetti di riferimento di dimensioni note, in particolare piatti e posate, per ancorare la scala. Sebbene la stima monoculare sia meno precisa rispetto al rilevamento della profondità hardware, la combinazione di indizi di profondità appresi e scaling di riferimento mantiene le stime delle porzioni all'interno di un intervallo di accuratezza pratico per il tracciamento nutrizionale.

Il pipeline può gestire più piatti o pasti in una singola foto?

La fase di rilevamento oggetti è progettata per gestire un numero arbitrario di alimenti indipendentemente dal fatto che si trovino su un piatto o su più piatti. Le teste di rilevamento YOLO e DETR esaminano l'intera immagine e restituiscono rilevamenti indipendenti per ogni alimento trovato, che si trovino su un unico piatto da cena, sparsi su un tavolo con più piatti o disposti su un vassoio. Ogni elemento rilevato viene elaborato indipendentemente attraverso le fasi di stima delle porzioni e calcolo delle calorie. Per la migliore accuratezza, Nutrola consiglia di fotografare ogni piatto o ciotola singolarmente in modo che lo scaling di riferimento possa essere calibrato per piatto, ma il sistema gestisce le scene con più piatti in modo elegante quando ciò non è pratico.