Cómo funciona el pipeline de IA para reconocimiento de alimentos: De la foto a los datos nutricionales

Cuando tomas una foto de tu almuerzo y ves un desglose completo de macronutrientes aparecer en menos de dos segundos, es fácil dar el resultado por sentado. Sin embargo, detrás de esa lectura aparentemente instantánea hay un pipeline de múltiples etapas que mueve tu imagen a través de la captura de cámara, preprocesamiento, inferencia de red neuronal, clasificación, estimación de porciones, consulta de base de datos y cálculo final de calorías antes de que algo llegue a tu pantalla. Cada etapa resuelve un problema distinto, se basa en su propio conjunto de algoritmos y entrega una salida específica a la siguiente etapa.

Este artículo traza todo ese recorrido desde el toque del obturador hasta la etiqueta nutricional. A lo largo del camino nombraremos las arquitecturas, técnicas y compromisos de ingeniería que hacen funcionar cada etapa, y destacaremos dónde Nutrola ha introducido sus propias innovaciones para llevar la precisión y velocidad más allá de las normas de la industria.

Etapa 1: Entrada de cámara y adquisición de imagen

Todo comienza en el momento en que un usuario abre el visor de la cámara y encuadra un plato de comida. Los smartphones modernos capturan imágenes con resoluciones de 12 a 48 megapíxeles, produciendo datos crudos del sensor que codifican valores de intensidad de color a través de un mosaico de filtro Bayer. El procesador de señal de imagen (ISP) del dispositivo desmosaica estos datos, aplica balance de blancos, reduce el ruido y produce un archivo JPEG o HEIF estándar en una fracción de segundo.

Dos características de hardware influyen cada vez más en esta etapa. Primero, los sensores LiDAR en los iPhone Pro recientes y modelos Android de gama alta seleccionados pueden capturar un mapa de profundidad complementario junto con la imagen RGB. Estos datos de profundidad se vuelven valiosos más adelante durante la estimación de porciones. Segundo, los dispositivos con sensores de tiempo de vuelo proporcionan información de profundidad similar pero más gruesa que el pipeline aún puede aprovechar cuando no hay LiDAR disponible.

El pipeline ingiere la imagen RGB y, cuando está disponible, el mapa de profundidad como entrada emparejada. Si el dispositivo no ofrece sensor de profundidad, el pipeline procede solo con RGB y compensa más adelante usando estimación de profundidad monocular.

Salida clave de esta etapa

Una imagen RGB de alta resolución (y opcionalmente un mapa de profundidad) que representa la escena frente al usuario.

Etapa 2: Preprocesamiento de imagen

La salida cruda de la cámara no está lista para la inferencia de red neuronal. El preprocesamiento transforma la imagen en un tensor estandarizado que el modelo espera.

Redimensionamiento y recorte

La mayoría de los modelos de reconocimiento de alimentos aceptan entrada con una resolución fija, comúnmente 224x224, 384x384 o 512x512 píxeles dependiendo de la arquitectura. El pipeline redimensiona la imagen a esta resolución objetivo mientras preserva la relación de aspecto, aplicando letterboxing o recorte central según sea necesario. La interpolación bicúbica es el método de remuestreo estándar porque preserva los detalles finos de textura mejor que las alternativas bilineales.

Normalización

Los valores de píxeles se convierten del rango entero 0-255 a números de punto flotante y luego se normalizan usando la media y desviación estándar por canal del conjunto de datos de entrenamiento. Para modelos preentrenados en ImageNet, se aplican los valores de normalización canónicos (media de [0.485, 0.456, 0.406] y desviación estándar de [0.229, 0.224, 0.225] para los canales R, G y B respectivamente). Esta normalización centra la distribución de entrada alrededor de cero y la escala a varianza unitaria, lo que estabiliza el flujo de gradientes durante el entrenamiento y asegura un comportamiento de inferencia consistente.

Espacio de color y artefactos de aumento

Durante el entrenamiento, el pipeline aplica un extenso aumento de datos: rotaciones aleatorias, volteos horizontales, variación de color, desenfoque gaussiano y parches de recorte. En el momento de la inferencia, estos aumentos están desactivados, pero el modelo ha aprendido a ser invariante a los tipos de ruido visual que simulan. Esto significa que una foto tomada bajo la cálida iluminación de un restaurante y una foto tomada bajo la fría iluminación fluorescente de una oficina producirán representaciones de características confiables.

Salida clave de esta etapa

Un tensor de punto flotante normalizado con dimensiones espaciales fijas, listo para el backbone de red neuronal.

Etapa 3: Extracción de características CNN

Este es el núcleo computacional del pipeline. Una red neuronal convolucional profunda (o cada vez más un Vision Transformer) procesa el tensor preprocesado y produce un vector de características denso que codifica el contenido visual de la imagen en una forma que los cabezales de clasificación y detección posteriores pueden interpretar.

Arquitecturas backbone

Varias arquitecturas backbone han demostrado ser efectivas para el reconocimiento de alimentos:

EfficientNet utiliza escalado compuesto para equilibrar la profundidad, el ancho y la resolución de entrada de la red. EfficientNet-B4 y B5 son opciones populares porque ofrecen una fuerte precisión a un costo computacional factible en hardware móvil cuando se combinan con cuantización. Nutrola emplea un backbone derivado de EfficientNet que ha sido ajustado finamente en un conjunto de datos propietario de imágenes de alimentos, logrando un equilibrio favorable entre latencia y precisión top-1.

Vision Transformers (ViT) dividen la imagen en parches de tamaño fijo (típicamente 16x16 píxeles), proyectan cada parche en un embedding y procesan la secuencia de embeddings a través de capas de autoatención multi-cabezal. Los ViTs sobresalen en la captura de relaciones espaciales de largo alcance, por ejemplo entendiendo que el disco marrón junto a las hojas verdes es una hamburguesa y no una galleta de chocolate, porque el contexto circundante incluye un pan y lechuga. Modelos híbridos como DeiT (Data-efficient Image Transformer) y Swin Transformer han reducido los requisitos de datos y el costo computacional de los ViTs puros, haciéndolos viables para sistemas de reconocimiento de alimentos en producción.

MobileNetV3 está optimizado para inferencia en el dispositivo con convoluciones separables en profundidad y búsqueda de arquitectura neuronal consciente del hardware. Sirve como backbone en rutas críticas de latencia donde el modelo debe ejecutarse completamente en el dispositivo sin un viaje de ida y vuelta por la red.

Feature Pyramid Networks

Dado que los alimentos pueden variar enormemente en tamaño aparente dentro de una sola imagen (una pizza grande junto a un pequeño recipiente de salsa para mojar), el pipeline utiliza un Feature Pyramid Network (FPN) para extraer características a múltiples escalas espaciales. El FPN construye un camino descendente con conexiones laterales desde los mapas de características intermedios del backbone, produciendo un conjunto de mapas de características multiescala que son igualmente expresivos para detectar pequeñas guarniciones y grandes platos principales.

Salida clave de esta etapa

Un conjunto de mapas de características multiescala (o un único vector de características agrupado para tareas solo de clasificación) que codifica la semántica visual de cada región en la imagen.

Etapa 4: Clasificación y detección de alimentos multi-etiqueta

Las comidas reales rara vez contienen un solo alimento. Un plato típico de cena podría contener salmón a la parrilla, brócoli al vapor, arroz integral y una rodaja de limón. El pipeline debe detectar, localizar y clasificar cada alimento distinto en el encuadre.

Detección de objetos con YOLO y DETR

El pipeline aplica un cabezal de detección de objetos sobre los mapas de características extraídos. Dos familias de detectores dominan este espacio:

YOLO (You Only Look Once) realiza la detección en un solo paso hacia adelante dividiendo la imagen en una cuadrícula y prediciendo cajas delimitadoras y probabilidades de clase para cada celda de la cuadrícula simultáneamente. YOLOv8 y sus sucesores son particularmente adecuados para el despliegue móvil porque procesan la imagen completa de una sola vez en lugar de proponer y luego refinar regiones. Nutrola utiliza un cabezal de detección derivado de YOLO ajustado en más de 15,000 clases de alimentos que abarcan cocinas globales.

DETR (Detection Transformer) trata la detección de objetos como un problema de predicción de conjuntos, utilizando una arquitectura de codificador-decodificador transformer para producir directamente un conjunto de detecciones sin necesidad de cajas ancla o supresión de no-máximos. DETR maneja los alimentos superpuestos con más elegancia que los métodos basados en anclas porque su pérdida basada en conjuntos evita naturalmente las predicciones duplicadas.

Segmentación semántica para platos mixtos

Para platos compuestos como ensaladas, salteados y bowls de granos donde los ingredientes distintos se superponen y se entremezclan, las cajas delimitadoras son demasiado gruesas. El pipeline cambia a una rama de segmentación semántica, a menudo basada en una arquitectura U-Net o DeepLabv3+, que clasifica cada píxel en la imagen. Esta clasificación a nivel de píxel permite al sistema estimar la proporción de cada ingrediente en un plato mixto incluso cuando no hay límites claros que los separen.

Puntuación de confianza y clasificación de candidatos

Cada detección viene con una puntuación de confianza. El pipeline aplica un umbral (típicamente de 0.5 a 0.7 dependiendo de la aplicación) para filtrar predicciones de baja confianza. Cuando la predicción principal es incierta, el sistema puede presentar los tres a cinco mejores candidatos al usuario para confirmación, reduciendo las tasas de error sin requerir entrada manual.

El motor de clasificación de Nutrola incorpora un módulo de contexto de usuario que tiene en cuenta las comidas pasadas del usuario, preferencias de cocina, ubicación geográfica y hora del día. Si un usuario registra frecuentemente cocina mexicana y el modelo está indeciso entre una tortilla de harina y un naan, el módulo de contexto inclina la probabilidad hacia la tortilla. Esta capa de personalización reduce mediblemente las tasas de clasificación errónea con el tiempo.

Salida clave de esta etapa

Una lista de alimentos detectados, cada uno con una etiqueta de clase, una caja delimitadora o máscara de píxeles y una puntuación de confianza.

Etapa 5: Estimación del tamaño de la porción

Saber que un plato contiene pollo a la parrilla y arroz no es suficiente. El pipeline debe estimar cuánto de cada alimento está presente, porque 100 gramos de pechuga de pollo y 300 gramos de pechuga de pollo difieren en más de 300 calorías.

Estimación de profundidad monocular

Cuando no hay sensor de profundidad de hardware disponible, el pipeline utiliza un modelo de estimación de profundidad monocular (comúnmente basado en la arquitectura MiDaS o DPT) para inferir un mapa de profundidad solo a partir de la imagen RGB. Estos modelos aprenden a predecir la profundidad a partir de pistas contextuales como la superposición de objetos, el tamaño relativo, los gradientes de textura y los puntos de fuga. El mapa de profundidad inferido, aunque menos preciso que los datos LiDAR, es suficiente para aproximar la forma tridimensional de los alimentos en un plato.

Escalado por objeto de referencia

Una fotografía no contiene escala inherente. El pipeline resuelve esto detectando objetos de referencia de dimensiones conocidas en el encuadre. Platos (típicamente de 25 a 27 cm de diámetro), cubiertos estándar, bowls e incluso bordes de smartphones pueden anclar la escala. Al ajustar una elipse al borde del plato detectado y aplicar geometría proyectiva para inferir el ángulo de visión, el pipeline reconstruye distancias del mundo real a partir de medidas de píxeles.

Conversión de volumen a peso

Con la forma tridimensional del alimento estimada, el pipeline calcula el volumen integrando el perfil de profundidad sobre la máscara de píxeles del alimento. Luego convierte el volumen a peso usando tablas de densidad específicas para cada alimento. Una taza de espinacas ocupa mucho menos peso que una taza de hummus, por lo que la consulta de densidad es esencial para la precisión.

Nutrola mantiene una base de datos de densidad propietaria que cubre miles de alimentos en varios estados de preparación (crudo, cocido, licuado, congelado) y la utiliza para convertir volúmenes estimados en pesos en gramos con mayor fidelidad que las tablas de densidad genéricas.

Salida clave de esta etapa

Un peso estimado en gramos para cada alimento detectado.

Etapa 6: Consulta de base de datos nutricional

Con cada alimento clasificado y pesado, el pipeline consulta una base de datos nutricional para obtener el perfil de macronutrientes y micronutrientes por cada 100 gramos de ese alimento.

Arquitectura de la base de datos

Las bases de datos nutricionales de alta calidad se nutren de fuentes gubernamentales como el USDA FoodData Central, el UK Nutrient Databank y equivalentes nacionales de docenas de países. Estas fuentes proporcionan valores nutricionales analizados en laboratorio para miles de alimentos en forma estandarizada.

La base de datos de Nutrola va más allá de estas fuentes gubernamentales al incorporar datos proporcionados por fabricantes de más de 1.2 millones de productos de marca, elementos de menú de restaurantes con información nutricional verificada a través de asociaciones, y entradas enviadas por la comunidad que pasan por un pipeline de verificación multicapa que incluye referencias cruzadas, detección de valores atípicos y revisión por nutricionistas. El resultado es una base de datos unificada de más de 2 millones de entradas de alimentos con datos nutricionales normalizados a un esquema consistente.

Coincidencia difusa y resolución de entidades

El modelo de clasificación produce una etiqueta de alimento como "muslo de pollo a la parrilla con piel" que debe emparejarse con la entrada correcta de la base de datos. Este es un problema no trivial de resolución de entidades porque el mismo alimento puede tener docenas de nombres a través de regiones e idiomas. El pipeline utiliza búsqueda semántica basada en embeddings para encontrar la entrada de base de datos más cercana. Un codificador de texto ajustado finamente mapea tanto la etiqueta de alimento predicha como cada nombre de entrada de base de datos en el mismo espacio vectorial, y se selecciona el vecino más cercano (medido por similitud del coseno).

Cuando existen múltiples coincidencias cercanas (por ejemplo "muslo de pollo, a la parrilla, con piel" versus "muslo de pollo, asado, piel comida"), el sistema elige la entrada cuyo método de preparación mejor coincide con las pistas visuales detectadas en la imagen.

Salida clave de esta etapa

Un perfil nutricional completo (calorías, proteínas, carbohidratos, grasas, fibra y micronutrientes) por cada 100 gramos para cada alimento detectado.

Etapa 7: Cálculo de macros y calorías

La etapa computacional final es aritmética directa, pero es donde los errores de cada etapa anterior se acumulan. El pipeline multiplica los valores nutricionales por 100 gramos por el peso estimado de cada alimento, luego suma los resultados de todos los elementos para producir un desglose total de la comida.

El cálculo

Para cada alimento:

• Calorías = (gramos estimados / 100) x calorías por 100 g
• Proteínas = (gramos estimados / 100) x proteínas por 100 g
• Carbohidratos = (gramos estimados / 100) x carbohidratos por 100 g
• Grasas = (gramos estimados / 100) x grasas por 100 g

Estos valores por elemento se suman para producir el total de la comida.

Propagación de errores e intervalos de confianza

Dado que cada etapa anterior introduce cierta incertidumbre, Nutrola no presenta una estimación puntual única como verdad absoluta. El sistema calcula intervalos de confianza propagando la puntuación de confianza de clasificación y la incertidumbre de la estimación de porción a través del cálculo. Si la confianza de clasificación es alta pero la estimación de porción es incierta (por ejemplo, la comida está apilada en un bowl profundo que oculta el volumen), el sistema refleja esto ampliando el rango de confianza y puede solicitar al usuario que confirme la porción.

Esta transparencia es una decisión de diseño deliberada. En lugar de presentar una falsa sensación de precisión, Nutrola muestra un rango (por ejemplo, "420 a 510 kcal") cuando las estimaciones subyacentes lo justifican, ayudando a los usuarios a desarrollar una comprensión realista de su ingesta.

Salida clave de esta etapa

Calorías totales y desglose de macronutrientes para la comida, con intervalos de confianza opcionales.

Etapa 8: Visualización y registro del usuario

La etapa final renderiza los resultados en la interfaz de usuario. Los alimentos detectados se listan con sus valores individuales de calorías y macros, y el total de la comida se muestra de forma prominente. El usuario puede tocar cualquier elemento para corregirlo o ajustar la porción, y estas correcciones se retroalimentan a los modelos de personalización para mejorar las predicciones futuras.

En Nutrola, la visualización incluye una superposición visual en la foto original que muestra cajas delimitadoras o resaltados de segmentos para cada alimento detectado, haciendo inmediatamente claro qué identificó la IA y dónde. Esta retroalimentación visual genera confianza y hace que los errores sean fáciles de detectar y corregir.

La comida registrada se almacena en el diario nutricional diario del usuario y contribuye a los totales acumulados de calorías, proteínas, carbohidratos, grasas y micronutrientes rastreados. Los datos se sincronizan con Apple Health, Google Fit y otras plataformas conectadas a través de APIs estandarizadas de datos de salud.

Salida clave de esta etapa

Una entrada de registro de comida completamente renderizada con datos nutricionales por elemento y totales, superposiciones visuales y sincronización con plataformas de salud.

Tabla resumen del pipeline

Etapa	Tecnología central	Entrada	Salida
1. Entrada de cámara	ISP del dispositivo, sensores LiDAR/ToF	Luz de la escena	Imagen RGB + mapa de profundidad opcional
2. Preprocesamiento de imagen	Redimensionamiento bicúbico, normalización por canal	Imagen cruda	Tensor normalizado (ej., 384x384x3)
3. Extracción de características	EfficientNet, ViT, Swin Transformer, FPN	Tensor normalizado	Mapas de características multiescala
4. Clasificación de alimentos	YOLOv8, DETR, DeepLabv3+, contexto de usuario	Mapas de características	Alimentos etiquetados con cajas delimitadoras/máscaras
5. Estimación de porción	Estimación de profundidad MiDaS, escalado de referencia, tablas de densidad	RGB + profundidad + máscaras de alimentos	Peso en gramos por alimento
6. Consulta de base de datos	Búsqueda semántica basada en embeddings, bases de datos USDA/marcas	Etiquetas de alimentos + pistas de preparación	Perfiles nutricionales por 100 g
7. Cálculo de calorías	Aritmética ponderada, propagación de incertidumbre	Estimaciones en gramos + perfiles nutricionales	Calorías totales y macros con intervalos de confianza
8. Visualización del usuario	Renderizado de UI, APIs de sincronización de datos de salud	Datos nutricionales calculados	Entrada de registro de comida con superposición visual

Dónde encajan las innovaciones de Nutrola

Varias de las etapas descritas anteriormente incluyen innovaciones específicas de la implementación de Nutrola:

Contexto de clasificación personalizado. El módulo de contexto de usuario en la Etapa 4 utiliza datos históricos de comidas, preferencias de cocina, ubicación y hora del día para desambiguar predicciones inciertas. Esto no es estándar en la mayoría de los pipelines de reconocimiento de alimentos y produce mejoras medibles en la precisión del mundo real en comparación con modelos sin contexto.

Base de datos de densidad propietaria. La conversión de volumen a peso en la Etapa 5 se basa en una base de datos de densidad que cubre alimentos en múltiples estados de preparación. Los sistemas genéricos a menudo usan una sola densidad promedio por alimento, lo que introduce error sistemático para elementos como verduras cocidas versus crudas o conservas escurridas versus sin escurrir.

Visualización consciente de la confianza. En lugar de mostrar un único número de calorías, Nutrola muestra la incertidumbre cuando existe. Este enfoque honesto reduce la frustración del usuario cuando las estimaciones parecen incorrectas, porque el rango en sí comunica que el sistema está menos seguro sobre un elemento particular.

Base de datos nutricional unificada de múltiples fuentes. La base de datos de 2 millones de entradas en la Etapa 6 fusiona datos de laboratorio gubernamentales, datos de productos de marca y envíos comunitarios verificados en un único esquema normalizado, dando al pipeline acceso a muchas más entradas de alimentos que cualquier fuente individual proporciona.

Aprendizaje continuo a partir de correcciones. Cada corrección del usuario en la Etapa 8 se retroalimenta a los modelos de clasificación y porción durante ciclos de reentrenamiento periódicos, creando un volante de inercia donde la precisión mejora a medida que crece la base de usuarios.

Latencia y consideraciones en el dispositivo

La latencia de extremo a extremo importa enormemente para la experiencia del usuario. Si el pipeline toma más de dos a tres segundos, los usuarios lo perciben como lento y pueden volver al registro manual. Varias estrategias de ingeniería mantienen la latencia baja:

Cuantización del modelo convierte los pesos de punto flotante de 32 bits a enteros de 8 bits, reduciendo el tamaño del modelo en aproximadamente 4x y acelerando la inferencia en unidades de procesamiento neuronal (NPUs) móviles con una pérdida mínima de precisión. Nutrola aplica cuantización post-entrenamiento tanto al backbone de extracción de características como al cabezal de detección.

Inferencia en el dispositivo elimina el viaje de ida y vuelta por la red completamente para las etapas computacionalmente intensivas (extracción de características y detección). Core ML de Apple y NNAPI de Android proporcionan rutas de inferencia aceleradas por hardware que el pipeline utiliza. Solo las etapas ligeras de consulta de base de datos y cálculo de calorías requieren una llamada al servidor, e incluso estas pueden recurrir a una caché local para operación sin conexión.

Ejecución especulativa comienza el preprocesamiento y la extracción de características mientras la vista previa de la cámara aún está activa, de modo que cuando el usuario toca el obturador, el pipeline ya ha procesado parcialmente el fotograma. Esta técnica reduce varios cientos de milisegundos de la latencia percibida.

Puntos de referencia de precisión y rendimiento en el mundo real

En puntos de referencia académicos estándar como Food-101, ISIA Food-500 y Nutrition5k, los pipelines modernos logran una precisión de clasificación top-1 entre el 85 y el 92 por ciento y errores de estimación de porción dentro del 15 al 25 por ciento del peso real. El rendimiento en el mundo real varía porque las fotos enviadas por los usuarios son más ruidosas que los conjuntos de datos curados: mala iluminación, oclusión parcial, ángulos inusuales y platos regionales poco comunes degradan la precisión.

Las pruebas internas de Nutrola en un conjunto reservado de 50,000 fotos reales de usuarios muestran una precisión de clasificación top-1 del 89 por ciento y un error mediano de estimación de porción del 18 por ciento. Cuando se consideran los 3 mejores candidatos, la precisión de clasificación sube al 96 por ciento, razón por la cual la interfaz de corrección muestra prominentemente sugerencias alternativas.

Estos números continúan mejorando con cada ciclo de reentrenamiento a medida que el ciclo de retroalimentación de correcciones acumula más datos etiquetados del uso en el mundo real.

Preguntas frecuentes

¿Cuánto tiempo toma el pipeline completo desde la foto hasta los datos nutricionales?

En smartphones modernos con hardware de procesamiento neuronal dedicado, el pipeline de extremo a extremo típicamente se completa en 1.0 a 2.5 segundos. La mayoría de ese tiempo se gasta en extracción de características y detección de objetos en las Etapas 3 y 4. El preprocesamiento y el cálculo de calorías son casi instantáneos, y la consulta de base de datos agrega solo 50 a 150 milisegundos dependiendo de las condiciones de red o si se usa una caché local. El sistema de ejecución especulativa de Nutrola, que comienza a procesar la vista previa de la cámara antes de que el usuario toque el obturador, puede reducir la latencia percibida a menos de un segundo en muchos casos.

¿Qué tan precisa es la clasificación de alimentos con IA comparada con el registro manual?

La clasificación de alimentos con IA logra una precisión top-1 entre el 85 y el 92 por ciento en puntos de referencia estándar, y una precisión top-3 superior al 95 por ciento. El registro manual, aunque teóricamente preciso cuando se hace con cuidado, sufre de subregistro sistemático del 10 al 45 por ciento según la investigación dietética publicada. En la práctica, la clasificación con IA combinada con un paso rápido de confirmación del usuario tiende a producir resultados más consistentes y menos sesgados que la entrada puramente manual, particularmente para usuarios que registran múltiples comidas por día y experimentan fatiga de entrada.

¿Qué sucede cuando la IA no puede identificar un alimento?

Cuando la predicción de mayor confianza cae por debajo del umbral del sistema, el pipeline toma un enfoque de respaldo elegante. Presenta las tres a cinco mejores identificaciones candidatas y pide al usuario que seleccione la correcta, o que escriba un nombre manualmente. Esta corrección del usuario se registra y se alimenta al pipeline de entrenamiento durante el próximo ciclo de reentrenamiento, lo que significa que cada fallo se convierte en una señal de entrenamiento que mejora las predicciones futuras. Con el tiempo, a medida que estas correcciones se acumulan, la cobertura del sistema de alimentos inusuales y regionales se expande constantemente.

¿Funciona el pipeline de manera diferente para platos mixtos como ensaladas o curris?

Sí. Para platos mixtos donde los ingredientes individuales no son separables espacialmente, el pipeline cambia de la detección por caja delimitadora a la segmentación semántica usando arquitecturas como DeepLabv3+. Esta clasificación a nivel de píxel estima la proporción de cada ingrediente dentro del área mixta. Para platos muy mezclados como smoothies o sopas en puré donde la separación visual es imposible, el pipeline se basa en la descomposición basada en recetas: identifica el tipo de plato y luego usa un modelo de recetas para estimar las proporciones probables de ingredientes y su perfil nutricional combinado.

¿Cómo funciona la estimación de porciones sin un sensor de profundidad?

Cuando no hay sensor LiDAR o de tiempo de vuelo disponible, el pipeline utiliza un modelo de estimación de profundidad monocular (como MiDaS o DPT) para inferir profundidad aproximada solo a partir de la imagen RGB. Estos modelos han sido entrenados con millones de pares imagen-profundidad y pueden estimar la forma tridimensional de los alimentos a partir de pistas contextuales como la geometría del plato, patrones de sombras y gradientes de textura. El sistema también detecta objetos de referencia de tamaño conocido, particularmente platos y cubiertos, para anclar la escala. Aunque la estimación monocular es menos precisa que la detección de profundidad por hardware, la combinación de pistas de profundidad aprendidas y escalado de referencia mantiene las estimaciones de porción dentro de un rango de precisión práctico para el seguimiento nutricional.

¿Puede el pipeline manejar múltiples platos o comidas en una sola foto?

La etapa de detección de objetos está diseñada para manejar cantidades arbitrarias de alimentos independientemente de si están en uno o varios platos. Los cabezales de detección YOLO y DETR escanean toda la imagen y producen detecciones independientes para cada alimento encontrado, ya sea en un solo plato de cena, distribuidos en una mesa con múltiples platos o dispuestos en una bandeja. Cada elemento detectado se procesa independientemente a través de las etapas de estimación de porción y cálculo de calorías. Para la mejor precisión, Nutrola recomienda fotografiar cada plato o bowl individualmente para que el escalado de referencia pueda calibrarse por plato, pero el sistema maneja escenas con múltiples platos con elegancia cuando eso no es práctico.