Nutrola'nın Bilgisayarla Görme ve Yapay Zeka ile 130.000'den Fazla Gıdayı Nasıl Tanıdığı

Sorun: Gıda Tanımanın Yapay Zeka İçin Neden En Zor Zorluklardan Biri Olduğu

Fotoğraflardan gıda tanımak basit bir işlem gibi görünebilir. İnsanlar bunu zahmetsizce yapar. Ancak bilgisayarla görme sistemleri için gıda tanıma, yüz, araba veya el yazısı gibi diğer görsel sınıflandırma görevlerine kıyasla oldukça teknik olarak zorlu bir görevdir.

Bunun nedenleri öğreticidir:

• Aşırı iç sınıf varyasyonu. Bir "salata" binlerce farklı şey gibi görünebilir. Caesar salatası, Yunan salatası, meyve salatası ve dekonstre Nicoise benzer bir kategori ismine sahipken, görsel benzerlikleri neredeyse yoktur.
• Yüksek dış sınıf benzerliği. Püre patates ve humus bir fotoğrafta neredeyse aynı görünebilir. Bazı çorbalar ve smoothie kaseleri de öyle. Beyaz pirinç ve karnabahar pirinci bazı açılardan görsel olarak ayırt edilemez.
• Deformasyon ve karışım. Sert nesnelerin aksine, gıda kesilir, pişirilir, karıştırılır, katmanlanır ve sonsuz kombinasyonlarda düzenlenir. Bir burrito, bir wrap ve bir enchilada, farklı yapısal yapılandırmalarda aynı malzemeleri içerebilir.
• Kültürel bağlama bağımlılık. Aynı görsel görünüm, farklı mutfaklarda farklı gıdaları temsil edebilir. Daire şeklinde, düz bir ekmek bir tortilla, bir roti, bir pita, bir krema veya bir İsveç tunnbrod olabilir; her birinin farklı besin profilleri vardır.
• Kısmi örtme. Bir tabaktaki gıdalar üst üste gelir, soslar malzemeleri kaplar ve süslemeler altındaki şeyi gizler.

Bu zorluklar, gıda tanımanın yıllarca diğer bilgisayarla görme uygulamalarının gerisinde kalmasının nedenlerini açıklamaktadır. Ayrıca, bunun çözülmesinin geleneksel görüntü sınıflandırmasından temelde farklı bir yaklaşım gerektirdiğini de gösterir.

Temel: Konvolüsyonel Sinir Ağları

CNN'ler Gıda Görüntülerini Nasıl İşler?

Modern gıda tanımanın merkezinde, görsel verileri işlemek için özel olarak tasarlanmış derin öğrenme mimarisi olan konvolüsyonel sinir ağı (CNN) bulunmaktadır. Bir CNN, bir görüntüyü hiyerarşik özellik çıkarım katmanları aracılığıyla analiz eder:

Katman 1-3 (Düşük seviyeli özellikler): Ağ, kenarları, renkleri ve basit dokuları tanımlar. Bu aşamada, bir tabağın dairesel kenarını, pişirilmiş etin kahverengi rengini veya pirincin granüler dokusunu tespit edebilir.

Katman 4-8 (Orta seviyeli özellikler): Bu katmanlar, düşük seviyeli özellikleri daha karmaşık desenlere birleştirir: ızgara bifteğin mermer deseni, bir sandviçin katmanlı yapısı, bir sosun parlak yüzeyi veya didiklenmiş tavuk etinin lifli dokusu.

Katman 9-15+ (Yüksek seviyeli özellikler): En derin katmanlar, orta seviyeli desenleri gıda spesifik temsillere dönüştürür. Ağ, belirli bir doku, renk, şekil ve mekansal düzen kombinasyonunun "pad thai" veya "margherita pizza" veya "tavuk tikka masala" ile ilişkili olduğunu öğrenir.

Mimari Evrimi

Gıda tanıma için kullanılan mimariler son on yılda önemli ölçüde evrim geçirmiştir:

Mimari	Yıl	Ana Yenilik	Gıda Tanıma Doğruluğu
AlexNet	2012	Derin CNN'lerin uygulanabilir olduğunu kanıtladı	~55% top-1 Food-101'de
VGGNet	2014	Küçük filtrelerle daha derin ağlar	~72% top-1 Food-101'de
GoogLeNet/Inception	2014	Çok ölçekli özellik çıkarımı	~78% top-1 Food-101'de
ResNet	2015	Çok daha derin ağlar için atlama bağlantıları	~85% top-1 Food-101'de
EfficientNet	2019	Derinlik/genişlik/çözünürlük bileşen ölçeklendirmesi	~91% top-1 Food-101'de
Vision Transformers (ViT)	2020	Küresel bağlam için dikkat mekanizmaları	~93% top-1 Food-101'de
Modern hibrit mimariler	2023-2025	Bölge farkındalığı ile CNN-Dönüştürücü birleşimi	~96%+ top-1 genişletilmiş veri setlerinde

Food-101 benchmark'ı (101 gıda kategorisi, 101.000 görüntü) yıllarca standart değerlendirme veri seti olmuştur. Nutrola gibi modern sistemler, 130.000'den fazla tanınabilir gıda maddesi ile çok daha büyük bir ölçekle çalışmaktadır ve eğitim paradigmaları akademik benchmarkların çok ötesine geçmektedir.

Çoklu Nesne Tespiti: Tablada Her Şeyi Görmek

Tek Gıda Sınıflandırmasının Ötesinde

Erken gıda tanıma sistemleri, bir görüntüde tek bir gıdayı tanıyabiliyordu. Pirinç, köri ve naan ekmeği ile dolu bir tabağın fotoğrafı, bu üç nesneden biri olarak sınıflandırılacak ve diğerleri tamamen gözden kaçırılacaktı. Gerçek yemekler bu kadar basit değildir.

Çoklu nesne tespiti, farklı bir mimari yaklaşım gerektirir. Sistem, tüm görüntüyü tek bir kategori olarak sınıflandırmak yerine:

1. İlgili bölgeleri tespit etmelidir (görüntüdeki belirgin gıda maddeleri nerede?).
2. Bu bölgeleri segmentlemelidir (pirinç nerede bitiyor, köri nerede başlıyor?).
3. Her bölgeyi bağımsız olarak sınıflandırmalıdır (bu bölge pirinç, bu tavuk köri, bu naan).
4. Üst üste binen maddeleri ele almalıdır (pirinç üzerindeki köri sosu köriye aittir, ayrı bir nesne değildir).

Gıda için Nesne Tespiti Çerçeveleri

Modern çoklu nesne gıda tespiti, genel bilgisayarla görme görevleri için ilk olarak geliştirilen nesne tespiti çerçevelerine dayanır:

• Bölge tabanlı yaklaşımlar (Faster R-CNN'den türetilmiştir) aday bölgeler oluşturur ve her birini sınıflandırır. Bunlar doğru ancak hesaplama açısından pahalıdır.
• Tek atış yaklaşımları (YOLO ve SSD'den türetilmiştir) sınırlayıcı kutuları ve sınıflandırmaları tek bir ileri geçişte tahmin eder, mobil cihazlarda gerçek zamanlı tespiti mümkün kılar.
• Anlamsal segmentasyon yaklaşımları (U-Net ve Mask R-CNN'den türetilmiştir) piksel düzeyinde gıda haritaları oluşturur ve maddeler arasındaki kesin sınırları sağlar.

Nutrola'nın Snap & Track sistemi, mobil çıkarım için optimize edilmiş hibrit bir yaklaşım kullanır. İlk tespit için cihazda verimli bir şekilde çalışırken, karmaşık sahneler veya belirsiz maddeler için sunucu tarafında işleme yapılır. Bu, kullanıcı deneyimini hızlı tutar; genellikle fotoğraf çekiminden besin analizine kadar iki saniye içinde sonuç verirken, yüksek doğruluğu korur.

Karmaşık Yemek Yapılarını Ele Alma

Bazı yemekler, basit tespitin çözemeyeceği yapısal zorluklar sunar:

• Katmanlı gıdalar (lazanya, sandviç, burrito): Sistem, görünür dış ipuçlarından ve bağlamsal bilgiden iç malzemeleri çıkarmalıdır.
• Karışık yemekler (sote, güveç, karnıyarık): Bireysel malzemeler tek bir görsel kütlede birleştirilmiştir. Sistem, doku analizi, renk dağılımı ve bağlamsal öncülleri kullanarak bileşimi tahmin eder.
• Dekonstre sunumlar (kase yemekleri, bento kutuları, tapas): Ayrı bölümlerde birden fazla küçük madde, bireysel tespit ve sınıflandırma gerektirir.
• Gıda ile birlikte içecekler: Bir bardak portakal suyu, bir mango smoothie ve bir Thai buzlu çayı ayırt etmek, renk, opaklık, kap türü ve bağlam analizi gerektirir.

Eğitim Verisi: Tanıma Kalitesinin Temeli

Ölçek ve Çeşitlilik Gereksinimleri

Bir gıda tanıma sistemi, eğitildiği veriler kadar iyidir. 50'den fazla ülkeden 130.000'den fazla gıdayı tanıyan bir model oluşturmak, olağanüstü ölçek ve çeşitlilikte bir eğitim veri seti gerektirir.

Eğitim verisi kalitesinin ana boyutları:

Hacim: Modern gıda tanıma modelleri, milyonlarca etiketlenmiş gıda görüntüsü gerektirir. Her gıda kategorisi, farklı hazırlama, sunum, aydınlatma koşulları, açılar ve porsiyon boyutlarını gösteren yüzlerce ila binlerce örneğe ihtiyaç duyar.

Çeşitlilik: Japon mutfağında fotoğraflanan bir "tavuk göğsü", Brezilya mutfağında fotoğraflanan birinden farklı görünür; bu da Nijerya mutfağındaki birinden farklıdır. Eğitim verisi bu çeşitliliği temsil etmelidir, aksi takdirde model, görmediği mutfaklarda başarısız olur.

Etiket doğruluğu: Her görüntü, belirli gıda maddesi ile doğru bir şekilde etiketlenmelidir, sadece genel kategori ile değil. "Teriyaki soslu ızgara somon" ile "limonlu tereyağlı ızgara somon" besin açısından farklıdır ve eğitim etiketleri bu ayrımı yakalamalıdır.

Porsiyon varyasyonu: Aynı gıda, 100g ve 300g porsiyonlarda fotoğraflandığında, modelin kimliği değil, miktarı tahmin edebilmesi için eğitim verisinde temsil edilmelidir.

Veri Artırma Stratejileri

Ham veri toplama, her gıdanın her olası sunumunu kapsayamaz. Veri artırma teknikleri, etkili eğitim setini genişletir:

• Geometrik dönüşümler: Modellerin gıdayı tabak yönelimine bakılmaksızın tanıyabilmesi için görüntüleri döndürme, çevirme ve ölçeklendirme.
• Renk ve aydınlatma varyasyonu: Farklı aydınlatma koşullarını simüle etmek için parlaklık, kontrast ve beyaz dengesi ayarlama (restoran aydınlatması, floresan mutfak lambaları, dış mekan doğal ışık, flaş fotoğrafçılığı).
• Sentetik örtme: Gıda görüntülerinin belirli kısımlarını rastgele maskeleyerek modelin maddeleri kısmen gizlendiğinde bile tanımasını sağlama.
• Stil transferi: Gıda kimliğini korurken arka plan, sunum tarzı ve masa takımı değişiklikleri ile sentetik görüntüler oluşturma.

Kullanıcı Verilerinden Sürekli Öğrenme

Günde 2 milyondan fazla aktif kullanıcının yemek kaydetmesiyle, Nutrola'nın sistemi sürekli bir geri bildirim döngüsünden faydalanır. Bir kullanıcı yanlış tanımlanan bir gıda maddesini düzelttiğinde, bu düzeltme bir eğitim sinyali haline gelir. Zamanla, bu kullanıcı odaklı inceleme, başlangıçta tahmin edilemeyen kenar durumları ve bölgesel gıda varyasyonlarını ele alır.

Bu, özellikle değerli olan:

• Akademik gıda veri setlerinde yer almayan bölgesel yemekler
• Yeni gıda trendleri (yeni ürünler, füzyon mutfakları, viral tarifler)
• Marka spesifik ürünler; ambalaj ve sunum bölgesel pazarlara göre değişir
• Ev yapımı yemekler; restoran sunumlarından farklı görünür

Porsiyon Tahmini: Daha Zor Problem

Neden Porsiyon Tahmini Tanımadan Daha Önemli?

Bir gıda maddesini doğru bir şekilde tanımak, sorunun sadece yarısıdır. 100g ve 250g makarna porsiyonu arasındaki besin farkı 230 kaloridir; bu, bir diyeti etkileyebilecek kadar önemlidir. Tek bir fotoğraftan porsiyon tahmini yapmak, birçok açıdan daha teknik olarak zorlu bir meydan okumadır.

Derinlik ve Ölçek Tahmini

2D bir fotoğraf, gıda hacmini doğrudan ölçmek için gereken derinlik bilgilerini içermez. Sistem, iki boyutlu ipuçlarından üç boyutlu özellikleri çıkarmalıdır:

• Referans nesneler: Çerçevede bulunan tabaklar, kaseler, çatal bıçak takımları ve eller, ölçek referansları sağlar. Standart bir akşam yemeği tabağı (yaklaşık 26 cm çapında) üzerindeki her şeyin boyut tahminini sabitler.
• Perspektif geometrisi: Fotoğrafın çekildiği açı, görünür boyutu etkiler. Tam üstten çekilen bir tabak, 45 derece açıyla çekilen bir tabaktan farklı görünür. Sistem, kamera açısını tahmin eder ve perspektif bozulmasını düzeltir.
• Gıda spesifik yoğunluk modelleri: Aynı hacimdeki marul ve bifteğin ağırlıkları ve kalori içerikleri oldukça farklıdır. Sistem, tahmin edilen hacmi tahmin edilen ağırlığa dönüştürmek için gıda spesifik yoğunluk öncüllerini uygular.
• Öğrenilmiş porsiyon dağılımları: Milyonlarca kaydedilmiş yemekten elde edilen istatistiksel öncüller, beklenen porsiyon boyutlarını bilgilendirir. Model "yulaf lapası kasesi" tespit ettiğinde, ortalama porsiyonun yaklaşık 250g olduğunu bilir ve bu öncülü tahminini sınırlamak için kullanır.

Doğruluk Ölçütleri

Yapay zeka tabanlı porsiyon tahmini ne kadar doğrudur? Araştırma ölçütleri bağlam sağlar:

Yöntem	Ortalama Hata (% gerçek ağırlığın)
İnsan görsel tahmini (eğitimsiz)	%40-60
İnsan görsel tahmini (eğitimli diyetisyen)	%15-25
Tek görüntü AI tahmini (2020 dönemi)	%20-30
Tek görüntü AI tahmini (mevcut en iyi, 2025)	%10-20
Referans nesne ile AI tahmini	%8-15
Tartılmış gıda ölçümü (altın standart)	<%1

Mevcut AI sistemleri bir gıda ölçeği ile eşleşmese de, eğitimsiz insan tahminlerini sürekli olarak geride bırakmakta ve eğitimli diyetisyenlerin doğruluğuna yaklaşmaktadır. Çoğu takip durumu için bu doğruluk seviyesi, anlamlı beslenme içgörüleri desteklemek için yeterlidir.

Besin Haritalama Katmanı

Görsel Tanımadan Besin Verilerine

Bir fotoğrafta "ızgara tavuk göğsü" tanımlamak, bu tanımın doğru besin verilerine karşılık gelmesi durumunda yalnızca yararlıdır. İşte burada Nutrola'nın %100 beslenme uzmanı onaylı gıda veritabanı devreye girer.

Haritalama katmanı, her görsel sınıflandırmayı aşağıdaki gibi belirli bir veritabanı girdisine bağlar:

• Makro besin dağılımı (kalori, protein, karbonhidrat, yağ)
• Mikro besin profili (vitaminler, mineraller)
• Porsiyon boyutu varyasyonları
• Hazırlama yöntemi ayarlamaları (ızgara vs. kızartılmış tavuk göğsü, yağ içeriği açısından önemli ölçüde farklıdır)
• Bölgesel ve marka spesifik varyasyonlar

Bu haritalama basit bir arama tablosu değildir. Sistem, aşağıdakileri dikkate alır:

• Pişirme yöntemi tespiti: Görsel ipuçları (kızarma, yağ parıltısı, yanık izleri), gıdanın ızgara, kızartma, fırınlama veya buharda pişirme olup olmadığını belirlemeye yardımcı olur; her biri besin profilini değiştirir.
• Sos ve üst malzeme tahmini: Görünür soslar, soslar, peynir ve üst malzemeler tanımlanır ve besin katkıları temel gıda maddesine eklenir.
• Bileşik yemek tahmini: Kesin tariflerin bilinmediği karışık yemekler için sistem, tipik bileşimlerin istatistiksel modellerini kullanarak makro ve mikro besin içeriğini tahmin eder.

Doğrulama Farkı

Birçok gıda tanıma sistemi, doğrulanmamış, kullanıcı tarafından oluşturulmuş besin veritabanlarına haritalama yapar. Bu, birikimli bir hata yaratır: Görsel tanımlama doğru olsa bile, haritalandığı besin verileri yanlış olabilir. Nutrola'nın beslenme uzmanı onaylı veritabanını koruma yaklaşımı, bu ikinci hata kaynağını ortadan kaldırarak, doğru tanımlamanın doğru besin bilgisine yol açmasını sağlar.

Kenar Durumlar ve Süregelen Zorluklar

Mevcut Sistemlerin Zorlandığı Yerler

Yetenekleri vurgulamak kadar, sınırlamalar hakkında şeffaf olmak da önemlidir. Mevcut gıda tanıma AI'sı, Nutrola'nın sistemi de dahil olmak üzere, aşağıdaki zorluklarla karşı karşıyadır:

• Gizli malzemeler: Bir smoothie kasesinin besin içeriği, fotoğrafta görünmeyen karışımın içeriğine bağlıdır. Sistem, yaygın tarif modellerine dayanır ve kullanıcılardan ek bilgi isteyebilir.
• Çok benzer gıdalar: Görsel olarak aynı olan gıdalar (örneğin, normal püre patates ile karnabahar püresi) arasında ayrım yapmak bazen kullanıcı onayı gerektirir.
• Alışılmadık sunumlar: Moleküler gastronomi veya son derece sanatsal sunumlar gibi alışılmadık şekillerde sunulan gıdalar, tespit sistemlerini yanıltabilir.
• Aşırı aydınlatma koşulları: Çok karanlık restoranlar veya sert flaş fotoğrafçılığı, görüntü kalitesini bozar ve tanıma doğruluğunu azaltır.
• Görünür etiketleri olmayan ambalajlı gıdalar: Sarılı bir sandviç veya kapalı bir kap, sınırlı görsel bilgi sağlar.

Nutrola Belirsizlikle Nasıl Baş Eder?

AI tanımlamada kendine güvenmediğinde, sistem birkaç strateji uygular:

1. En iyi-N önerileri: Tek bir tanıma yerine, sistem en olası seçenekleri sunar ve kullanıcının doğru olanı seçmesine izin verir.
2. Açıklayıcı sorular: AI Diyet Asistanı, "Bu beyaz pirinç mi yoksa karnabahar pirinci mi?" veya "Bu krema bazlı mı yoksa domates bazlı sos mu içeriyor?" gibi takip soruları sorabilir.
3. Sesli destek: Kullanıcılar, bir fotoğraf çekip "bu annemin ev yapımı mercimek çorbası, içinde hindistancevizi sütü var" diyerek görseli açıklayabilir. Sesli giriş, görseli netleştirir.
4. Düzeltmelerden öğrenme: Her kullanıcı düzeltmesi, benzer maddeler için gelecekteki doğruluğu artırır.

İşlem Boru Hattı: Fotoğraftan Besine İki Saniyeden Kısa Sürede

Nutrola kullanıcısının bir gıda fotoğrafı çektiğinde neler olduğunu basit bir şekilde gösterelim:

Adım 1 (0-200ms): Görüntü ön işleme. Fotoğraf boyut, yön ve renk dengesi için normalize edilir. Temel kalite kontrolleri, görüntünün kullanılabilir olduğunu garanti eder.

Adım 2 (200-600ms): Çoklu nesne tespiti. Tespit modeli, belirgin gıda maddelerini içeren bölgeleri tanımlar ve her birinin etrafında sınırlayıcı bölgeler çizer.

Adım 3 (600-1000ms): Bölge başına sınıflandırma. Her tespit edilen bölge, 130.000'den fazla gıda taksonomisine karşı sınıflandırılır. Her sınıflandırmaya güven puanları atanır.

Adım 4 (1000-1400ms): Porsiyon tahmini. Her tespit edilen nesne için hacim ve ağırlık, derinlik çıkarımı, referans nesne ölçeklendirmesi ve gıda spesifik yoğunluk modelleri kullanılarak tahmin edilir.

Adım 5 (1400-1800ms): Besin haritalama. Her sınıflandırılan ve porsiyonu belirlenen nesne, beslenme uzmanı onaylı veritabanı girdisi ile eşleştirilir. Hazırlama yöntemi ayarlamaları uygulanır.

Adım 6 (1800-2000ms): Sonuç derleme. Tam besin analizi derlenir ve kullanıcıya sunulur; bireysel maddeler listelenir ve toplam yemek özeti sağlanır.

Tüm boru hattı, modern akıllı telefonlarda genellikle iki saniyeden kısa sürede tamamlanır; ilk tespit ve sınıflandırma cihazda çalışırken, besin haritalama Nutrola'nın bulut veritabanına bağlanır.

Gelecek: Gıda Tanıma AI'sının Geleceği

Gelişen Yetenekler

Gıda tanıma AI alanı hızla ilerlemeye devam ediyor:

• Video tabanlı takip, tek bir fotoğraf yerine yemek seanslarını analiz ederek çoklu açılardan porsiyon tahminini iyileştirir.
• Malzeme düzeyinde tanıma, karışık yemekler içindeki bireysel bileşenleri tanımlar.
• Pişirme süreci analizi, pişirme yöntemi ve süresine dair görsel kanıtlara dayanarak hamdan pişmiş duruma besin değişikliklerini tahmin edebilir.
• AR destekli porsiyon ölçümü, daha doğru hacim tahmini için akıllı telefon derinlik sensörlerini (LiDAR) kullanır.
• Çapraz-modal öğrenme, daha doğru tanıma için görsel, metin (menüler, etiketler) ve bağlamsal (konum, günün saati) bilgileri birleştirir.

Ölçek Avantajı

50'den fazla ülkede 2 milyondan fazla kullanıcının milyonlarca yemeği kaydetmesiyle, Nutrola'nın tanıma sistemi, akademik araştırmaların karşılayamayacağı bir hızda gelişmektedir. Her kaydedilen yemek bir veri noktasıdır. Her düzeltme bir eğitim sinyalidir. Karşılaşılan her yeni mutfak, modelin bilgisinin genişlemesidir. Bu döngü etkisi, sistemin her ay ölçülebilir şekilde daha doğru hale gelmesini sağlar; özellikle daha küçük sistemlerin öğrenemeyeceği bölgesel ve kültürel gıdalar için.

Sonuç

Gıda tanıma AI'sı, bilgisayarla görmenin en teknik olarak zorlu uygulamalarından biridir ve çoğu görüntü sınıflandırma sisteminin hiç karşılaşmadığı sorunlara çözümler gerektirir: kategoriler içinde aşırı görsel varyasyon, kalabalık tabaklarda çoklu nesne tespiti, iki boyutlu görüntülerden üç boyutlu porsiyon tahmini ve 130.000'den fazla madde için doğrulanmış besin verilerine haritalama.

Nutrola'nın Snap & Track özelliğinin arkasındaki teknoloji, derin konvolüsyonel sinir ağlarının, gelişmiş nesne tespiti mimarilerinin, istatistiksel porsiyon tahmin modellerinin ve beslenme uzmanı onaylı bir gıda veritabanının birleşimini temsil etmektedir. Sonuç, öğle yemeğinizin sıradan bir fotoğrafını iki saniyeden kısa sürede ayrıntılı bir besin analizine dönüştürebilen bir sistemdir.

Bu sistem mükemmel değildir. Hiçbir mevcut sistem mükemmel değildir. Ancak, gıda tartımını veya manuel bir veritabanında arama yapmayı asla düşünmeyecek milyonlarca insan için pratik hale getirmek için yeterince doğrudur. Ve her gün, kullanıcılarının paylaştığı her yemekten öğrenerek daha iyi hale gelmektedir. Mevcut yetenekler ve sürekli iyileşme kombinasyonu, AI destekli gıda tanımanın sadece teknik bir başarı değil, daha iyi beslenme için pratik bir araç olmasını sağlar.