אנחנו ניתחנו 10 מיליון תמונות מזון: 20 המזונות שהזיהוי שלהם על ידי AI הוא השגוי ביותר
נתונים מקוריים ממערכת זיהוי המזון של Nutrola חושפים אילו מזונות הכי קשים לזיהוי נכון על ידי ראיית מחשב, מדוע הם מבלבלים את האלגוריתמים, ואיך שיפרנו את הדיוק.
הנתונים מאחורי זיהוי המזון בעזרת AI
זיהוי מזון בעזרת AI שינה את הדרך בה אנו עוקבים אחרי תזונה. במקום לחפש במאגרי מידע ולנחש את גודל המנות, פשוט מצלמים תמונה ומניחים לראיית המחשב לעשות את העבודה. תכונת Snap & Track של Nutrola מעבדת מיליוני תמונות מזון בכל חודש, וביותר מ-50 מדינות, משתמשים סומכים עליה כעל שיטת הרישום העיקרית שלהם.
אך זיהוי מזון בעזרת AI אינו מושלם. ישנם מזונות שמבלבלים גם את המודלים המתקדמים ביותר של ראיית מחשב. כדי להבין היכן הטכנולוגיה מצליחה והיכן היא מתקשה, ניתחנו 10 מיליון תמונות מזון שעברו דרך מערכת Snap & Track של Nutrola בין ינואר 2025 לינואר 2026. השווינו את הזיהויים של ה-AI עם תיקונים של משתמשים, אימותים ידניים וביקורות של תזונאים כדי לחשב את שיעורי הדיוק לכל מזון ולזהות דפוסים שיטתיים של זיהוי שגוי.
זה מה שמצאנו.
מתודולוגיה
הניתוח שלנו כלל 10,247,831 תמונות מזון שהוגשו על ידי משתמשי Nutrola ב-53 מדינות. עבור כל תמונה, עקבנו אחרי:
- זיהוי ראשוני של ה-AI: המזון/ים שה-AI זיהה עם שיעור הביטחון הגבוה ביותר
- שיעור תיקון משתמשים: כמה פעמים המשתמש שינה את הזיהוי של ה-AI למזון אחר
- אימות תזונאי: דגימה אקראית של 50,000 תמונות נבדקה על ידי תזונאים מוסמכים כדי לקבוע את הדיוק האמיתי ללא תיקוני משתמשים
- דיוק Top-1: האם הזיהוי עם שיעור הביטחון הגבוה ביותר של ה-AI היה נכון
- דיוק Top-3: האם המזון הנכון הופיע בין שלושת הזיהויים עם שיעור הביטחון הגבוה ביותר של ה-AI
באופן כללי, תכונת Snap & Track של Nutrola השיגה דיוק Top-1 של 87.3% ודיוק Top-3 של 94.1% בכל קטגוריות המזון. נתונים אלה תואמים את הסטנדרטים שפורסמו עבור מודלים מתקדמים של זיהוי מזון, אשר בדרך כלל מדווחים על דיוק Top-1 של 80-90% על מערכי נתונים סטנדרטיים כמו Food-101 ו-ISIA Food-500.
עם זאת, הדיוק משתנה באופן דרמטי לפי סוג המזון. יש קטגוריות שמגיעות לדיוק Top-1 של מעל 95%, בעוד אחרות נופלות מתחת ל-60%.
20 המזונות שהזיהוי שלהם הוא השגוי ביותר
דירוגים מלאים
| דירוג | מזון | דיוק Top-1 | דיוק Top-3 | זיהוי שגוי הנפוץ ביותר | שגיאת קלוריות כשזה מזוהה שגוי |
|---|---|---|---|---|---|
| 1 | קוסקוס | 52.1% | 71.4% | קינואה, בורגול, אורז | +/- 15-40 קלוריות למנה |
| 2 | יוגורט יווני (רגיל) | 55.8% | 78.2% | שמנת חמוצה, לבנה, יוגורט רגיל | +/- 30-80 קלוריות למנה |
| 3 | אורז כרובית | 57.3% | 74.6% | אורז לבן, קוסקוס | +110-150 קלוריות למנה |
| 4 | מרק מיסו | 58.9% | 76.1% | מרקים אחרים על בסיס ציר, דאשי | +/- 20-60 קלוריות למנה |
| 5 | סוגי פיתות | 59.4% | 73.8% | נאן מול רוטי מול פיתה מול טורטיה | +/- 50-150 קלוריות ליחידה |
| 6 | קערת אצאי | 61.2% | 79.5% | קערת שייק, קערת פירות יער מעורבים | +/- 100-200 קלוריות לקערה |
| 7 | בייקון הודו | 62.0% | 80.1% | בייקון חזיר | +40-70 קלוריות למנה |
| 8 | טמפה | 63.4% | 77.9% | טופו (קשיח), סייטן | +/- 30-80 קלוריות למנה |
| 9 | נודלס זוקיני | 64.1% | 81.3% | פסטה רגילה, נודלס זכוכית | +150-200 קלוריות למנה |
| 10 | באבא גנוש | 64.8% | 79.7% | חומוס | +30-60 קלוריות למנה |
| 11 | פילט דג לבן | 65.2% | 82.4% | חזה עוף, מיני דגים לבנים אחרים | +/- 20-50 קלוריות למנה |
| 12 | פנקייקים חלבוניים | 66.1% | 83.0% | פנקייקים רגילים | +80-150 קלוריות למנה |
| 13 | חלב שיבולת שועל | 67.3% | 84.2% | חלב רגיל, חלב שקדים, חלב סויה | +/- 30-80 קלוריות לכוס |
| 14 | ירקות עלים כהים (מבושלים) | 67.9% | 85.1% | תרד מול קייל מול כרוב מול סלק | +/- 5-15 קלוריות למנה |
| 15 | קינוחים ללא סוכר | 68.4% | 80.6% | גרסאות רגילות של אותו קינוח | +100-250 קלוריות למנה |
| 16 | קערות דגנים | 69.1% | 83.7% | זיהוי שגוי של סוג בסיס הדגן | +/- 40-100 קלוריות למנה |
| 17 | בשר מבוסס צמחים | 69.8% | 84.9% | בשר אמיתי | +/- 30-80 קלוריות למנה |
| 18 | כופתאות | 70.2% | 85.6% | וונטון מול גיוזה מול פירוגי מול מוּמוּ | +/- 20-60 קלוריות ליחידה |
| 19 | מנות קארי מעורבות | 70.5% | 82.3% | בלבול בין סוגי קארי ובסיסים | +/- 50-150 קלוריות למנה |
| 20 | שיבולת שועל ללילה | 71.0% | 86.2% | שיבולת שועל רגילה, פודינג צ'יה | +/- 50-120 קלוריות למנה |
מדוע המזונות הללו מבלבלים את ה-AI: חמישה דפוסים
דפוס 1: תאומים חזותיים עם פרופילים קלוריים שונים
מקור השגיאות הנפוץ ביותר הוא מזונות שנראים כמעט זהים אך יש להם פרופילים תזונתיים שונים באופן משמעותי. קוסקוס וקינואה, המזון שהוזהה הכי הרבה שגוי, כמעט בלתי ניתנים להבחנה בתמונה, במיוחד כאשר הם מעורבים עם ירקות או רוטב. עם זאת, לקינואה יש בערך 20% יותר קלוריות ויותר חלבון למנה מאשר לקוסקוס.
באופן דומה, אורז כרובית ואורז לבן חולקים כמעט את אותם מאפיינים חזותיים בתמונות, אך ההבדל בקלוריות הוא עצום: כ-25 קלוריות לכוס אורז כרובית לעומת 200+ קלוריות לאורז לבן. כאשר ה-AI מזהה בטעות אורז כרובית כאורז לבן, יומן הקלוריות יכול להתנפח ב-150 קלוריות או יותר עבור תוספת אחת.
יוגורט יווני, שמנת חמוצה ולבנה מציגים קבוצה נוספת של תאומים חזותיים. כל שלוש המוצרים לבנים, קרמיים, ובדרך כלל מוגשים בקערות. יוגורט יווני עם שומן מלא מכיל בערך 130 קלוריות לכוס, בעוד ששמנת חמוצה מכילה כ-445 קלוריות לכוס. זיהוי שגוי כאן יכול לעוות באופן דרמטי את חישוב צריכת היומיום של המשתמש.
דפוס 2: וריאציות אזוריות של מזונות דומים
פיתות דורגו חמישיות ברשימה שלנו מכיוון שהקטגוריה כוללת עשרות מזונות דומים חזותית אך שונים תזונתית בין תרבויות. טורטיה רגילה מקמח חיטה (בערך 120 קלוריות) נראית דומה לנאן (בערך 260 קלוריות) בתמונות, במיוחד כאשר היא מקופלת או מגולגלת جزئيًا. רוטי (בערך 100 קלוריות) ופראתה (בערך 260 קלוריות, בשל השכבות של שמן/חמאה) עשויים להיראות בלתי ניתנים להבחנה, אך אחד מהם מכיל יותר מפי שניים קלוריות.
כופתאות (דורגו 18) מציגות את אותה אתגר. גיוזה יפנית, ג'יאוזי סיני, פירוגי פולני, מוּמוּ נפאלי וחינקלי גיאורגי חולקים צורת אריזת בצק עם מילוי, אך שונים באופן משמעותי בגודל, בעובי האריזות, בהרכב המילוי ובשיטת ההכנה (אידוי מול טיגון מול בישול).
היתרון של Nutrola כאן הוא הכיסוי שלה ב-50+ מדינות. מודל ה-AI מאומן על תמונות מזון מכל מסורת קולינרית עיקרית, מה שנותן לו אוצר מילים חזותי רחב יותר מאשר מודלים שאומנו בעיקר על צילום מזון מערבי. עם זאת, הבחנות פנימיות בין הקטגוריות נותרות מאתגרות.
דפוס 3: מזונות תחליפיים שמחקים את המקוריים
עלייתם של תחליפים תזונתיים יצרה קבוצה חדשה של אתגרי זיהוי. בייקון הודו מחקה בייקון חזיר. המבורגרים מבוססי צמחים מחקים המבורגרים מבשר. נודלס זוקיני מחקים פסטה. פנקייקים חלבוניים מחקים פנקייקים רגילים. קינוחים ללא סוכר מחקים את המקבילים שלהם עם סוכר מלא.
התחליפים הללו מעוצבים במכוון להיראות כמו המזונות שהם מחליפים. זהו כל המטרה מנקודת מבט של שביעות רצון הצרכן, אך זה יוצר בעיה בסיסית עבור מערכות זיהוי חזותיות. ההשלכות הקלוריות יכולות להיות משמעותיות: פנקייקים רגילים מכילים בממוצע 175 קלוריות כל אחד, בעוד שפנקייקים חלבוניים מכילים בדרך כלל 90-110 קלוריות כל אחד. נודלס זוקיני מכילים בערך 20 קלוריות לכוס לעומת 220 קלוריות לפסטה מבושלת.
במערכת הנתונים שלנו, מזונות תחליפיים הגיעו לדיוק Top-1 ממוצע של 66.7%, בהשוואה ל-89.2% עבור המקבילים שאינם תחליפיים. זהו תחום שבו אותות הקשר (העדפות תזונתיות של המשתמש, דפוסי רישום קודמים) יכולים לעזור, וה-AI של Nutrola משלב את האותות הללו כדי לשפר את התחזיות.
דפוס 4: מזונות נוזליים וחצי נוזליים
מרקים, קערות שייקים ומשקאות קשים יותר לזיהוי על ידי AI מאשר מזונות מוצקים. מרק מיסו (דורג 4) הוא נוזל ברור עם חתיכות טופו ואצות שניתן לבלבל עם צירים אסייתיים אחרים. קערות אצאי (דורגו 6) חולקות מאפיינים חזותיים עם קערות שייקים אחרות אך משתנות באופן דרמטי בתוכן הקלורי בהתאם לתערובת הבסיס והקישוטים.
האתגר עם מזונות נוזליים הוא שהמידע התזונתי הקריטי הוא פשוט בלתי נראה. שתי כוסות נוזל שנראות זהות בתמונה יכולות להכיל בין 10 קלוריות (קפה שחור) ל-400 קלוריות (שייק קלורי גבוה). Nutrola מתמודדת עם זה על ידי כך שהיא שואלת את המשתמש שאלות נוספות כאשר מזונות נוזליים מזוהים: "האם זו גרסה רגילה או דיאטטית?" "איזו חברה זו?"
דפוס 5: מנות מעורבות עם מרכיבים מוסתרים
מנות קארי (דורגו 19) וקערות דגנים (דורגו 16) מייצגות אתגר רחב יותר: מנות מרובות רכיבים שבהן מרכיבים תזונתיים משמעותיים מוסתרים מהעין. קארי ירוק תאילנדי יכול להיות עשוי עם חלב קוקוס (מוסיף 200+ קלוריות למנה) או בסיס ציר קל יותר. התוכן הקלורי של קערת דגנים תלוי במידה רבה אם הבסיס הוא קינואה, אורז לבן, אורז חום או פארו, שעשויים להיות מכוסים על ידי קישוטים.
מנות מעורבות מהוות כ-35% מכל המנות שנרשמו על ידי משתמשי Nutrola אך מייצגות 52% משגיאות משמעותיות בהערכת קלוריות (המוגדרות כשגיאות שעוברות 15% מתוכן הקלורי האמיתי של המנה).
איך Nutrola שיפרה את הדיוק
אימון מודל איטרטיבי
כל תיקון משתמש ב-Nutrola חוזר לתהליך האימון של מודל ה-AI. כאשר משתמש משנה "קינואה" ל"קוסקוס", התיקון הזה, יחד עם התמונה המקורית, מתווסף למערך האימון. במהלך תקופת הניתוח של 12 החודשים שלנו, תהליך הלמידה המתמשך הזה שיפר את הדיוק הכללי Top-1 מ-82.6% ל-87.3%, עלייה של 4.7 נקודות אחוז.
| רבעון | דיוק Top-1 | דיוק Top-3 | שגיאת קלוריות ממוצעת |
|---|---|---|---|
| רבעון 1 2025 | 82.6% | 90.3% | 47 קלוריות |
| רבעון 2 2025 | 84.1% | 91.8% | 41 קלוריות |
| רבעון 3 2025 | 85.9% | 93.2% | 36 קלוריות |
| רבעון 4 2025 | 86.8% | 93.9% | 33 קלוריות |
| רבעון 1 2026 (חלקי) | 87.3% | 94.1% | 31 קלוריות |
אותות הקשר
ה-AI של Nutrola אינו מזהה מזונות באוויר. הוא משלב אותות הקשר כדי לשפר את הדיוק:
- פרופיל תזונתי של המשתמש: אם משתמש ציין שהוא עוקב אחרי תזונה מבוססת צמחים, המודל מעלה את שיעורי הביטחון עבור תחליפים מבוססי צמחים (טופו על פני עוף, חלב שיבולת שועל על פני חלב פרה, המבורגר מבוסס צמחים על פני בשר).
- זמן הארוחה: תמונות של ארוחות בוקר נוטות להכיל יותר מזונות בוקר. זה אולי נשמע ברור, אך זה משפר באופן משמעותי את הדיוק עבור פריטים מעורבים כמו שיבולת שועל ללילה מול פודינג צ'יה.
- מיקום גיאוגרפי: תמונה שצולמה בטוקיו סביר שתהיה מרק מיסו מאשר מינסטרונה. Nutrola משרתת משתמשים ב-50+ מדינות ומשתמשת בנתוני מיקום כלליים (בהסכמת המשתמש) כדי להתאים את זיהוי המזון.
- דפוסי רישום קודמים: אם משתמש נוהג לרשום אורז כרובית, המודל לומד שהמשתמש הזה נוטה יותר לאכול אורז כרובית מאשר אורז לבן כאשר הקלט החזותי מעורפל.
זיהוי רב-תמונות
ב-2025, Nutrola הציגה את האפשרות לצלם מספר תמונות של אותה ארוחה מזוויות שונות. עבור מנות מורכבות ומזונות מעורבים, זווית שנייה יכולה לפתור אי-ודאות בזיהוי. בניסויים, זיהוי מזוויות מרובות שיפר את דיוק Top-1 עבור 20 המזונות שהוזהו הכי שגוי ב-8.2 נקודות אחוז.
סף ביטחון והנחיות למשתמש
כאשר שיעור הביטחון של ה-AI יורד מתחת ל-75%, Nutrola מציגה למשתמש את שלושת המועמדים המובילים במקום לרשום אוטומטית את התוצאה העליונה. המשתמשים יכולים ללחוץ על הזיהוי הנכון או להקליד את שם המזון. גישה שקופה זו מבטיחה שזיהויים עם ביטחון נמוך יתפסו ויתוקנו לפני שהם משפיעים על דיוק מעקב הקלוריות.
ההשפעה הקלורית של זיהוי שגוי
לא כל הזיהויים השגויים נחשבים שווים. בלבול בין קייל לתרד (דורג 14) משפיע על הקלוריות ב-5-15 קלוריות למנה, דבר שאינו משמעותי תזונתית. בלבול בין אורז כרובית לאורז לבן (דורג 3) או בין נודלס זוקיני לפסטה (דורג 9) יכול להכניס שגיאות של 150-200 קלוריות, דבר שיכול להשפיע משמעותית על תקציב הקלוריות היומי.
חישבנו את ההשפעה הקלורית המשוקללת של הזיהויים השגויים במערך הנתונים שלנו:
| טווח שגיאת קלוריות | % מכל הזיהויים השגויים | השפעה מעשית |
|---|---|---|
| פחות מ-25 קלוריות | 38.2% | זניח |
| 25-75 קלוריות | 29.6% | קל |
| 75-150 קלוריות | 19.7% | מתון, ניכר עם הזמן |
| 150-250 קלוריות | 9.1% | משמעותי, יכול להשפיע על מטרות יומיות |
| יותר מ-250 קלוריות | 3.4% | משמעותי, שווה לארוחה קטנה |
השגיאה הקלורית החציונית בכל הזיהויים השגויים הייתה 42 קלוריות, דבר שנמצא בטווח השגיאה עבור רוב מטרות מעקב התזונה. עם זאת, הזנב של התפלגות (12.5% מהזיהויים השגויים שמכניסים שגיאות של 150+ קלוריות) הוא המקום שבו זיהוי המזון בעזרת AI עדיין יכול להשתפר.
מה משתמשים יכולים לעשות כדי לשפר את דיוק ה-AI
צלמו תמונות ברורות ומוארות. ה-AI פועל הכי טוב עם תאורה טובה ונוף ברור מלמעלה של הצלחת. תמונות במסעדות בתאורה עמומה וזוויות קיצוניות מפחיתות את הדיוק בממוצע ב-6 נקודות אחוז.
הפרידו בין המרכיבים כשאפשר. אם לארוחה שלכם יש מרכיבים נפרדים (חלבון, דגן, ירקות), סידורם עם הפרדה נראית עוזר ל-AI לזהות כל פריט בנפרד במקום להתייחס לצלחת כמנה מעורבת אחת.
השתמשו בתכונת התיקון. כל תיקון שאתם עושים משפר את ה-AI עבורכם ועבור כל קהילת Nutrola. משתמשים שמתקנים זיהויים שגויים במהלך השבועיים הראשונים של השימוש רואים שיעורי דיוק גבוהים יותר ב-11% בטווח הארוך כי המודל לומד את דפוסי התזונה הספציפיים שלהם.
ציינו תחליפים. אם אתם אוכלים מזונות תחליפיים באופן קבוע (אורז כרובית, בשר מבוסס צמחים, אפשרויות ללא סוכר), ציינו זאת בהעדפות התזונה שלכם ב-Nutrola. ה-AI ישקל את החלופות הללו יותר בחיזוי שלו.
נסו תמונות מזוויות מרובות. עבור מנות מורכבות, תמונה שנייה מזווית שונה יכולה לפתור אי-ודאות. זה שימושי במיוחד עבור קערות, מרקים ומנות מעורבות שבהן מרכיבים מרכזיים עשויים להיות מוסתרים מתחת לקישוטים.
מבט קדימה
דיוק זיהוי המזון בעזרת AI השתפר באופן דרמטי במהלך שלוש השנים האחרונות, והכיוון לא מראה סימני האטה. מודל Snap & Track של Nutrola מעבד יותר תמונות מזון בכל חודש מאשר רוב מערכי הנתונים האקדמיים שפורסמו מכילים בסך הכל, וכל אינטראקציה עושה את המערכת חכמה יותר.
המטרה שלנו לסוף 2026 היא דיוק Top-1 של 90% בכל קטגוריות המזון ו-75% עבור 20 המזונות שהוזהו הכי שגוי כיום. עם שיפורים מתמשכים במודל, נתוני אימון מורחבים מהבסיס המשתמשים הגדל שלנו ב-50+ מדינות, ותכונות כמו זיהוי מזוויות מרובות ואותות הקשר, אנו מאמינים שהמטרות הללו ניתנות להשגה.
המטרה אינה להחליף את השיפוט האנושי לחלוטין. המטרה היא להפוך את רישום המזון למהיר ומדויק כל כך שהחיכוך של מעקב תזונה ייעלם למעשה. אנחנו עדיין לא שם, אבל 10 מיליון תמונות מאוחר יותר, אנחנו קרובים יותר באופן מדוד ממה שהיינו לפני שנה.
מוכנים לשנות את מעקב התזונה שלכם?
הצטרפו לאלפים ששינו את מסע הבריאות שלהם עם Nutrola!
