10백만 개의 음식 사진 분석: AI가 가장 많이 잘못 인식한 20가지 음식

AI 음식 인식의 데이터

AI 기반 음식 인식 기술은 영양 추적 방식을 혁신적으로 변화시켰습니다. 데이터베이스를 검색하고 양을 추측하는 대신, 사진을 찍고 컴퓨터 비전이 작업을 수행하도록 맡기면 됩니다. Nutrola의 Snap & Track 기능은 매달 수백만 개의 음식 이미지를 처리하며, 50개 이상의 국가에서 사용자들은 이를 주요 기록 방법으로 사용하고 있습니다.

하지만 AI 음식 인식은 완벽하지 않습니다. 일부 음식들은 가장 진보된 컴퓨터 비전 모델조차도 지속적으로 혼란스럽게 만듭니다. 이 기술이 뛰어난 점과 어려운 점을 이해하기 위해, 우리는 2025년 1월부터 2026년 1월까지 Nutrola의 Snap & Track 시스템을 통해 처리된 10백만 개의 음식 사진을 분석했습니다. AI의 인식 결과를 사용자 수정, 수동 검증, 영양사 리뷰와 비교하여 음식별 정확도 비율을 계산하고 잘못 인식되는 패턴을 파악했습니다.

그 결과는 이렇습니다.

방법론

우리의 분석에는 Nutrola 사용자들이 53개 국가에서 제출한 10,247,831개의 음식 사진이 포함되었습니다. 각 사진에 대해 다음을 추적했습니다:

• 초기 AI 인식: AI가 가장 높은 신뢰도로 인식한 음식
• 사용자 수정 비율: 사용자가 AI의 인식을 다른 음식으로 변경한 빈도
• 영양사 검증: 50,000개의 이미지를 무작위로 선정하여 자격을 갖춘 영양사들이 검토하여 사용자 수정과 무관한 정확도를 설정
• Top-1 정확도: AI의 가장 높은 신뢰도의 인식이 올바른지 여부
• Top-3 정확도: 올바른 음식이 AI의 세 가지 가장 높은 신뢰도 예측 중 하나에 포함되었는지 여부

전반적으로 Nutrola의 Snap & Track은 모든 음식 카테고리에서 87.3%의 Top-1 정확도와 94.1%의 Top-3 정확도를 달성했습니다. 이 수치는 Food-101 및 ISIA Food-500과 같은 표준 데이터셋에서 일반적으로 보고되는 최신 음식 인식 모델의 기준과 일치합니다.

하지만 음식 종류에 따라 정확도는 크게 달라집니다. 일부 카테고리는 95% 이상의 Top-1 정확도를 기록하는 반면, 다른 카테고리는 60% 이하로 떨어지기도 합니다.

가장 많이 잘못 인식된 20가지 음식

전체 순위

순위	음식	Top-1 정확도	Top-3 정확도	가장 흔한 잘못 인식	잘못 인식 시 칼로리 오차
1	쿠스쿠스	52.1%	71.4%	퀴노아, 불구르, 쌀	+/- 15-40 kcal per serving
2	그릭 요거트 (플레인)	55.8%	78.2%	사워크림, 라브네, 일반 요거트	+/- 30-80 kcal per serving
3	콜리플라워 라이스	57.3%	74.6%	흰 쌀, 쿠스쿠스	+110-150 kcal per serving
4	미소국	58.9%	76.1%	기타 육수 기반 수프, 다시	+/- 20-60 kcal per serving
5	플랫브레드 종류	59.4%	73.8%	난 vs 로티 vs 피타 vs 또르띠야	+/- 50-150 kcal per piece
6	아사이 볼	61.2%	79.5%	스무디 볼, 혼합 베리 볼	+/- 100-200 kcal per bowl
7	칠면조 베이컨	62.0%	80.1%	돼지고기 베이컨	+40-70 kcal per serving
8	템페	63.4%	77.9%	두부 (단단한), 세이탄	+/- 30-80 kcal per serving
9	호박 국수	64.1%	81.3%	일반 파스타, 유리 국수	+150-200 kcal per serving
10	바바 가누쉬	64.8%	79.7%	후무스	+30-60 kcal per serving
11	흰 생선 필레	65.2%	82.4%	닭 가슴살, 기타 흰 생선 종류	+/- 20-50 kcal per serving
12	단백질 팬케이크	66.1%	83.0%	일반 팬케이크	+80-150 kcal per serving
13	귀리 우유	67.3%	84.2%	일반 우유, 아몬드 우유, 콩 우유	+/- 30-80 kcal per cup
14	어두운 잎채소 (조리된)	67.9%	85.1%	시금치 vs 케일 vs 콜라드 vs 차드	+/- 5-15 kcal per serving
15	무설탕 디저트	68.4%	80.6%	같은 디저트의 일반 버전	+100-250 kcal per serving
16	곡물 볼	69.1%	83.7%	곡물 기본 유형의 잘못 인식	+/- 40-100 kcal per serving
17	식물성 고기	69.8%	84.9%	실제 고기 대체품	+/- 30-80 kcal per serving
18	만두	70.2%	85.6%	완탕 vs 교자 vs 피에로기 vs 모모	+/- 20-60 kcal per piece
19	혼합 카레 요리	70.5%	82.3%	카레 유형 및 기본 혼동	+/- 50-150 kcal per serving
20	오버나이트 오트	71.0%	86.2%	일반 오트밀, 치아 푸딩	+/- 50-120 kcal per serving

AI를 혼란스럽게 하는 이유: 다섯 가지 패턴

패턴 1: 칼로리 프로필이 다른 시각적 쌍둥이

가장 흔한 잘못 인식의 원인은 시각적으로 거의 동일하지만 영양 프로필이 크게 다른 음식들입니다. 쿠스쿠스와 퀴노아는 사진에서 거의 구별할 수 없으며, 특히 채소나 소스와 섞일 경우 더욱 그렇습니다. 그러나 퀴노아는 쿠스쿠스보다 20% 정도 더 많은 칼로리와 상당히 더 많은 단백질을 포함하고 있습니다.

마찬가지로, 콜리플라워 라이스와 흰 쌀은 사진에서 거의 동일한 시각적 특성을 가지지만 칼로리 차이는 엄청납니다: 콜리플라워 라이스는 컵당 약 25 kcal인 반면, 흰 쌀은 200 kcal 이상입니다. AI가 콜리플라워 라이스를 흰 쌀로 잘못 인식할 경우, 한 번의 사이드 디시에서 150칼로리 이상의 칼로리 로그가 부풀려질 수 있습니다.

그릭 요거트, 사워크림, 라브네는 또 다른 시각적 쌍둥이 그룹입니다. 세 가지 모두 흰색이고 크림 같은 질감을 가지며 일반적으로 그릇에 담아 제공됩니다. 전체 지방 그릭 요거트는 컵당 약 130 kcal를 포함하고, 사워크림은 약 445 kcal를 포함합니다. 여기서 잘못 인식이 발생하면 사용자의 일일 섭취 계산이 크게 왜곡될 수 있습니다.

패턴 2: 유사 음식의 지역적 변형

플랫브레드는 시각적으로 유사하지만 영양적으로는 뚜렷이 다른 음식들이 수십 가지 포함되어 있어 다섯 번째 순위를 차지했습니다. 일반 밀가루 또르띠야(약 120 kcal)는 사진에서 난(약 260 kcal)과 비슷하게 보이며, 특히 부분적으로 접히거나 말려 있을 때 더욱 그렇습니다. 로티(약 100 kcal)와 파라타(약 260 kcal, 기름/버터 층으로 인해)는 구별하기 어려운 모습이지만, 하나는 두 배 이상의 칼로리를 가지고 있습니다.

만두(18위)도 같은 문제를 안고 있습니다. 일본의 교자, 중국의 자오쯔, 폴란드의 피에로기, 네팔의 모모, 조지아의 킨칼리는 비슷한 형태(속이 있는 반죽)지만 크기, 반죽 두께, 속 재료 및 조리 방법(찜, 튀김, 삶기)에서 크게 다릅니다.

Nutrola의 장점은 50개 이상의 국가에서의 폭넓은 데이터입니다. AI 모델은 모든 주요 요리 전통의 음식 이미지로 훈련되어, 서구 음식 사진에 주로 훈련된 모델보다 더 넓은 시각적 어휘를 가지고 있습니다. 그럼에도 불구하고 카테고리 내 구별은 여전히 도전 과제가 됩니다.

패턴 3: 원본을 모방하는 대체 음식

식이 대체품의 증가는 새로운 인식 도전 과제를 만들어냈습니다. 칠면조 베이컨은 돼지고기 베이컨을 모방하고, 식물성 버거는 소고기 버거를 모방합니다. 호박 국수는 파스타를, 단백질 팬케이크는 일반 팬케이크를 모방합니다. 무설탕 디저트는 설탕이 포함된 버전을 모방합니다.

이러한 대체품은 의도적으로 원래의 음식처럼 보이도록 설계되었습니다. 이는 소비자 만족의 관점에서 전적으로 의미가 있지만, 시각 인식 시스템에는 근본적인 문제를 일으킵니다. 칼로리의 차이는 상당할 수 있습니다: 일반 팬케이크는 평균 175 kcal인 반면, 단백질 팬케이크는 일반적으로 90-110 kcal입니다. 호박 국수는 컵당 약 20 kcal를 포함하는 반면, 조리된 스파게티는 220 kcal입니다.

우리 데이터셋에서 대체 음식의 평균 Top-1 정확도는 66.7%였고, 비대체 음식은 89.2%였습니다. 이는 사용자 식이 선호도, 과거 기록 패턴과 같은 맥락 신호가 도움이 될 수 있는 영역이며, Nutrola의 AI는 이러한 신호를 포함하여 예측을 개선합니다.

패턴 4: 액체 및 반액체 음식

수프, 스무디 볼, 음료는 일반적으로 고형 음식보다 AI가 인식하기 더 어렵습니다. 미소국(4위)은 두부와 해조류 조각이 보이는 투명한 액체로, 다른 아시아 육수와 혼동될 수 있습니다. 아사이 볼(6위)은 다른 베리 스무디 볼과 시각적 특성을 공유하지만, 기본 혼합물과 토핑에 따라 칼로리 내용이 크게 달라집니다.

액체 음식의 문제는 중요한 영양 정보가 문자 그대로 보이지 않는다는 것입니다. 사진에서 동일하게 보이는 두 컵의 액체는 10 kcal(블랙 커피)에서 400 kcal(고칼로리 스무디)까지 다양할 수 있습니다. Nutrola는 액체 음식이 감지될 때 사용자에게 후속 질문을 통해 이를 해결합니다: "이것은 일반 버전인가요, 다이어트 버전인가요?" "어떤 브랜드인가요?"

패턴 5: 숨겨진 재료가 있는 혼합 요리

카레 요리(19위)와 곡물 볼(16위)은 영양적으로 중요한 재료가 보이지 않는 다중 구성 요리를 나타내는 더 넓은 도전 과제를 보여줍니다. 태국의 그린 카레는 코코넛 밀크(서빙당 200+ kcal 추가) 또는 가벼운 육수 베이스로 만들어질 수 있습니다. 곡물 볼의 칼로리 내용은 기본이 퀴노아, 흰 쌀, 현미 또는 파로인지에 따라 크게 달라지며, 이는 토핑에 의해 가려질 수 있습니다.

혼합 요리는 Nutrola 사용자가 기록한 모든 식사의 약 35%를 차지하지만, 칼로리 추정 오류의 52%를 차지합니다(정의된 오류는 요리의 실제 칼로리 내용의 15%를 초과하는 오류).

Nutrola의 정확도 개선 방법

반복적인 모델 훈련

Nutrola의 모든 사용자 수정은 AI 모델의 훈련 파이프라인에 피드백됩니다. 사용자가 "퀴노아"를 "쿠스쿠스"로 변경하면, 해당 수정과 원본 이미지가 훈련 데이터셋에 추가됩니다. 우리의 분석 기간 동안 이 지속적인 학습 과정은 전체 Top-1 정확도를 82.6%에서 87.3%로 개선하여 4.7% 포인트의 향상을 이루었습니다.

분기	Top-1 정확도	Top-3 정확도	평균 칼로리 오차
2025년 1분기	82.6%	90.3%	47 kcal
2025년 2분기	84.1%	91.8%	41 kcal
2025년 3분기	85.9%	93.2%	36 kcal
2025년 4분기	86.8%	93.9%	33 kcal
2026년 1분기 (부분)	87.3%	94.1%	31 kcal

맥락 신호

Nutrola의 AI는 단순히 음식만 인식하지 않습니다. 정확도를 개선하기 위해 맥락 신호를 통합합니다:

• 사용자 식이 프로필: 사용자가 식물성 식단을 따르겠다고 표시한 경우, 모델은 식물성 대체품(닭고기 대신 두부, 유제품 대신 귀리 우유, 소고기 대신 식물성 버거)의 신뢰도 점수를 높입니다.
• 식사 시간: 아침 이미지에는 아침 음식이 포함될 가능성이 더 높습니다. 이는 명백해 보이지만, 오버나이트 오트와 치아 푸딩과 같은 모호한 항목의 정확도를 의미 있게 개선합니다.
• 지리적 위치: 도쿄에서 찍은 사진은 미소국일 가능성이 높습니다. Nutrola는 50개 이상의 국가에서 사용자에게 서비스를 제공하며, 일반 위치 데이터를 사용하여 음식 인식 우선 순위를 조정합니다(사용자 허가 필요).
• 과거 기록 패턴: 사용자가 콜리플라워 라이스를 자주 기록하면, 모델은 이 사용자가 시각 입력이 모호할 때 흰 쌀보다 콜리플라워 라이스를 더 많이 먹을 가능성이 높다는 것을 학습합니다.

다중 이미지 인식

2025년, Nutrola는 동일한 식사의 여러 각도에서 사진을 찍는 기능을 도입했습니다. 복잡한 요리와 모호한 음식의 경우, 두 번째 각도가 인식의 불확실성을 해소할 수 있습니다. 테스트 결과, 다각도 인식은 가장 많이 잘못 인식된 20가지 음식의 Top-1 정확도를 8.2% 포인트 향상시켰습니다.

신뢰도 기준 및 사용자 프롬프트

AI의 신뢰도 점수가 75% 미만일 경우, Nutrola는 사용자가 상위 세 가지 후보를 제시받도록 합니다. 사용자는 올바른 인식을 탭하거나 음식 이름을 입력할 수 있습니다. 이러한 투명한 접근 방식은 신뢰도가 낮은 인식이 칼로리 추적 정확도에 영향을 미치기 전에 잡히고 수정될 수 있도록 합니다.

잘못 인식의 칼로리 영향

모든 잘못 인식이 동일하게 만들어지는 것은 아닙니다. 케일과 시금치를 혼동하는 것(14위)은 서빙당 5-15 kcal의 칼로리 영향을 미치며, 이는 영양적으로 무시할 수 있습니다. 콜리플라워 라이스와 흰 쌀(3위) 또는 호박 국수와 파스타(9위)를 혼동하는 것은 150-200 kcal의 오류를 초래할 수 있으며, 이는 일일 칼로리 예산에 의미 있는 영향을 미칠 수 있습니다.

우리는 데이터셋 전반에 걸쳐 잘못 인식의 가중 칼로리 영향을 계산했습니다:

칼로리 오류 범위	모든 잘못 인식의 %	실질적 영향
25 kcal 미만	38.2%	무시할 수 있음
25-75 kcal	29.6%	경미함
75-150 kcal	19.7%	중간, 시간이 지남에 따라 눈에 띔
150-250 kcal	9.1%	상당함, 일일 목표에 영향을 줄 수 있음
250 kcal 이상	3.4%	주요함, 작은 식사에 해당

모든 잘못 인식의 중앙값 칼로리 오류는 42 kcal로, 대부분의 영양 추적 목적에 대한 오차 범위 내에 있습니다. 그러나 분포의 꼬리(150 kcal 이상의 오류를 초래하는 12.5%의 잘못 인식)는 AI 음식 인식이 개선할 여지가 가장 큰 부분입니다.

사용자가 AI 정확도를 개선하기 위해 할 수 있는 일

1. 명확하고 잘 조명된 사진을 찍으세요. AI는 좋은 조명과 접시의 명확한 위에서의 뷰에서 가장 잘 작동합니다. 어두운 레스토랑 사진과 극단적인 각도는 평균 6% 포인트의 정확도를 감소시킵니다.

2. 가능한 경우 구성 요소를 분리하세요. 식사가 단백질, 곡물, 채소와 같은 뚜렷한 구성 요소를 가지고 있다면, 이를 명확하게 분리하여 배치하면 AI가 각 항목을 개별적으로 인식하는 데 도움이 됩니다.

3. 수정 기능을 사용하세요. 사용자가 하는 모든 수정은 AI를 개선하는 데 기여합니다. 사용자가 사용 초기 2주 이내에 잘못 인식을 수정하면, 모델이 특정 식이 패턴을 학습하기 때문에 장기적으로 11% 더 높은 정확도 비율을 보입니다.

4. 대체품을 명시하세요. 만약 자주 대체 음식을 섭취한다면(콜리플라워 라이스, 식물성 고기, 무설탕 옵션 등), 이를 Nutrola의 식이 선호도에 기록하세요. AI는 이러한 대체품을 예측에서 더 중시할 것입니다.

5. 다각도 사진을 시도하세요. 복잡한 요리의 경우, 다른 각도에서 두 번째 사진이 모호함을 해소할 수 있습니다. 이는 주요 재료가 토핑 아래 숨겨져 있을 수 있는 그릇, 수프 및 혼합 요리에 특히 유용합니다.

앞으로의 계획

AI 음식 인식의 정확도는 지난 3년 동안 극적으로 개선되었으며, 그 추세는 계속될 것으로 보입니다. Nutrola의 Snap & Track 모델은 매달 처리하는 음식 사진 수가 대부분의 발표된 학술 데이터셋의 총량보다 많으며, 모든 상호작용은 시스템을 더 스마트하게 만듭니다.

2026년 말까지의 목표는 모든 음식 카테고리에서 90%의 Top-1 정확도와 현재 가장 많이 잘못 인식된 20가지 음식에서 75%의 정확도를 달성하는 것입니다. 지속적인 모델 개선, 50개 이상의 국가에서 증가하는 사용자 기반의 훈련 데이터 확장, 다각도 인식 및 맥락 신호와 같은 기능을 통해 이러한 목표는 달성 가능하다고 믿습니다.

목표는 인간의 판단을 완전히 대체하는 것이 아닙니다. 영양 추적의 마찰을 효과적으로 없앨 만큼 빠르고 정확하게 음식 기록을 하는 것입니다. 아직 그 목표에 도달하지는 않았지만, 10백만 개의 사진을 처리한 지금, 우리는 작년보다 확실히 더 가까워졌습니다.