컴퓨터 비전이 음식을 인식하는 방법: AI 칼로리 추적 기술의 원리

스마트폰 카메라를 음식 접시에 갖다 대고 즉각적인 칼로리 분석 결과를 받을 때마다, 그 이면에서는 정교한 인공지능 프로세스의 연쇄 반응이 일어납니다. 간단한 터치 한 번처럼 느껴지는 이 과정에는 합성곱 신경망, 다중 레이블 이미지 분류, 그리고 수년간의 컴퓨터 비전 연구가 담겨 있습니다. 이 기술이 어떻게 작동하는지 이해하면, AI 기반 칼로리 추적이 왜 이토록 정확해졌는지, 그리고 왜 계속 발전하고 있는지를 설명할 수 있습니다.

이 글에서는 신경망의 기본 구성 요소부터 접시 위의 음식을 식별하는 구체적인 엔지니어링 과제에 이르기까지, 음식 인식 AI의 핵심 기술을 분석합니다.

컴퓨터 비전이란 무엇이며 영양 관리에 왜 중요한가?

컴퓨터 비전은 실제 세계의 시각적 정보를 기계가 해석하고 이해하도록 훈련시키는 인공지능의 한 분야입니다. 사람은 오트밀 한 그릇과 파스타 한 접시를 쉽게 구별하지만, 컴퓨터에 같은 능력을 가르치려면 수백만 장의 라벨링된 이미지를 처리하고 시각적 패턴의 수학적 모델을 구축해야 합니다.

영양 추적에서 컴퓨터 비전은 식이 자가 모니터링의 가장 큰 난제, 즉 수동 데이터 입력 문제를 해결합니다. Journal of the Academy of Nutrition and Dietetics에 발표된 연구에 따르면, 수동 식단 기록은 칼로리 섭취량을 10~45% 과소 보고하는 것으로 나타났습니다. 텍스트 입력을 사진 한 장으로 대체함으로써, 컴퓨터 비전은 대부분의 사람들이 처음 2주 안에 식단 추적을 포기하게 만드는 마찰을 제거합니다.

문제의 규모

음식 인식은 관련된 변수의 방대함 때문에 이미지 분류 분야에서 가장 어려운 과제 중 하나로 간주됩니다:

• 전 세계 요리를 포함하면 수천 가지의 서로 다른 음식이 존재합니다
• 같은 음식도 조리 방법에 따라 외관이 크게 달라질 수 있습니다
• 조명, 각도, 플레이팅 모두 외관에 영향을 미칩니다
• 하나의 접시에 여러 음식이 함께 담기는 경우가 많아 동시 식별이 필요합니다
• 1인분의 양은 깔끔한 범주로 나뉘지 않고 연속적으로 변합니다

이러한 어려움에도 불구하고, 현대의 음식 인식 시스템은 표준 벤치마크에서 상위 5개 정확도(top-5 accuracy) 90% 이상을 달성합니다. 이는 시스템의 상위 5개 추측 안에 정답 음식이 10번 중 9번 이상 포함된다는 의미입니다.

합성곱 신경망: 음식 인식의 기반

거의 모든 음식 인식 시스템의 핵심에는 합성곱 신경망(CNN)이라 불리는 딥러닝 아키텍처가 있습니다. CNN을 이해하는 것은 스마트폰이 사진을 보고 치킨 티카 마살라와 바스마티 라이스를 먹고 있다고 알려줄 수 있는 원리를 이해하는 열쇠입니다.

CNN이 이미지를 처리하는 방법

CNN은 점점 더 복잡한 시각적 특징을 감지하도록 설계된 일련의 레이어를 통해 이미지를 처리합니다:

레이어 1 - 엣지 감지: 첫 번째 합성곱 레이어는 단순한 엣지와 색상 그래디언트를 감지하는 법을 학습합니다. 그릇의 곡선 가장자리나 고기와 소스 사이의 경계를 인식할 수 있습니다.

레이어 2 - 텍스처 인식: 더 깊은 레이어는 엣지를 조합하여 텍스처를 만듭니다. 네트워크는 현미의 거친 질감과 백미의 매끄러운 표면을 구별하거나, 구운 치킨의 섬유질 텍스처와 프라이드 치킨의 윤기 나는 광택을 구별하기 시작합니다.

레이어 3 - 형태 및 패턴 인식: 상위 레이어는 텍스처를 인식 가능한 형태와 패턴으로 조합합니다. 특정 텍스처를 가진 원형 형태는 토르티야로 분류될 수 있고, 다른 텍스처를 가진 길쭉한 형태는 브레드스틱으로 분류됩니다.

레이어 4 - 객체 인식: 마지막 합성곱 레이어는 앞선 모든 정보를 결합하여 완전한 음식 항목을 인식합니다. 네트워크는 특정 색상, 텍스처, 형태, 맥락의 조합이 특정 음식에 해당한다는 것을 학습합니다.

풀링과 특징 맵의 역할

합성곱 레이어 사이에서 풀링 레이어는 가장 중요한 특징을 유지하면서 데이터의 공간적 차원을 축소합니다. 이는 두 가지 목적을 달성합니다: 연산을 관리 가능하게 만들고, 일정 수준의 이동 불변성(translational invariance)을 제공하여 음식이 프레임 내 어디에 있든 인식할 수 있게 합니다.

각 합성곱 레이어의 출력을 특징 맵(feature map)이라고 합니다. 초기 특징 맵은 엣지와 색상 같은 저수준 정보를 포착하고, 후기 특징 맵은 "이 영역에 스파게티가 있다"와 같은 고수준 개념을 인코딩합니다. 일반적인 음식 인식 모델은 각 레이어에서 수백 개의 특징 맵을 생성합니다.

음식 인식에 사용되는 주요 CNN 아키텍처

아키텍처	연도	핵심 혁신	음식 AI에서의 일반적 용도
AlexNet	2012	대규모 딥 CNN의 효과 입증	초기 음식 인식 연구
VGGNet	2014	깊이의 중요성 입증	음식 데이터셋의 특징 추출
GoogLeNet/Inception	2014	다중 스케일 처리	효율적인 모바일 음식 인식
ResNet	2015	매우 깊은 네트워크를 위한 잔차 연결	고정확도 음식 분류
EfficientNet	2019	깊이, 너비, 해상도의 균형 잡힌 스케일링	현대 모바일 음식 인식 앱
Vision Transformers	2020	이미지 패치에 대한 셀프 어텐션	최신 음식 인식 연구

분류에서 다중 레이블 감지로

초기 음식 인식 시스템은 과제를 단순한 분류 문제로 다루었습니다: 하나의 이미지가 주어지면 하나의 음식 라벨을 예측하는 방식이었습니다. 하지만 실제 식사는 그렇게 단순하지 않습니다. 일반적인 점심 식사에는 주요 단백질, 채소 반찬, 곡물, 소스가 한 접시에 담길 수 있습니다.

복잡한 접시를 위한 객체 감지

현대의 음식 인식 시스템은 단일 이미지 내에서 여러 음식 항목을 식별하고 위치를 파악할 수 있는 객체 감지 프레임워크를 사용합니다. 이러한 시스템은 각각의 개별 음식 항목 주위에 바운딩 박스를 그리고 독립적으로 분류합니다.

YOLO (You Only Look Once)와 Faster R-CNN 같은 아키텍처가 음식 감지에 적용되었습니다. 이 모델들은 이미지를 그리드로 나누고 음식 항목의 위치와 종류를 동시에 예측하여 모바일 기기에서 실시간 처리를 가능하게 합니다.

정밀한 경계를 위한 시맨틱 세그멘테이션

더 높은 정밀도를 위해 일부 시스템은 시맨틱 세그멘테이션을 사용합니다. 이는 이미지의 모든 픽셀을 특정 음식 카테고리에 속하는 것으로 분류합니다. 이 방법은 샐러드나 볶음 요리처럼 서로 다른 재료가 겹치고 섞이는 혼합 요리에 특히 유용합니다.

Nutrola의 Snap & Track 기능은 이러한 접근 방식의 조합을 사용합니다. 식사 사진을 찍으면 시스템이 먼저 개별 음식 영역을 감지한 다음 각각을 분류하고, 마지막으로 각 항목의 양을 추정합니다. 이 다단계 파이프라인 덕분에 시스템은 간단한 바나나 한 개부터 복잡한 여러 코스 식사까지 모든 것을 처리할 수 있습니다.

훈련 데이터: 정확한 음식 인식의 원동력

음식 인식 모델의 성능은 훈련에 사용된 데이터의 품질에 달려 있습니다. 고품질 음식 이미지 데이터셋을 구축하는 것은 음식 AI 개발에서 가장 어렵고 자원이 많이 드는 부분 중 하나입니다.

공개 벤치마크 데이터셋

여러 공개 데이터셋이 음식 인식 연구의 발전을 이끌어 왔습니다:

• Food-101: 101개 음식 카테고리에 걸쳐 101,000장의 이미지를 포함하며 벤치마크로 널리 사용됩니다
• ISIA Food-500: 500개 음식 카테고리와 400,000장의 이미지로 더 넓은 범위를 다룹니다
• UEC Food-256: 256개 카테고리의 일본 음식 데이터셋으로 아시아 요리 커버리지에 중요합니다
• Nutrition5k: 실험실 환경에서 정밀한 영양 측정값과 음식 이미지를 쌍으로 제공합니다

실제 세계의 다양성이라는 과제

공개 데이터셋은 연구에 유용하지만, 전 세계 사람들이 먹는 음식의 다양성을 완전히 대표하지는 못합니다. 주로 서양 요리로 훈련된 모델은 동남아시아 요리에서 어려움을 겪으며, 그 반대도 마찬가지입니다. 이것이 바로 프로덕션 음식 인식 시스템이 사용자 기반에서 수집한 독점 데이터로 공개 데이터셋을 보완하는 이유입니다.

Nutrola는 50개 이상의 국가에서 사용자들에게 서비스를 제공하고 있으며, 이는 시스템이 매일 엄청나게 다양한 요리를 접한다는 것을 의미합니다. 이 글로벌 사용자 기반은 모든 요리에 대한 모델의 인식 능력을 시간이 지남에 따라 개선하는 데 도움이 되는 실제 음식 이미지의 지속적인 흐름을 제공합니다.

데이터 증강 기법

훈련 데이터를 인위적으로 확장하고 모델의 견고성을 향상시키기 위해 엔지니어들은 다양한 데이터 증강 기법을 적용합니다:

• 회전 및 뒤집기: 모델이 어떤 각도에서든 음식을 인식하도록 보장합니다
• 색상 지터링: 다양한 조명 조건을 시뮬레이션합니다
• 랜덤 크롭: 모델이 음식의 부분적인 모습을 인식하도록 학습시킵니다
• Cutout과 Mixup: 모델이 단일 시각적 단서에 의존하지 않고 여러 판별 영역에 집중하도록 강제하는 고급 기법입니다

Nutrola의 Snap & Track 기술 작동 방식

Nutrola의 Snap & Track 기능은 이 모든 기술을 매끄러운 사용자 경험으로 통합합니다. 사진을 찍고 칼로리 분석 결과를 보기까지 약 2초 사이에 일어나는 과정은 다음과 같습니다:

1. 이미지 전처리: 사진이 신경망이 기대하는 형식으로 리사이징되고 정규화됩니다. 입력을 표준화하기 위해 조명 및 색상 보정이 적용됩니다.

2. 음식 감지: 객체 감지 모델이 이미지에서 개별 음식 영역을 식별하고 각각의 주위에 바운딩 박스를 그립니다.

3. 분류: 감지된 각 영역이 특정 음식 항목을 식별하는 분류 네트워크를 통과합니다. 시스템은 상위 후보와 신뢰도 점수를 고려합니다.

4. 1인분 추정: 별도의 모델이 시각적 단서와 참조 크기를 기반으로 식별된 각 음식 항목의 부피와 무게를 추정합니다 (이에 대한 자세한 내용은 1인분 크기 추정에 관한 관련 글에서 확인하실 수 있습니다).

5. 영양 조회: 식별된 음식과 추정된 양이 종합적인 영양 데이터베이스와 대조되어 칼로리, 다량영양소, 미량영양소가 계산됩니다.

6. 사용자 확인: 결과가 사용자에게 제시되며 사용자는 식별 결과를 확인하거나 수정할 수 있습니다. 이 피드백 루프는 모델을 지속적으로 개선합니다.

이 전체 파이프라인은 2초 이내에 실행되며, 검색창에 "구운 닭가슴살"을 입력하고 수십 개의 결과를 스크롤하는 것보다 빠릅니다.

음식 인식 AI의 과제

놀라운 발전에도 불구하고, 음식 인식 AI는 연구자와 엔지니어들이 적극적으로 해결하고자 하는 여러 과제에 여전히 직면해 있습니다.

시각적으로 유사한 음식

일부 음식은 사진에서 거의 동일하게 보이지만 영양 프로필이 매우 다릅니다. 백미와 꽃양배추 라이스, 일반 파스타와 통밀 파스타, 일반 치즈와 저지방 치즈 모두 칼로리와 다량영양소에서 크게 차이가 나는 시각적으로 유사한 음식의 예입니다.

현재 시스템은 맥락적 단서(접시에 다른 음식이 무엇인지), 사용자 이력(평소에 주로 먹는 것), 그리고 신뢰도가 낮을 때 사용자에게 확인을 요청하는 방법을 조합하여 이를 처리합니다.

혼합 및 다층 요리

부리토, 샌드위치, 또는 여러 층의 캐서롤은 근본적인 문제를 제기합니다: 대부분의 재료가 시야에서 가려져 있습니다. AI는 토르티야는 볼 수 있지만, 그 안의 콩, 치즈, 사워크림, 밥은 볼 수 없습니다.

이를 해결하기 위해 모델은 일반적인 요리의 전형적인 구성을 학습합니다. 시스템이 부리토를 식별하면, 보이는 외관과 일반적인 조리 방법을 기반으로 내부 재료를 추론할 수 있습니다. 그런 다음 사용자가 필요에 따라 특정 속재료를 조정할 수 있습니다.

조명 및 환경 조건

어두운 레스토랑 조명, 강한 플래시, 색이 입혀진 주변 조명 모두 음식의 외관에 영향을 미칠 수 있습니다. 노란 조명은 백미를 사프란 라이스처럼 보이게 만들 수 있고, 파란빛 조명은 붉은 고기를 갈색으로 보이게 만들 수 있습니다.

현대 시스템은 훈련 데이터 증강과 절대적인 색상 값보다 텍스처와 형태에 더 집중하는 색상 불변 특징을 구축하여 이를 해결합니다.

음식 인식 기술의 미래

음식 인식 AI는 빠르게 진화하고 있습니다. 여러 신흥 트렌드가 가까운 미래에 더욱 강력한 시스템의 등장을 예고합니다:

비디오 기반 인식: 단일 사진을 분석하는 대신, 미래의 시스템은 식사의 짧은 영상 클립을 분석하여 여러 각도를 포착하고 정확도를 향상시킬 수 있습니다.

증강 현실 오버레이: AR은 뷔페나 레스토랑 메뉴를 스캔할 때 실시간 영양 정보를 제공하여 식사 전에 정보에 기반한 선택을 하도록 도울 수 있습니다.

멀티모달 모델: 시각적 인식과 텍스트(메뉴, 재료 목록), 심지어 오디오("드레싱을 추가하셨나요?"라고 사용자에게 묻기)를 결합하여 더 완전한 식사 이해를 달성합니다.

온디바이스 처리: 모바일 프로세서가 더 강력해짐에 따라, 이미지를 서버로 전송하지 않고도 AI 처리의 더 많은 부분을 스마트폰에서 직접 수행할 수 있어 속도와 프라이버시가 향상됩니다.

재료 수준 인식: 요리 수준 분류를 넘어 개별 재료와 그 대략적인 양을 식별하여 더 정밀한 영양 계산을 가능하게 합니다.

정확도가 계속 향상되는 이유

음식 인식 AI의 가장 고무적인 측면 중 하나는 내장된 개선 메커니즘입니다. 사용자가 사진을 찍고 결과를 확인하거나 수정할 때마다 시스템은 라벨이 지정된 데이터 포인트를 얻습니다. 수백만 명의 사용자가 매일 식사를 기록하면서, Nutrola와 같은 프로덕션 시스템은 학술 연구가 따라올 수 없는 속도로 훈련 데이터를 축적합니다.

이는 선순환을 만들어냅니다: 더 나은 정확도는 더 많은 사용자를 유치하고, 더 많은 사용자는 더 많은 데이터를 생성하며, 더 많은 데이터는 더 나은 정확도를 가능하게 합니다. 이것이 바로 오늘날 경험하는 음식 인식이 불과 1년 전보다 훨씬 나아진 이유이며, 앞으로도 계속 개선될 것입니다.

FAQ

AI 음식 인식은 수동 기록에 비해 얼마나 정확한가요?

연구에 따르면 AI 음식 인식은 일반적인 음식에 대해 90% 이상의 정확도를 달성할 수 있으며, 이는 훈련된 영양사가 수동으로 1인분을 추정하는 정확도와 동등하거나 더 높은 수준입니다. 비전문가의 수동 기록은 일반적으로 칼로리 섭취량을 10~45% 과소 보고하므로, 대부분의 사람들에게 AI 보조 기록이 더 신뢰할 수 있습니다.

AI 음식 인식은 전 세계의 다양한 요리에도 작동하나요?

네, 다만 사용 가능한 훈련 데이터에 따라 요리별 정확도가 다릅니다. 50개 이상의 국가에서 글로벌 사용자 기반을 보유한 Nutrola와 같은 시스템은 전 세계 사용자로부터 더 많은 데이터를 수집함에 따라 다양한 요리의 인식 능력을 지속적으로 개선합니다. 훈련 데이터에 특정 요리가 많이 포함될수록 인식 정확도가 높아집니다.

음식 인식 AI는 오프라인에서도 작동하나요?

구현 방식에 따라 다릅니다. 일부 앱은 최적화된 모델을 사용하여 기기에서 직접 이미지를 처리하며 오프라인에서도 작동하지만 정확도가 다소 떨어질 수 있습니다. 다른 앱은 이미지를 클라우드 서버로 전송하여 처리하므로 인터넷 연결이 필요하지만 더 크고 정확한 모델을 사용할 수 있습니다. 많은 현대 앱은 하이브리드 방식을 사용하여 초기 인식은 기기에서 수행하고 클라우드 처리가 가능할 때 결과를 보정합니다.

AI는 레스토랑 음식과 다른 가정식을 어떻게 처리하나요?

현대 음식 인식 시스템은 레스토랑 음식과 가정식 이미지 모두로 훈련됩니다. 완성된 요리를 데이터베이스 항목과 매칭하려 하기보다 개별 구성 요소를 식별합니다. 따라서 집에서 만든 볶음 요리는 단일 메뉴 항목으로 매칭되는 대신 보이는 구성 요소(닭고기, 브로콜리, 밥, 소스)로 분해됩니다.

내 음식 사진 데이터는 안전하게 보호되나요?

개인정보 보호 정책은 앱마다 다릅니다. Nutrola는 사용자 프라이버시를 위해 노력하며 음식 이미지를 영양 분석 및 모델 개선 목적으로만 사용합니다. 이미지는 안전하게 처리되며 제3자와 공유되지 않습니다. 사용자는 데이터 처리 관행에 대한 전체 세부 사항을 개인정보 보호 정책에서 확인할 수 있습니다.

AI가 음식 식별을 잘못했을 때는 어떻게 되나요?

AI가 음식을 잘못 식별하면, 사용자는 목록에서 올바른 항목을 선택하거나 정확한 음식을 입력하여 결과를 수정할 수 있습니다. 이 수정은 시간이 지남에 따라 모델을 개선하는 데 도움이 되는 귀중한 훈련 데이터가 됩니다. 특정 음식에 대해 시스템이 더 많은 수정을 받을수록 해당 항목의 정확도가 더 빠르게 향상됩니다.