simkyuri/cafeteria-food-scanner-system

학식 스캐너 시스템 (Cafeteria Food Scanner System)

시스템 개요 (System Overview)

본 시스템은 대학교 학식 메뉴를 분석하기 위한 멀티모달 AI 애플리케이션이다.
단일 학식 이미지를 입력으로 받아 메뉴 분류, 이미지 캡션 생성, 유사 메뉴 검색, 그리고 사용자의 활동량을 고려한 칼로리 피드백을 제공한다.

사용 목적 (Intended Use)

본 시스템은 연구 목적을 위해 설계되었다.
학식 메뉴에 대한 이해를 돕기 위한 참고용 정보 제공을 목표로 하며,
제공되는 칼로리 정보는 추정값으로 의학적 또는 건강 진단 용도로는 사용해서는 안 된다.

수행 기능 및 역할 (Tasks and Capabilities)

• 학식 메뉴 이미지 분류 (ConvNeXt-Base)
• 텍스트–이미지 유사도 기반 유사 메뉴 검색 (CLIP)
• 이미지 기반 자연어 캡션 생성 (BLIP)
• 활동량 기반 칼로리 피드백 제공
• 식약처 및 국가표준식품성분 데이터베이스 기반 유사 음식 매칭을 활용한 1인분 칼로리 추정

사용된 모델 (Models Used)

• ConvNeXt-Base: 이미지 분류 모델
• CLIP: 텍스트–이미지 임베딩 및 유사도 검색
• BLIP: 이미지 캡션 생성

학습 세부 사항 (Training Details)

이미지 분류 모델은 직접 수집한 학식 이미지 데이터셋을 사용하여 학습되었다.
학습 과정에서 MixUp, CutMix, EMA 기법을 적용하여 모델의 일반화 성능을 향상시켰다.
또한 시각적으로 매우 유사한 메뉴들은 17개의 대분류로 병합하여 모델의 혼동을 줄였다.

데이터셋 (Dataset)

본 데이터셋은 웹 이미지 크롤링을 통해 수집되었다.
저작권 문제로 인해 데이터셋은 공개되지 않는다.

칼로리 추정 방식 (Calorie Estimation Method)

본 시스템의 칼로리 정보는 식약처 및 국가표준식품성분 데이터베이스에서 제공하는 유사 음식의 1인분 열량 정보를 기반으로 산출된다. 학식 메뉴와 가장 시각적·구성적으로 유사한 음식 항목을 매칭한 뒤, 해당 음식의 1인분 열량을 학식 메뉴의 칼로리로 근사 추정한다. 이는 실제 학식 레시피 정보를 알기 어려운 환경에서 현실적인 기준 값을 제공하기 위한 방식이다.

데모 (Demo)

본 시스템의 웹 기반 데모는 아래 Hugging Face Spaces에서 확인할 수 있다.
👉 https://huggingface.co/spaces/simkyuri/cafeteria-menu-classifier

한계점 (Limitations)

• 칼로리 정보는 실제 조리법이 아닌 유사 음식의 공공 데이터 기반 추정값으로, 실제 수치와 차이가 있을 수 있다.
• 시각적으로 매우 모호한 메뉴에 대해서는 성능이 저하될 수 있다.
• 정밀 영양 분석 기능은 포함하지 않는다.

윤리적 고려사항 (Ethical Considerations)

본 시스템은 개인 정보를 수집하지 않는다.
출력 결과는 참고용 정보이며, 의료적 또는 식이 관련 의사결정에 사용되어서는 안 된다.