Vitenskapen Bak AI Oppskriftsutvinning: Hvordan NLP og Datavisjon Leser Matlagingsvideoer

Matlagingsvideoer har blitt den dominerende formen for å dele oppskrifter. Bare på YouTube er det over 1 milliard visninger av matlagingsvideoer hver måned, TikTok genererer titalls milliarder visninger årlig for matinnhold, og Instagram Reels har gjort hver hjemmebaker til en potensiell innholdsskaper. Likevel eksisterer det en vedvarende kløft mellom å se en oppskrift og å vite hva den faktisk inneholder av næringsstoffer.

For å bygge bro over denne kløften kreves en flertrinns AI-prosess som kombinerer automatisk talegjenkjenning, optisk tegngjenkjenning, datavisjon og naturlig språkbehandling. Denne artikkelen bryter ned hvert trinn i den tekniske prosessen, forklarer modellene og forskningen som gjør dette mulig, og undersøker hvordan disse teknologiene konvergerer for å transformere en matlagingsvideo til strukturerte ernæringsdata.

Problemet med Oppskriftsutvinning: Hvorfor Videoer Er Utfordrende

Tekstoppkrifter på nettsteder er relativt enkle å analysere. De følger forutsigbare strukturer med ingredienslister, mengder og trinn-for-trinn-instruksjoner. HTML-markup og schema.org oppskriftsannotasjoner gir ekstra maskinlesbar struktur.

Matlagingsvideoer presenterer en fundamentalt annen utfordring. Oppskriftsinformasjonen er fordelt over flere modaliteter samtidig:

• Talt narrasjon beskriver ingredienser, mengder og teknikker
• Tekst på skjermen viser ingredienslister, temperaturer og tidspunkter
• Visuelt innhold viser ingredienser som tilsettes, blandes og transformeres
• Implicit kunnskap forutsetter at seerne forstår usagte trinn som å forvarme ovnen eller skylle ris

Ingen enkelt modalitet inneholder den komplette oppskriften. En skaper kan si "tilsett litt olivenolje" mens skjermen viser en synlig helling som antyder omtrent to spiseskjeer, og senere vises teksten "2 ss olivenolje." Å hente den komplette oppskriften krever å flette informasjon fra alle disse kildene og løse konflikter mellom dem.

Den Flermodalitets Utvinningsprosessen

Den komplette prosessen fra rå video til strukturerte ernæringsdata involverer fem hovedtrinn:

Trinn	Inndata	Teknologi	Utdata
1. Lydutvinning	Videofil	ASR (Whisper)	Tidsstemplet transkripsjon
2. Visuell Tekstutvinning	Videorammer	OCR (PaddleOCR, EasyOCR)	Tekst på skjermen med tidsstempler
3. Visuell Ingrediensgjenkjenning	Videorammer	CNN/Vision Transformers (CLIP, ViT)	Identifiserte ingredienser og handlinger
4. NLP Parsing og Fletting	Transkripsjon + OCR + visuelle data	Transformer-modeller (BERT, LLMs)	Strukturert oppskrift med mengder
5. Ernæringsdatabase Matching	Strukturert oppskrift	Usikker matching + databaseoppslag	Fullstendig ernæringsanalyse

Hvert trinn presenterer distinkte tekniske utfordringer og bygger på ulike områder innen maskinlæring.

Trinn 1: Automatisk Talegjenkjenning for Oppskriftsnarrasjon

Det første trinnet i å hente en oppskrift fra en matlagingsvideo er å konvertere den talte narrasjonen til tekst. Dette er domenet for automatisk talegjenkjenning, eller ASR.

Whisper-revolusjonen

OpenAIs Whisper-modell, introdusert i en artikkel fra 2022 av Radford et al., endret fundamentalt landskapet for tale-til-tekst i oppskriftsutvinning. Trenet på 680 000 timer med flerspråklige og multitask-superviserte data samlet fra nettet, oppnådde Whisper nesten menneskelig transkripsjonsnøyaktighet på tvers av et bredt spekter av lydforhold.

Det som gjør Whisper spesielt verdifull for transkripsjon av matlagingsvideoer:

Støyrobusthet. Kjøkkenmiljøer er støyende. Sprutende panner, rennende vann, hakkelyder og bakgrunnsmusikk konkurrerer alle med fortellerens stemme. Whispers trening på varierte lydforhold gjør at den håndterer disse overlappende lydkildene bedre enn tidligere ASR-modeller.

Flerspråklig kapasitet. Matlagingsvideoer produseres på praktisk talt alle språk. Whisper støtter transkripsjon på 915 språk og kan oversette til engelsk, noe som muliggjør oppskriftsutvinning fra innhold uavhengig av originalspråket.

Interpunktion og formatering. I motsetning til tidligere ASR-systemer som produserte flate tekststrømmer, genererer Whisper punkterte, formaterte transkripsjoner som bevarer setningsgrenser. Denne strukturen er kritisk for videre NLP-parsing.

Ord-nivå tidsstempler. Whisper kan produsere tidsstempler på ordnivå, noe som muliggjør presis tilpasning mellom hva som blir sagt og hva som vises på skjermen til enhver tid.

Utfordringer Spesifik for Matlagingsnarrasjon

Selv med Whispers kapabiliteter, presenterer matlagingsvideoer ASR-utfordringer som ikke forekommer i standard talegjenkjenningsbenchmark:

Domenespesifikt vokabular. Ingrediensnavn spenner over tusenvis av elementer fra globale kjøkken. Termer som "gochujang," "za'atar," "tahini," eller "panko" dukker kanskje ikke ofte opp i generell treningsdata. Spesialiserte matvokabularmodeller eller etterbehandlingsordbøker er nødvendige for å korrigere systematiske misgjenkjennelser.

Mengdeambiguitet. Talt mengder er ofte upresise. "En god mengde salt," "et sprut av eddik," eller "omtrent så mye mel" krever kontekstuell tolkning som går utover transkripsjon.

Språkbytte. Mange matlagingsskapere veksler mellom språk, bruker engelsk for generell narrasjon, men sitt morsmål for rettenavn eller tradisjonelle teknikker. Flerspråklig ASR må håndtere disse overgangene elegant.

Ikke-verbal kommunikasjon. En skaper kan gestikulere mot en ingrediens uten å navngi den, eller si "dette" mens de holder opp en flaske. Disse deiktiske referansene krever tverrmodal oppløsning med det visuelle strømmen.

Etterbehandling av Transkripsjonen

Rå ASR-utdata krever flere etterbehandlingssteg før de er nyttige for oppskriftsutvinning:

1. Korrigering av matentiteter bruker en domenespesifikk ordbok for å fikse vanlige misgjenkjennelser (f.eks. "spisskummen" misforstått som "komme")
2. Normalisering av mengder konverterer talte tall og brøker til standardiserte numeriske formater
3. Segmentering deler den kontinuerlige transkripsjonen inn i logiske oppskriftstrinn basert på tidsmessige pauser, overgangsfraser og handlingsverbgrenser
4. Konfidensfiltrering identifiserer og flagger lavkonfidenssegmenter for potensiell tverrmodal verifisering

Trinn 2: Optisk Tegngjenkjenning for Tekst på Skjermen

Mange matlagingsvideoer viser ingredienslister, målinger, temperaturer og instruksjoner som tekstoverlegg på skjermen. Denne teksten er ofte mer presis enn den talte narrasjonen og følger mer standardisert formatering.

Hvordan OCR Fungerer på Videorammer

Å hente tekst fra videorammer involverer to deloppgaver: tekstdeteksjon (finne hvor teksten vises i rammen) og tekstgjenkjenning (lese hva teksten sier).

Tekstdeteksjon lokaliserer områder i bildet som inneholder tekst. Moderne detektorer som CRAFT (Character Region Awareness for Text Detection) og DBNet (Differentiable Binarization Network) kan identifisere tekst uavhengig av orientering, størrelse eller bakgrunnskompleksitet. Disse modellene gir ut bounding boxes eller polygoner rundt tekstområder.

Tekstgjenkjenning konverterer de oppdagede tekstområdene til tegnstrenger. Arkitekturer basert på konvolusjonelle og rekursive nevrale nettverk, ofte med CTC (Connectionist Temporal Classification) dekoding, behandler de beskarne tekstområdene og gir ut tegnsekvenser. Nyere tilnærminger bruker transformer-baserte arkitekturer for forbedret nøyaktighet på stiliserte skrifttyper.

De Unike Utfordringene med OCR i Matlagingsvideoer

Tekst på skjermen i matlagingsvideoer skiller seg betydelig fra dokumentteksten som de fleste OCR-systemer er optimalisert for:

Animerte tekstoverlegg. Tekst animeres ofte inn og ut, noe som krever tidsmessig aggregasjon over flere rammer for å fange den komplette teksten. En glidende animasjon kan avsløre teksten tegn for tegn over flere rammer.

Dekorative skrifttyper. Matinnholdsskapere bruker ofte stiliserte, håndskrevne eller dekorative skrifttyper som skiller seg fra de rene skrifttypene i standard OCR-treningsdata. Finjustering på matspesifikke skrifttypedata forbedrer gjenkjenningsratene.

Komplekse bakgrunner. Tekst er ofte overlagt på travle visuelle bakgrunner som viser mat, kjøkken og hender. Høy kontrast mellom tekst og bakgrunn kan ikke antas. Deteksjon av tekststrok, skygge og bakgrunnsuskarphet hjelper med å isolere tekstlaget.

Flerspråklige og blandede skrifter. En enkelt ramme kan inneholde tekst i flere skrifter, som engelske målinger sammen med japanske rettenavn. Flerskrift OCR-modeller eller skriftdeteksjon etterfulgt av språkspesifikke gjenkjenningsprosesser håndterer denne variasjonen.

Tidsmessig Deduplication og Aggregasjon

Fordi videorammer samples flere ganger per sekund, vil den samme teksten på skjermen bli oppdaget over mange påfølgende rammer. OCR-prosessen må:

1. Sample rammer med en passende frekvens (typisk 1 til 2 rammer per sekund for tekstdeteksjon)
2. Spore tekstområder over rammer for å identifisere vedvarende versus forbigående tekst
3. Deduplicere gjentatte oppdagelser av den samme teksten
4. Slå sammen delvise oppdagelser fra animerte tekstavsløringer
5. Knytte hvert textelement til sitt tidsvindu for senere fletting med lyd- og visuelle data

Utdataene fra dette trinnet er en tidsstemplet liste over tekstelementer på skjermen, hver assosiert med sin varighet av synlighet og romlig posisjon i rammen.

Trinn 3: Visuell Ingrediensgjenkjenning med Datavisjon

Utover tekst inneholder det visuelle innholdet i en matlagingsvideo rik informasjon om ingredienser, mengder og tilberedningsmetoder. Datavisjonsmodeller kan identifisere ingredienser etter hvert som de vises, estimere mengder fra visuelle hint, og gjenkjenne matlagingshandlinger.

Ingrediensgjenkjenning med Vision Transformers og CLIP

Moderne visuell ingrediensgjenkjenning bygger på to viktige fremskritt: Vision Transformers (ViT) og kontrastiv språk-bilde forhåndstrening (CLIP).

Vision Transformers, introdusert av Dosovitskiy et al. i 2020, anvender transformerarkitekturen på bildegjenkjenning. I stedet for å bruke konvolusjonslag, deler ViT et bilde opp i lapper og behandler dem som en sekvens, på samme måte som transformere behandler ord i en setning. Denne tilnærmingen har vist seg å være spesielt effektiv for finjustert visuell gjenkjennelse, som ingrediensidentifikasjon, hvor subtile forskjeller i farge, tekstur og form skiller lignende elementer.

CLIP, utviklet av Radford et al. hos OpenAI i 2021, lærer visuelle konsepter fra naturlig språktilsyn. Trenet på 400 millioner bilde-tekst-par, kan CLIP gjenkjenne objekter beskrevet i tekst uten å ha blitt eksplisitt trent på merkede eksempler av disse objektene. For ingrediensgjenkjenning betyr dette at et CLIP-basert system kan identifisere en ingrediens selv om den ikke var i treningssettet, så lenge den kan matche det visuelle utseendet med en tekstbeskrivelse.

Den praktiske fordelen med CLIP for oppskriftsutvinning er dens null-shot og few-shot kapasitet. Mat spenner over et enormt mangfold av ingredienser, tilberedninger og kulturelle presentasjoner. En tradisjonell klassifiseringsmodell ville trenge merkede trenings-eksempler for hver ingrediens i hver tilberedningstilstand. CLIP kan generalisere fra sin brede forhåndstrening for å gjenkjenne nye ingredienser beskrevet i tekstform.

Gjenkjenning av Matlagingshandlinger

Å identifisere hvilke handlinger som utføres er like viktig som å identifisere ingrediensene selv. Handlingsgjenkjenning forteller systemet om en ingrediens blir hakket, sautert, blandet eller bakt, noe som direkte påvirker det endelige ernæringsinnholdet.

Forskning innen videohandlingsgjenkjenning har produsert modeller som analyserer tidssekvenser av rammer for å klassifisere handlinger. Tilnærminger som SlowFast-nettverk (Feichtenhofer et al., 2019) behandler video på to tidsmessige oppløsninger samtidig: en langsom bane fanger romlig detalj mens en rask bane fanger bevegelse. Anvendt på matlagingsvideoer kan disse modellene skille mellom omrøring, pisking, bretting og elting, hver av dem har forskjellige implikasjoner for oppskriftstrukturen.

Datasett som Food-101 og Recipe1M+ (Marin et al., 2019) har vært avgjørende for trening og evaluering av matspesifikke datavisjonsmodeller. Recipe1M+ inneholder over 1 million matlagingsoppskrifter med 13 millioner matbilder, noe som gir skalaen som trengs for å trene modeller som generaliserer på tvers av kjøkken og tilberedningsstiler.

Visuell Mengdeestimering

En av de mest utfordrende aspektene ved visuell oppskriftsutvinning er å estimere ingrediensmengder fra video. Når en skaper heller olje i en panne eller skjeer mel i en bolle, inneholder den visuelle informasjonen hint om mengden, men å oversette disse hintene til presise målinger krever sofistikert romlig resonnement.

Nåværende tilnærminger kombinerer:

• Referanseobjekt skalering: Bruk av kjente objekter i rammen (standard gryter, målekopper, skjærebrett) for å etablere en skala referanse
• Volumestimering fra hellingsdynamikk: Analyse av varighet og strømningshastighet av hellte væsker for å estimere volum
• Dybdeestimering: Monokulære dybdeestimeringsmodeller som MiDaS (Ranftl et al., 2020) kan estimere dybden på ingredienser i beholdere, noe som hjelper med å estimere volum fra et 2D-bilde
• Sammenlignende læring: Modeller trent på parrede bilder av kjente mengder lærer å estimere mengder ved visuell sammenligning

Visuell mengdeestimering er fortsatt mindre presis enn eksplisitte målinger fra tale eller tekst, og oppnår vanligvis nøyaktighet innen 20 til 30 prosent. Imidlertid gir det en nyttig kryssjekk og fyller hull når mengder ikke er angitt eksplisitt.

Trinn 4: Naturlig Språkbehandling for Oppskriftsparsing og Fletting

Med transkripsjoner, tekst på skjermen og visuelle annotasjoner i hånden, står NLP-trinnet overfor oppgaven med å flette disse multimodale signalene til en enkelt, sammenhengende, strukturert oppskrift.

Navngitt Entitetsgjenkjenning for Mat

Den første NLP-oppgaven er å identifisere matrelaterte entiteter i transkripsjonen og OCR-teksten. Dette er en spesialisert form for navngitt entitetsgjenkjenning (NER) som må identifisere:

• Ingredienser: "kyllingbryst," "ekstra jomfru olivenolje," "kosher salt"
• Mengder: "to kopper," "350 gram," "et klype"
• Enheter: "spiseskjeer," "milliliter," "medium størrelse"
• Tilberedningsmodifikatorer: "ternet," "hakket," "romtemperatur"
• Matlagingshandlinger: "sauter," "bak ved 375," "simmer i 20 minutter"
• Utstyr: "støpejernspanne," "stativmikser," "steikebrett"

Transformer-baserte NER-modeller finjustert på matkorpora oppnår F1-poeng over 90 prosent på standard mat NER-benchmark. FoodBase-korpuset (Popovski et al., 2019) og TASTEset-datasettet gir annotert mattekst spesifikt for trening av disse modellene.

Avhengighetsparsing for Ingrediens-Mengde Assosiasjon

Å identifisere entiteter alene er ikke tilstrekkelig. Systemet må bestemme hvilke mengder som tilhører hvilke ingredienser. I setningen "Tilsett to kopper mel og en teskje salt," må systemet korrekt knytte "to kopper" til "mel" og "en teskje" til "salt."

Dette krever avhengighetsparsing, som analyserer den grammatiske strukturen i setninger for å identifisere forholdet mellom ord. Moderne avhengighetsparsers basert på BERT-arkitekturen (Devlin et al., 2019) håndterer den syntaktiske kompleksiteten i matlagingsinstruksjoner, inkludert sammensatte ingredienser som "ferskpresset sitronsaft" og nestede modifikatorer som "en 14-unse boks med terninger av ildstekte tomater."

Tverrmodal Fletting: Løse Konflikter og Fylle Hull

Det mest teknisk utfordrende aspektet ved NLP-trinnet er å flette informasjon fra alle tre modalitetene (lyd, tekst, visuell) til en enkelt konsistent oppskrift. Denne flettingen må håndtere:

Enighet forsterkning. Når transkripsjonen sier "to spiseskjeer soyasaus," viser teksten på skjermen "2 ss soyasaus," og den visuelle strømmen viser en mørk væske som helles, er alle tre kilder enige, og systemet har høy tillit.

Konfliktløsning. Når transkripsjonen sier "en kopp sukker" men teksten på skjermen sier "3/4 kopp sukker," må systemet bestemme hvilken kilde det skal stole på. Generelt prioriteres teksten på skjermen for presise målinger fordi skapere vanligvis legger til tekstoverlegg som korreksjoner eller avklaringer til narrasjonen.

Hullfylling. Når fortelleren sier "krydre etter smak" uten å spesifisere mengder, kan systemet bruke visuell estimering av krydderhandlingen kombinert med databasekunnskap om typiske kryddermengder for rettetypen for å utlede rimelige verdier.

Tidsmessig tilpasning. Å matche informasjon på tvers av modaliteter krever tidsmessig tilpasning. En talt ingrediensreferanse ved tidsstempel 2:34 bør matches med teksten på skjermen synlig fra 2:30 til 2:40 og visuell ingrediensgjenkjenning fra samme tidsvindu. Dynamisk tidskrig og oppmerksomhetsbaserte tilpasningsmekanismer håndterer den unøyaktige synkroniseringen mellom tale, tekst og visuelle hendelser.

Store Språkmodeller for Oppskriftsstrukturering

Nylige fremskritt innen store språkmodeller (LLMs) har introdusert en kraftig ny tilnærming til oppskriftsstrukturering. I stedet for å bygge separate modeller for NER, avhengighetsparsing og fletting, kan en LLM prosessere den kombinerte transkripsjonen og OCR-utdataene og generere en strukturert oppskrift i ett enkelt pass.

Modellen mottar en prompt som inneholder transkripsjonen, OCR-teksten og beskrivelser av visuelle observasjoner, sammen med instruksjoner om å gi ut en strukturert oppskrift i et definert format. LLM-er er dyktige i denne oppgaven fordi de koder omfattende verdenskunnskap om matlaging, inkludert typiske ingrediensmengder, vanlige ingredienskombinasjoner og standard tilberedningsteknikker.

Denne tilnærmingen har flere fordeler:

• Den håndterer tvetydighet naturlig ved å trekke på verdenskunnskap
• Den løser medreferanser (f.eks. å forstå at "det" i "rør det av og til" refererer til sausen nevnt tre setninger tidligere)
• Den kan utlede usagte trinn basert på matlagingskunnskap
• Den normaliserer ingrediensnavn til kanoniske former som er egnet for databaseoppslag

Den primære begrensningen er at LLM-utdata krever validering. Hallusinasjon, der modellen genererer plausible, men feilaktige opplysninger, må beskyttes mot ved å kryssreferere med kildemodalitetene og ernæringsdatabasens begrensninger.

Trinn 5: Matching og Beregning av Ernæringsdatabase

Det siste trinnet transformerer den strukturerte oppskriften til en komplett ernæringsanalyse. Dette krever at hver hentet ingrediens matches med en post i en omfattende ernæringsdatabase og beregner næringsverdiene per porsjon.

Matching Utfordringen

Ingrediensnavn hentet fra matlagingsvideoer matcher sjelden databaseoppføringer nøyaktig. En video kan referere til "en stor håndfull babyspinat" mens databasen inneholder oppføringer for "spinat, rå" målt i gram. Matchingsystemet må håndtere:

• Synonymoppløsning: "koriander" og "korianderblader" er den samme ingrediensen
• Tilberedningstilstand mapping: "ristede mandler" har en annen ernæringsprofil enn "rå mandler"
• Merke- og variasjonsnormalisering: "Barilla penne" matches til "pasta, penne, tørr" med merke-spesifikke justeringer
• Uformell til teknisk oversettelse: "en smørklatt" matches til "smør, saltet, 113g"
• Enhetskonvertering: "en kopp mel" må konverteres til gram ved hjelp av ingrediensspesifikke tetthetsverdier, siden en kopp mel veier omtrent 120g mens en kopp sukker veier omtrent 200g

Usikre strenge matching-algoritmer som Levenshtein-avstand og TF-IDF kosinuslikhet gir grunnleggende matching. Mer avanserte tilnærminger bruker embedding-basert likhet, hvor både den hentede ingrediensteksten og databaseoppføringene kodes inn i vektorrepresentasjoner ved hjelp av modeller som Sentence-BERT (Reimers og Gurevych, 2019), og den nærmeste matchen i embedding-rommet velges.

Ernæringsdatabaser og Deres Dekning

Flere store ernæringsdatabaser fungerer som grunnlag for ernæringsberegninger:

Database	Dekning	Vedlikeholdt Av	Nøkkelstyrke
USDA FoodData Central	370 000+ matvarer	U.S. Department of Agriculture	Omfattende næringsprofiler
Open Food Facts	3 000 000+ produkter	Fellesskapsbidragsytere	Global dekning av pakket mat
COFID (McCance og Widdowson's)	3 000+ matvarer	UK Food Standards Agency	UK-spesifikke matkomposisjoner
Australian Food Composition Database	2 500+ matvarer	Food Standards Australia New Zealand	Regional matdekning

Et robust oppskriftsutvinningssystem forespør flere databaser og anvender konfidensveid gjennomsnitt når oppføringene varierer. For matvarer som ikke finnes i standarddatabaser, kan systemet estimere ernæringsinnhold ved å dekomponere maten til dens bestanddeler og summere deres individuelle bidrag.

Håndtering av Matlagingsforvandlinger

En kritisk nyanse som skiller nøyaktig fra omtrentlig ernæringsberegning er å ta hensyn til matlagingsforvandlinger. Når mat tilberedes, endres dens ernæringsinnhold:

• Vann tap: Kjøtt mister 20 til 35 prosent av vekten under tilberedning, noe som konsentrerer næringsstoffene per gram av den tilberedte maten
• Fettabsorpsjon: Friterte matvarer absorberer matolje, noe som legger til kalorier som ikke er en del av den rå ingrediensen
• Næringsnedbrytning: Varmefølsomme vitaminer som vitamin C og B-vitaminer brytes ned under matlaging
• Stivelsegelatinisering: Matlaging endrer glykemisk indeks for stivelsesholdige matvarer
• Fettutdrivning: Matlaging av fete kjøttstykker får fettet til å smelte, noe som reduserer kaloriinnholdet i den spiste porsjonen

USDA gir bevaringsfaktorer for vanlige næringsstoffer på tvers av forskjellige matlagingsmetoder. Å anvende disse faktorene på de rå ingrediensers ernæringsverdier gir et mer nøyaktig estimat av den endelige tilberedte retten.

Nutrola's ernæringsmotor inkorporerer disse matlagingsforvandlingsmodellene, og justerer verdiene i den rå ingrediensdatabasen basert på de matlagingsmetodene som ble identifisert under videoanalysen. Når systemet oppdager at kylling blir grillet i stedet for stekt, anvender det de riktige fuktighetstap- og fettbevaringsfaktorene for å produsere et nøyaktig kaloriestimat for den ferdige retten.

Hvordan Nutrola Implementerer Denne Prosessen

Nutrola bringer denne flertrinns tekniske prosessen inn i en praktisk brukeropplevelse. Når en bruker deler en matlagingsvideo eller limer inn en lenke til en oppskriftsvideo, prosesserer Nutrolas backend videoen gjennom utvinningsprosessen beskrevet ovenfor og returnerer en strukturert oppskrift med fullstendige ernæringsdata.

Den praktiske implementeringen involverer flere ingeniørbeslutninger som balanserer nøyaktighet, hastighet og brukeropplevelse:

Selektiv rammesampling. I stedet for å prosessere hver ramme, identifiserer Nutrolas system nøkkelrammer der betydelige visuelle endringer skjer, som nye ingredienser som dukker opp, matlagingshandlinger som endres, eller tekst på skjermen som oppdateres. Dette reduserer beregningskostnadene med 80 til 90 prosent samtidig som relevant visuell informasjon fanges.

Konfidensvurdering. Hvert hentede element bærer en konfidensscore avledet fra enigheten på tvers av modaliteter. Ingredienser bekreftet av tale, tekst og visuell gjenkjenning får høy konfidens. Ingredienser som kun er oppdaget av én modalitet flagges for brukerverifisering.

Brukerkorreksjonsløkke. Når systemet er usikkert på en ingrediens eller mengde, presenterer det sitt beste estimat for brukeren med mulighet for å korrigere. Disse korrigeringene mates tilbake til modellen, og forbedrer utvinningsnøyaktigheten over tid gjennom en menneskelig-in-loop læringsprosess.

Database-støttet validering. Hentede oppskrifter valideres mot ernæringsmessige plausibilitetsbegrensninger. Hvis systemet henter en mengde som ville resultere i en usannsynlig høy eller lav kaloritelling for rettetypen, flagger det utvinningen for gjennomgang.

Denne tilnærmingen transformerer den passive opplevelsen av å se en matlagingsvideo til handlingsdyktige ernæringsdata som integreres direkte i en brukers daglige sporing. I stedet for å manuelt søke etter hver ingrediens og estimere porsjoner, mottar brukerne en komplett ernæringsanalyse hentet direkte fra videoinnholdet.

Forskningsfronten: Hva Kommer Neste

Feltet for multimodal oppskriftsutvinning utvikler seg raskt. Flere forskningsretninger lover å ytterligere forbedre nøyaktighet og kapasitet.

End-to-End Multimodale Modeller

Nåværende prosesser behandler hver modalitet separat før de flettes. Fremvoksende multimodale arkitekturer prosesserer video, lyd og tekst samtidig i en enkelt modell. Googles Gemini og lignende multimodale grunnmodeller kan ta inn video direkte og resonnere på tvers av modaliteter uten eksplisitte mellomliggende representasjoner. Disse modellene lover enklere prosesser og bedre tverrmodal resonnering, selv om de krever betydelige beregningsressurser.

Prosedyremessig Forståelse

Nåværende systemer henter en flat liste over ingredienser og trinn. Fremtidige systemer vil bygge rikere prosedyremessige representasjoner som fanger grafstrukturen til en oppskrift: hvilke trinn som avhenger av hvilke andre, hvilke ingredienser som brukes på hvilket stadium, og hvordan mellomresultater kombineres. Denne prosedyremessige forståelsen muliggjør mer nøyaktig ernæringsberegning ved å spore hvordan ingredienser transformeres gjennom hvert trinn.

Personlig Ernæringsestimering

Etter hvert som oppskriftsutvinningssystemer prosesserer mer data, kan de lære individuelle skapermønstre. Et system som har analysert 100 videoer fra den samme skaperen lærer at når denne skaperen sier "et dryss av olivenolje," bruker de typisk omtrent en spiseskje. Denne personlige kalibreringen forbedrer mengdeestimering betydelig.

Kulturell og Regional Matkunnskap

Å utvide oppskriftsutvinning til det fulle mangfoldet av globale kjøkken krever dyp kulturell matkunnskap. Å vite at "en tallerken med injera med wot" i etiopisk matlaging følger spesifikke proporsjonskonvensjoner, eller at "en bolle med pho" i vietnamesisk mat har typiske ingrediensforhold, gjør at systemet kan gjøre informerte estimater selv når eksplisitte mengder ikke er oppgitt.

Ofte Stilte Spørsmål

Hvor nøyaktig er AI oppskriftsutvinning fra matlagingsvideoer sammenlignet med å lese en tekstoppskrift manuelt?

Nåværende multimodale utvinningsprosesser oppnår 85 til 92 prosent nøyaktighet på ingrediensidentifikasjon og 75 til 85 prosent nøyaktighet på mengdeutvinning sammenlignet med sannhetsoppkrifter skrevet av video-skapere. Den primære kilden til feil er mengdeestimering når skapere ikke oppgir eksplisitte målinger. Til sammenligning oppnår manuell transkripsjon av menneskelige seere omtrent 90 til 95 prosent nøyaktighet, noe som betyr at AI-utvinning nærmer seg menneskelig ytelse for denne oppgaven. Nutrolas implementering inkluderer et brukerverifiseringstrinn for lavkonfidensutvinninger, som hever effektiv nøyaktighet til over 95 prosent i praksis.

Hva skjer når en matlagingsvideo ikke oppgir eksplisitte ingrediensmengder?

Når mengder ikke er eksplisitt angitt i tale eller tekst på skjermen, faller systemet tilbake på en hierarki av estimeringsmetoder. Først prøver det visuell mengdeestimering fra videoramene ved hjelp av dybdeestimering og referanseobjektskala. Deretter konsulterer det en kunnskapsbase av typiske mengder for rettetypen. Til slutt bruker det statistiske gjennomsnitt fra tidligere hentede oppskrifter av den samme retten. Det resulterende estimatet flagges med en lavere konfidensscore, og Nutrola presenterer det for brukeren med en merknad om at mengden ble estimert i stedet for eksplisitt angitt.

Kan AI hente oppskrifter fra matlagingsvideoer på andre språk enn engelsk?

Ja. Moderne ASR-modeller som Whisper støtter transkripsjon på 915 språk, og OCR-systemer håndterer flere skrifter inkludert latin, CJK, kyrillisk, arabisk og devanagari. NLP-parsinglaget kan operere på flere språk, selv om nøyaktigheten generelt er høyest for språk med mest treningsdata. Whisper kan også oversette ikke-engelsk tale direkte til engelsk, noe som gjør at den nedstrøms prosessen kan operere på engelsk selv for videoer på andre språk. Nutrola støtter oppskriftsutvinning fra videoer på over 30 språk.

Hvordan håndterer systemet oppskrifter der skaperen gjør substitusjoner eller feil under filming?

Den tidsmessige naturen av videoanalyse hjelper faktisk med dette scenariet. Når en skaper sier "jeg skulle bruke smør, men jeg har bare olivenolje," identifiserer systemets NLP-lag korreksjonen og bruker olivenolje i stedet for smør i den endelige oppskriften. På samme måte, når en skaper tilsetter en ingrediens og deretter sier "faktisk, det er for mye, la meg ta litt ut," sporer systemet korreksjonen. Oppmerksomhetsbaserte modeller som prosesserer hele transkripsjonen kan identifisere disse selvkorreksjonene ved å gjenkjenne diskursmønstre knyttet til revisjoner.

Hva er forskjellen mellom oppskriftsutvinning fra video og oppskriftsutvinning fra en nettside?

Nettoppskriftsutvinning er primært avhengig av strukturert dataparsering. De fleste oppskriftsnettsteder bruker schema.org oppskriftsmarkup, som gir maskinlesbare ingredienslister, mengder og instruksjoner. Videooppskriftsutvinning er fundamentalt vanskeligere fordi informasjonen er ustrukturert og fordelt over lyd-, visuelle- og tekstmodaliteter som må flettes. Imidlertid har videoutvinning fordelen av å fange tilberedningsdetaljer og visuelle mengdehint som er fraværende fra tekstoppskrifter. Mange skapere deler også tips, substitusjoner og kontekstuell informasjon i narrasjonen som aldri vises i en skriftlig oppskrift.

Hvordan påvirker matlagingsmetodegjenkjenning den ernæringsmessige nøyaktigheten til hentede oppskrifter?

Gjenkjenning av matlagingsmetoder har betydelig innvirkning på ernæringsmessig nøyaktighet. Fritering av et kyllingbryst i olje legger til omtrent 60 til 100 kalorier sammenlignet med å grille det samme brystet på grunn av oljeabsorpsjon. Koking av grønnsaker kan redusere vitamin C-innholdet med 30 til 50 prosent. AI-prosessen bruker handlingsgjenkjenningsmodeller for å identifisere matlagingsmetoder (grilling, fritering, baking, damping, rå tilberedning) og anvender USDA-næringsbevaringsfaktorer deretter. Denne matlagingsmetodebevisste beregningen forbedrer vanligvis kaloriestimeringsnøyaktigheten med 10 til 15 prosent sammenlignet med å bruke rå ingrediensverdier alene.

Konklusjon

Å hente en oppskrift fra en matlagingsvideo er et mikrokosmos av den bredere utfordringen innen kunstig intelligens: å forstå ustrukturert, multimodal, virkelighetsinformasjon. Det krever talegjenkjenning som fungerer i støyende kjøkken, datavisjon som kan identifisere hundrevis av ingredienser i varierende tilstander av tilberedning, OCR som leser stilisert tekst på rotete bakgrunner, og NLP som fletter alt dette til et sammenhengende ernæringsbilde.

Prosessen beskrevet i denne artikkelen, fra Whisper-basert transkripsjon gjennom CLIP-drevet visuell gjenkjenning til LLM-basert oppskriftsstrukturering, representerer dagens tilstand innen teknologi. Hver komponent bygger på år med maskinlæringsforskning, fra det grunnleggende arbeidet med CNN-er og RNN-er til transformerrevolusjonen som forente NLP og datavisjon under en enkelt arkitektonisk paradigm.

Nutrolas implementering av denne prosessen bringer disse forskningsfremskrittene inn i hverdagsbruk. Ved automatisk å hente oppskrifter fra matlagingsvideoene brukerne allerede ser på, eliminerer det kløften mellom å oppdage en oppskrift og å forstå dens ernæringsmessige innvirkning. Resultatet er en ernæringssporingopplevelse som møter brukerne der de allerede er, og forvandler passiv videokonsumering til aktiv ernæringsbevissthet uten å kreve manuell datainntasting.

Etter hvert som multimodale AI-modeller fortsetter å forbedre seg, vil nøyaktigheten og hastigheten på oppskriftsutvinning bare øke. Visjonen om å peke telefonen mot hvilket som helst matlagingsinnhold og umiddelbart motta en komplett ernæringsanalyse er ikke lenger en forskningsambisjon. Det er en fungerende teknologi, og den blir bedre med hvert fremskritt i den underliggende vitenskapen.