Hallucinál az AI-d? A generikus LLM-ek használatának veszélyei diétás tanácsadásban

"Hey ChatGPT, hány kalória van a csirke stir-fry-ban?"

A válasz azonnal és magabiztosan érkezik: "Egy tipikus csirke stir-fry körülbelül 350-450 kalóriát tartalmaz adagonként." Ez ésszerűen hangzik. Még a makrókat is lebontja. De van egy probléma: a szám kitalált. Nem becsült, nem közelítő, hanem statisztikai minták alapján generált szöveges adatokból, amelyeknek semmi közük nincs egy valós táplálkozási adatbázishoz.

Ezt hívják az AI kutatók hallucinációnak, és amikor ez a táplálkozás kontextusában történik, a következmények túlmutatnak egy rossz esszén vagy egy téves trivia válaszon. Az emberek valós diétás döntéseket hoznak ezek alapján a számok alapján, és ezek a döntések befolyásolják az egészségüket.

Mit jelent a "hallucináció" a táplálkozás kontextusában

A nagy nyelvi modellek terminológiájában a hallucináció akkor következik be, amikor a modell olyan információt generál, amely plauzibilisnek tűnik, de tényszerűen helytelen. Az LLM-ek nem keresnek tényeket egy adatbázisban. Az előrejelzések a legvalószínűbb következő szóra vonatkoznak egy szekvenciában, a tanulás során megszerzett minták alapján.

Amikor megkérdezed a ChatGPT-t egy étel kalóriatartalmáról, nem a USDA FoodData Central adatbázist kérdezi le, és nem keres össze a NCCDB-vel. Olyan választ generál, amely statisztikailag hasonlít arra, ami a tanulási adataiban szerepel. Néha a válasz közel áll a helyeshez. Néha viszont nagyon eltér attól.

A veszély az, hogy a magabiztossági szint mindkét esetben azonos. Egy hallucinált kalóriaszám pontosan úgy néz ki, mint egy pontos adat.

Hol tévednek a generikus LLM-ek a táplálkozásban

Sorozatos teszteket végeztünk, ahol a ChatGPT-t (GPT-4o), a Geminit és a Claude-ot kértük meg, hogy becsüljék meg a közönséges ételek táplálkozási tartalmát. Ezután ezeket az becsléseket összehasonlítottuk a USDA által hitelesített referenciaértékekkel és a Nutrola táplálkozási szakértői által felülvizsgált adatbázisával. A hibák mintázatai következetesek és tanulságosak voltak.

Hamisított precizitás

Ha megkérdezel egy LLM-et, hogy "hány kalória van egy evőkanál olívaolajban?", gyakran helyes választ kapsz: körülbelül 119 kalória. Ennek az az oka, hogy ez a konkrét tény gyakran szerepel a tanulási adatokban.

De ha megkérdezed, "hány kalória van a házi csirke tikka masalában naan-nal?", a modellnek improvizálnia kell. A tesztjeink során a GPT-4o becslései 450 és 750 kalória között változtak ugyanarra az ételre, különböző beszélgetések során. A valós érték, amelyet egy standard recept alapján, hiteles összetevő adatokkal számoltunk ki, 685 kalória volt. Az egyik válasz közel volt. Mások több mint 200 kalóriával eltértek.

A modellnek nincs módja jelezni, hogy mely válaszok megbízható keresések és melyek improvizált találgatások.

Elkészítési módszer vakság

Az LLM-eknek alapvető vakságuk van az ételek elkészítési módjával kapcsolatban. A "grillezett csirkemell" és a "vajban sült csirkemell" hasonló kalória becsléseket kaphat, mert a modell a fő összetevőre összpontosít, nem pedig a főzési módszerre.

A tesztjeink során, amikor a "lazac" kalóriatartalmáról kérdeztünk anélkül, hogy megadtuk volna az elkészítési módot, a válaszok következetesen egy 6 unciás filé 230-280 kalória közötti sütött vagy grillezett becslésére tértek vissza. Egy 6 unciás lazacfilé, amelyet két evőkanál vajban, teriyaki glazúrral sütöttek, valójában közelebb áll a 450-500 kalóriához. A különbség elég jelentős ahhoz, hogy aláássa a kalóriadeficitet idővel.

Adagméret hallucináció

Talán a legveszélyesebb hiba az adagméret feltételezése. Amikor egy generikus LLM-et kérdezel egy étel kalóriáiról, fel kell tételeznie egy adagméretet. Ezek a feltételezések következetlenek és gyakran nem meghatározottak.

" Egy tál tészta" becslése 300-400 kalória között mozoghat. De kié a tál? Egy standard 2 unciás száraz adag spagetti marinara szósszal körülbelül 280 kalória. Egy étterem adag 4-6 uncia száraz tésztával és szósszal könnyen elérheti a 600-900 kalóriát. Az LLM egy középső számot választ, és tényként mutatja be.

Hibák halmozódása étkezési tervekben

A kockázat fokozódik, amikor a felhasználók LLM-eket kérnek meg teljes étkezési tervek generálására. Minden egyes becslés hibát hordoz, és ezek a hibák halmozódnak az étkezések és napok során. Egy étkezési terv, amely azt állítja, hogy napi 1,800 kalóriát biztosít, valójában 2,200 vagy 1,400 kalóriát is adhat a hibák irányától függően.

Valakinek, aki étkezési tervet használ egy orvosi állapot, például cukorbetegség kezelésére, vagy konkrét sportteljesítmény célok elérésére, ez a szintű pontatlanság nemcsak haszontalan. Potenciálisan káros is.

Miért más a célzott táplálkozási AI

A különbség a generikus LLM és a célzott táplálkozási rendszer között architekturális, nem kozmetikai.

Adatbázis-alapú válaszok

A Nutrola AI nem generál kalória becsléseket nyelvi mintákból. Amikor azonosít egy élelmiszert, azt egy hiteles táplálkozási adatbázisban található bejegyzéshez térképezi. Az adatbázis olyan bejegyzéseket tartalmaz, amelyeket a USDA FoodData Central, több ország nemzeti táplálkozási adatbázisai és házon belüli táplálkozási szakértők által felülvizsgált bejegyzések forrásaiból származnak.

Ez azt jelenti, hogy a rendszer nem tud hallucinálni egy kalóriaszámot. A szám egy konkrét, auditálható adatbázis-bejegyzésből származik, nem pedig egy statisztikai nyelvi modellből.

Vizualizációs ellenőrzés

Amikor egy felhasználó fényképet készít egy étkezésről, a Nutrola számítógépes látás modellje azonosítja az egyes élelmiszereket és becsüli az adagméreteket vizuális elemzés alapján. Ez a vizuális alapozás olyan ellenőrzést nyújt, amelyet a kizárólag szöveges LLM-ek nem tudnak elvégezni. A rendszer szó szerint azt nézi, amit eszel, ahelyett, hogy egy szöveges leírás alapján találgatna.

Átlátható bizonytalanság

Egy jól megtervezett táplálkozási rendszer elismeri, amikor bizonytalan. Ha egy étel kétértelmű, vagy az adagméret nehezen becsülhető egy fénykép alapján, a rendszer jelezheti ezt a bizonytalanságot, és kérheti a felhasználót a tisztázásra. A generikus LLM-ek szinte soha nem jelzik, amikor táplálkozási becsléseik alacsony bizalommal bírnak, mert nincs mechanizmusuk a saját magabiztosságuk mérésére a tényekkel kapcsolatban.

A valós egészségügyi kockázatok

A pontatlan kalóriadatok az AI-tól nem elvont probléma. Konkrét módon nyilvánulnak meg.

Súlykezelési kudarc. Egy következetes napi 200 kalória túlszámlálás vagy alulszámlálás megváltoztatja bármilyen diéta kimenetelét. 30 nap alatt ez 6,000 kalória hibát jelent, ami körülbelül 1.7 font testzsírnak felel meg bármelyik irányban.

Mikrotápanyag vakság. Az LLM-ek ritkán adnak mikrotápanyag adatokat, és amikor mégis, a számok még megbízhatatlanabbak, mint a kalória becslések. Valaki, aki a terhesség alatt a vasbevitelt követi, vagy a nátriumot figyeli hipertónia esetén, nem támaszkodhat a generált becslésekre.

Hamis magabiztosság. A leginsidiózusabb kockázat az, hogy a felhasználó azt hiszi, hogy pontos adatai vannak, amikor nincsenek. Ez a hamis magabiztosság megakadályozza őket abban, hogy jobb eszközöket keressenek, vagy valós eredmények alapján módosításokat végezzenek.

Mikor érdemes LLM-t kérdezni az ételekről

A generikus LLM-ek nem haszontalanok a táplálkozásban. Bizonyos típusú kérdésekre hatékonyak:

• Általános tájékoztatás: "Mely ételek gazdagok káliumban?" vagy "Mi a különbség a vízben oldódó és a vízben nem oldódó rost között?" Ezek tudásalapú kérdések, ahol a közelítő válaszok elfogadhatók.
• Receptötletek: "Adj egy magas fehérjetartalmú ebédötletet 500 kalória alatt" hasznos inspirációt adhat, még ha a pontos kalóriaszámot ellenőrizni is kell.
• Fogalmak megértése: "Magyarázd el, mi az a kalóriadeficit" vagy "Hogyan segít a fehérje az izomregenerációban?" olyan területek, ahol az LLM-ek jól teljesítenek.

A határ világos: használj LLM-eket a táplálkozás tanulmányozására. Használj hiteles, adatbázis-alapú eszközöket a nyomon követéshez.

Hogyan ellenőrizd bármilyen AI táplálkozási állítást

Akár chatbotot, akár más eszközt használsz, van néhány gyakorlati lépés az adatok ellenőrzésére:

1. Hasonlítsd össze a USDA FoodData Central-lal. A USDA adatbázis ingyenes, nyilvános és laboratóriumban ellenőrzött. Ha egy AI becslése jelentősen eltér a USDA bejegyzésétől ugyanarra az ételre, akkor az AI valószínűleg téves.
2. Ellenőrizd az adagméret feltételezéseit. Mindig kérdezd meg, vagy ellenőrizd, hogy milyen adagméret alapján készült a becslés. Egy kalóriaszám adagméret nélkül értelmetlen.
3. Vedd figyelembe az elkészítési módot. Ugyanaz az összetevő 2-3-szoros kalóriatartalommal változhat attól függően, hogy nyers, sült, fritőzben vagy olajban párolt.
4. Légy szkeptikus a kerek számokkal kapcsolatban. Ha egy AI azt mondja, hogy egy étkezés "pontosan 500 kalóriát" tartalmaz, az egy generált becslés, nem egy mért érték. A valós táplálkozási adatok konkrét számokat tartalmaznak, mint például 487 vagy 523.

Gyakran Ismételt Kérdések

A ChatGPT pontos a kalóriaszámlálásban?

A ChatGPT és hasonló nagy nyelvi modellek nem megbízhatóak a kalóriaszámlálásban. A becsléseket szöveges minták alapján generálják, nem pedig hiteles táplálkozási adatbázisokban lévő értékek keresésével. A tesztelés során az LLM kalória becslések összetett ételek esetén 200-300 kalória eltérést mutattak a különböző kérdésekre adott válaszokban ugyanarra az ételre. Az egyszerű, jól ismert elemek, mint például "egy nagy tojás", becslései általában közel állnak a valósághoz, mert az adatok gyakran szerepelnek a tanulási szövegben. Az elkészített ételek, éttermi ételek és vegyes összetevőjű ételek esetén a hibaarány jelentősen nő.

Használhatom a ChatGPT-t a makrók nyomon követésére?

A ChatGPT használata makrók nyomon követésére nem ajánlott azok számára, akik konkrét egészségügyi vagy fitnesz célokat követnek. A modell nem tudja figyelembe venni a tényleges adagméreteidet, főzési módszereidet vagy konkrét összetevőidet. Emellett következetlenséget is mutat; ugyanazon kérdés kétszeri feltevése eltérő makró-összeállításokat eredményezhet. Az általános tudatosság érdekében, hogy egy étel gazdag-e fehérjében vagy szénhidrátban, egy LLM hasznos iránymutatást adhat. A pontos nyomon követéshez egy célzott táplálkozási alkalmazás, amely hiteles adatbázissal rendelkezik, lényegesen pontosabb és következetesebb eredményeket fog adni.

Mi az AI hallucináció a táplálkozásban?

Az AI hallucináció a táplálkozásban azt jelenti, amikor egy nyelvi modell táplálkozási adatokat generál, például kalóriaszámokat, makró-összeállításokat vagy mikrotápanyag értékeket, amelyek tekintélyesnek hangzanak, de tényszerűen helytelenek. A modell nem szándékosan hazudik; plauzibilisnek tűnő szöveget jósol a minták alapján. Az eredmény egy kalóriaszám, amely tényként olvasható, de soha nem került hitelesítésre egy táplálkozási adatbázisban. Ez különösen veszélyes, mert a felhasználóknak nincs módjuk megkülönböztetni a hallucinált becslést a pontos adatoktól manuális keresés nélkül.

Hogyan tudom, hogy a táplálkozási AI-m pontos adatokat ad?

Ellenőrizz három dolgot. Először is, kérdezd meg, hogy az eszköz egy hiteles táplálkozási adatbázisból, például a USDA FoodData Central-ból vagy a NCCDB-ből dolgozik-e, ahelyett, hogy becsléseket generálna egy nyelvi modellből. Másodszor, ellenőrizd, hogy figyelembe veszi-e az elkészítési módszereket, mivel a főzési módszer 50-200%-kal megváltoztathatja egy étel kalóriatartalmát. Harmadszor, ellenőrizd, hogy az eszköz megadja-e a pontos adagméretet, amelyre a becslése alapozva készült. Egy megbízható táplálkozási AI-nak átláthatónak kell lennie az adatforrásaival kapcsolatban, és jeleznie kell a bizonytalan becsléseket, ahelyett, hogy minden számot egyenlő magabiztossággal mutatna be.

Biztonságos követni egy AI által létrehozott étkezési tervet?

Az AI által generált étkezési tervek hasznosak lehetnek kiindulási kereteként, de nem szabad őket vakon követni konkrét orvosi vagy teljesítménycélok elérése érdekében. Minden kalória becslés a tervben potenciális hibát hordoz, és ezek a hibák halmozódnak az egész napi étkezés során. Ha a terv azt állítja, hogy 1,800 kalóriát biztosít, de minden étkezés becslése 10-15%-kal eltér, a tényleges napi bevitel 1,500 és 2,100 kalória között változhat. Az általános egészséges étkezési inspirációhoz az AI étkezési tervek ésszerű kiindulópontot jelentenek. Klinikai táplálkozás kezeléséhez, fogyókúrás programokhoz vagy sportteljesítmény diétákhoz a kalória- és makrócélokat egy adatbázis-alapú eszközzel kell ellenőrizni.