Mit speciale på Syddansk Universitet undersøgte, hvad der sker, når en AI-agent arbejder på en database med fejl. Resultatet er ubehageligt klart: på virksomhedens egne data, som AI'en ikke kender i forvejen, kan to forkerte rækker ved siden af den rigtige være nok til, at den svarer forkert. Og den svarer lige så sikkert, som når den har ret.
Allerede her arbejdede jeg med præcis det, virksomheder står med nu: AI, der svarer ud fra en database, testet på anonymiserede data fra et rigtigt ERP-system med varer, priser, styklister og leverandører.
Derfor starter jeg altid med data: én kilde til hvert tal, kontrol af modstridende rækker, før de når AI'en, og adgang styret ned til den enkelte tabel.
- 97,5 % → 10 %
- rigtige svar, når den rigtige række står ved siden af to forkerte (Qwen2.5-7B)
- 13 modeller
- testet, fra 0,5 til 235 mia. parametre, inkl. GPT-4o-mini
- Før svaret
- kan fejlen ofte aflæses inde i modellen, mens den stadig svarer rigtigt