AI generovaná data zvyšují riziko chyb u jazykových modelů, Gartner čeká nástup principu nulové důvěry v řízení dat

Gartner odhaduje, že do roku 2028 nasadí 50% organizací princip nulové důvěry pro řízení dat, protože neověřené výstupy z generativní umělé inteligence začínají ohrožovat kvalitu rozhodování.

Když se model učí ze svých odpovědí, realita se rozmazává a roste tlak na kontrolu původu

Růst obsahu vytvořeného umělou inteligencí mění základní předpoklad práce s informacemi. Dřív stačilo řešit kvalitu zdrojů, dnes přibývá otázka původu, protože text, obrázek nebo tabulka může vzniknout bez lidské kontroly a bez jasné stopy, kdo ručí za správnost. Gartner proto očekává, že do roku 2028 přejde 50% organizací na přístup označovaný jako princip nulové důvěry v oblasti správy a řízení dat.

V praxi jde o jednoduché pravidlo. Data potřebují ověření, autentizaci a průběžnou kontrolu bez ohledu na to, odkud přicházejí. Podobný přístup v kyberbezpečnosti funguje už roky, nově se přesouvá do řízení dat, protože generativní AI umí chrlit obsah ve velkém a firemní procesy začínají výstupy bez rozmyslu přimíchávat do reportů, analýz i podkladů pro rozhodování.

Problém se netýká jen kancelářských dokumentů. velké jazykové modely se často trénují na datech stažených z webu a na směsi knih, kódu a odborných textů. S rostoucím podílem strojově vytvořeného obsahu roste riziko, že nové modely budou stále víc nasávat výstupy starších modelů. Gartner varuje před jevem označovaným jako kolaps modelu, tedy stavem, kdy odpovědi přestávají spolehlivě odrážet realitu a začnou se podobat uzavřenému kruhu opakovaných nepřesností.

Obrázek: Midjourney

Zdroj: gartner.com

Napsat komentář