Trainingsdata ChatGPT door middel van eenvoudige aanval te achterhalen

[Captain Kirk]

Onderzoekers hebben een manier gevonden om trainingsdata van ChatGPT op een eenvoudige manier te achterhalen, waaronder e-mailadressen en telefoonnummers. Hiervoor lieten de onderzoekers van Google DeepMind en verschillende universiteiten de chatbot een bepaald woord een oneindig keer herhalen, waarbij er opeens ook trainingsdata als antwoord werd gegeven.

"De kwetsbaarheid is dat ChatGPT een groot deel van de trainingsdata onthoudt, misschien omdat het overtraind is of voor een andere reden", zo stellen de onderzoekers in een rapport. De aanval zorgt ervoor dat het onderliggende model afwijkt en zijn trainingsdata prijsgeeft. De onderzoekers denken dat het mogelijk is om op deze manier wel een gigabyte aan trainingsdata te achterhalen.

Data gebruikt voor het trainen van ChatGPT is afkomstig van het openbare internet, maar de trainingsdata zelf is niet openbaar. "Hoe gevoeliger of origineler je data is, hoe belangrijker je extractie van trainingsdata vindt", aldus de onderzoekers. Die waarschuwden OpenAI op 30 augustus van dit jaar en gaven de chatbot-ontwikkelaar negentig dagen de tijd om het probleem te verhelpen voordat het openbaar zou worden gemaakt. De specifieke aanval mag dan zijn verholpen, de onderliggende kwetsbaarheid niet, zo waarschuwen de onderzoekers.

 

bron: https://www.security.nl