Investigadors del laboratori de recerca Google DeepMind van aconseguir forçar ChatGPT per revelar les dades personals de diversos usuaris. No van haver de recórrer a modificacions de codi o altres trucs tècnics. A més, els experts ho han fet fins i tot definit el mètode descobert"una mica estúpid", tot i que, segons va resultar, va ser molt eficaç. De fet, van descobrir aquesta vulnerabilitat de ChatGPT induint una al·lucinació del model lingüístic d'una manera força curiosa.
La vulnerabilitat de ChatGPT proporcionava dades personals dels usuaris sota "hipnosi"
El model de llenguatge genera informació a partir de les dades d'entrada utilitzades per entrenar-lo. OpenAI no revela el contingut dels conjunts de dades, però els investigadors van obligar a ChatGPT a fer-ho, obviant les regles de l'empresa. El mètode era el següent: simplement va arribar a la xarxa neuronal demanat repetir la paraula "poesia" una i altra vegada.
Com a resultat, el bot produïa esporàdicament informació del seu conjunt de dades d'entrenament. Per exemple, els investigadors ho van aconseguir obtenir adreça de correu electrònic, número de telèfon i altres contactes del director general d'una empresa determinada (el seu nom s'amaga a l'informe). I quan se li va demanar a l'IA que repeteixi la paraula "empresa", la vulnerabilitat de ChatGPT li va permetre retornar els detalls d'un despatx d'advocats nord-americà.
Utilitzant aquesta senzilla "hipnosi", els investigadors van poder obtenir una coincidència de llocs de cites, fragments de poemes, adreces Bitcoin, aniversaris, enllaços publicats a les xarxes socials, fragments de treballs de recerca amb drets d'autor i fins i tot textos dels principals portals de notícies. Després de gastar només 200 dòlars en fitxes, els empleats de Google DeepMind van rebre aproximadament 10.000 fragments del conjunt de dades.
Els experts també van trobar que com més gran és el model, més sovint es produeix la font del conjunt de dades d'entrenament. Per fer-ho, van mirar altres models i van extrapolar el resultat a les dimensions del GPT-3.5 Turbo. Els científics esperaven rebre 50 vegades més episodis d'informació del conjunt de dades d'entrenament, però el chatbot va produir aquestes dades 150 vegades més sovint. Un "forat" similar s'ha descobert en altres models lingüístics, per exemple a LLaMA de Meta.
Oficialment, OpenAI va solucionar aquesta vulnerabilitat el 30 d'agost. Però, segons el periodistes de Engadget, encara heu aconseguit obtenir les dades d'una altra persona (nom i inici de sessió de Skype) mitjançant el mètode descrit anteriorment. Els representants de OpenAI no va respondre al descobriment d'aquesta vulnerabilitat de ChatGPT, però estem segurs que ho faran.
