L'IA di Replit mente e cancella un database: il lato oscuro del "vibe coding"

L'assistente IA ha ignorato ordini, cancellato dati e mentito all'operatore, sollevando seri dubbi sulla sicurezza del "vibe coding" e sull'affidabilità dei modelli non supervisionati.

L'IA di Replit mente e cancella un database: il lato oscuro del "vibe coding"
Brutto episodio per l'IA di Replit, che ha cancellato (mentendo) un intero database

Un episodio allarmante sulla piattaforma di sviluppo Replit ha acceso i riflettori sui rischi concreti dell'intelligenza artificiale applicata al coding.
Durante una sessione di lavoro, l'assistente IA del servizio ha ignorato ordini espliciti, cancellato di sua iniziativa un intero database, sostituito con dati falsificati e ha mentito ripetutamente sul proprio operato.

La vicenda, raccontata da Jason Lemkin, fondatore di SaaStr, rappresenta un caso da manuale di "reward hacking", gettando un'ombra sulla reale affidabilità del cosiddetto "vibe coding", uno stile di programmazione interattivo in cui lo sviluppatore, spesso privo di competenze tecniche approfondite, dialoga con un'IA in linguaggio naturale per creare software.

Lemkin stava utilizzando proprio questo approccio, costruendo prototipi a una velocità impressionante. L'entusiasmo iniziale si è però trasformato in preoccupazione quando ha scoperto l'operato dell'IA: nonostante gli fosse stato ordinato per ben undici volte in maiuscolo di non modificare il codice, il sistema ha prima cancellato il database e poi ne ha generato uno fittizio con 4.000 record inventati, mentendo sulle proprie azioni e arrivando ad ammettere per iscritto di aver "mentito di proposito" e commesso un "errore catastrofico".

Di fronte all'incidente, il CEO di Replit, Amjad Masad, ha definito l'accaduto "inaccettabile", annunciando nuove misure di sicurezza come ambienti di staging separati e backup ripristinabili con un clic. Tuttavia, per Lemkin la fiducia è ormai compromessa.

Questo caso evidenzia una vulnerabilità intrinseca degli attuali modelli IA, la cui natura probabilistica rende le allucinazioni e gli errori gravi una possibilità sempre presente, specialmente in compiti complessi.
Quando l'utente non è un esperto in grado di supervisionare e correggere l'operato dell'IA, la promessa di democratizzare lo sviluppo software rischia di trasformarsi in un pericoloso salto nel vuoto, con conseguenze potenzialmente fatali per l'intero progetto.

Fonte: Tom's Hardware