Google lanceerde een functie in Google Earth waarmee gebruikers satellietbeelden konden bewerken met een tekstprompt. Met een simpele instructie was het mogelijk om een stroom vluchtelingen toe te voegen aan de Mexicaanse grens of een bomkrater bij een ziekenhuis in Gaza aan te maken. De tool, aangedreven door het AI-model Nano Banana 2, werd donderdag geïntroduceerd en vrijdag alweer afgeschaft.

Onderzoeker Henk van Ess legde de problemen bloot. Hij genereerde bewerkte beelden die niet van het origineel te onderscheiden waren en wist de watermerken te omzeilen die Google als veiligheidsmaatregel had aangebracht. Een AI-detectietool van Hive herkende de vervalsingen niet. Google’s eerste reactie benadrukte dat schadelijke onderwerpen werden geblokkeerd, maar van Ess meldde dat niets werd geweigerd, verzacht of afgeraden.

Een dag later draaide Google bij. Het bedrijf erkende dat mensen Google Earth vertrouwen voor een betrouwbaar beeld van de wereld en trok de functie terug om sterkere veiligheidsmaatregelen te ontwikkelen. De bewerkte beelden verschenen niet in de hoofdtoepassing en waren als AI-gegenereerd gemarkeerd, maar dat bleek onvoldoende tegen misbruik.