Saillant detail: de onderzoekers maakten hierbij gebruik van kunstmatig intelligente software die in de basis ontwikkeld was om de ontdekking van nieuwe medicijnen te bevorderen.
In de zoektocht naar nieuwe medicijnen maken farmaceutische bedrijven veelvuldig gebruik van kunstmatig intelligente technologieën. Zo ook het Amerikaanse bedrijf Collaborations Pharmaceuticals, Inc., waarvoor Sean Ekins werkt. En een tijdje geleden kreeg het bedrijf een bijzonder verzoek van het Swiss Federal Institute for NBC Protection (NBC staat hierbij voor nucleaire, biologische en chemische). Het instituut vroeg Ekins en collega’s om tijdens een tweejaarlijkse bijeenkomst waarbij traditioneel gediscussieerd wordt over de gevaren van biologische en chemische technologieën, een presentatie te houden over hoe kunstmatig intelligente technologieën, ontwikkeld voor de ontdekking van medicijnen, misbruikt zouden kunnen worden. De vraag overviel Ekins en collega’s behoorlijk, zo schrijven ze in het blad Nature Machine Intelligence. “De gedachte (dat kunstmatig intelligente software, bedacht om medicijnen op te sporen misbruikt zou kunnen worden door mensen die biologische of chemische wapens willen bemachtigen, red.) was nog nooit in ons opgekomen. We waren ons vaag wel bewust van zorgen die er zijn rondom het werken met ziekteverwekkers of giftige stoffen, maar dat had toch niets met ons te maken: wij werken vooral in een virtuele setting (…) Wij werken al decennia met computers en kunstmatige intelligentie om de menselijk gezondheid te bevorderen – niet om deze aan te tasten.” Een beetje naïef misschien, zo moeten Ekins en collega’s erkennen. “Zelfs onze projecten omtrent ebola en neurotoxinen – die toch wel gedachten over mogelijke negatieve implicaties van onze machine learning-modellen hadden kunnen oproepen – hadden er niet toe geleid dat er alarmbellen afgingen.”
Experiment
Die alarmbellen begonnen na de vraag van het Zwitsers instituut echter wel te rinkelen. En de aanvraag groeide zelfs uit tot een klein onderzoeksproject waarin Ekins en collega’s daadwerkelijk de proef op de som namen: was het mogelijk om met hun software – ontwikkeld om de ontdekking van nieuwe medicijnen te bevorderen – de ontwikkeling van nieuwe biochemische wapens te stimuleren? Het antwoord is: ja. Sterker nog: de kunstmatig intelligente software bleek in slechts enkele uren tijd in staat te zijn om duizenden moleculen te bedenken die dienst konden doen als chemische wapens, waaronder enkelen die ons al bekend zijn (zoals het zenuwgas VX), maar ook enkele nieuwe die – zo op het eerste gezicht – nog giftiger zijn dan ons reeds bekende chemische wapens.
MegaSyn
Voor het onderzoeksproject maakten Ekins en collega’s gebruik van MegaSyn. “Dit is onze software die moleculen ontwerpt en gebruik maakt van geïntegreerde machine learning-modellen om de activiteit en giftigheid van voorgestelde moleculen te voorspellen,” legt Ekins aan Scientias.nl uit. Normaliter wordt de kunstmatig intelligente software getraind om giftige moleculen links te laten liggen en juist te focussen op bioactieve moleculen, oftewel moleculen die een bepaalde biologische of fysiologische activiteit of functie hebben. Het uiteindelijke doel is om zo moleculen op het spoor te komen die ingezet kunnen worden om ziekten te behandelen. “We gebruiken de software om moleculen te vinden die gesynthetiseerd kunnen worden en vervolgens getest kunnen worden op hun activiteit.” De aanpak staat nog in de kinderschoenen, maar lijkt veelbelovend. “De software heeft reeds verschillende malen stoffen gevonden die eerder door anderen – op traditionele wijze – zijn ontworpen.” Het bewijst dat de software – in veel kortere tijd – hetzelfde kan bewerkstelligen als onderzoekers eerder door eindeloos scheikundig puzzelen in het lab, voor elkaar boksten. En het suggereert dat de software op vergelijkbare wijze ook ons nog onbekende, maar farmaceutisch gezien zeer interessante moleculen kan genereren.
Een veelbelovend stukje software dus. Maar nu waren Ekins en collega’s nieuwsgierig geworden of het – met minimale aanpassingen – ook voor heel andere doeleinden gebruikt kon worden. Ze namen de proef op de som en pasten de software ietsje aan. “We gebruikten dezelfde aanpak om nieuwe moleculen te vinden,” zo schrijven de onderzoekers. Maar waar het model eerder getraind werd om de giftige moleculen links te laten liggen, mocht het nu jagen op giftige én bioactieve moleculen. Om een beetje een idee te krijgen van wat de onderzoekers zochten, kreeg de kunstmatig intelligente software voorbeeld-moleculen voorgeschoteld uit een publieke database die normaliter gebruikt zou worden om de zoektocht naar moleculen die ingezet kunnen worden in de strijd tegen neurologische ziekten, in juiste banen te leiden. Maar de onderzoekers waren natuurlijk niet op zoek naar behandelingen voor neurologische aandoeningen en om de software nog wat richting te geven, gaven ze deze specifiek de opdracht om te zoeken naar neurotoxinen. “Zoals het zenuwgas VX, één van de meest giftige chemische wapens die tijdens de twintigste eeuw ontwikkeld zijn: een paar korreltjes ter grootte van een zoutkorrel zijn al genoeg om iemand te doden.”
Schokkende transformatie
Vervolgens ging de software aan het werk. En met resultaat: in minder dan zes uur tijd genereerde de software 40.000 moleculen die geschikt lijken als biochemische wapens. Dat de software in zo’n korte tijd zoveel moleculen kon genereren, was geen verrassing, zo vertelt Ekins. “Maar het feit dat de software verschillende bekende biochemische wapens vond, was schokkend. En daarna vond het nog duizenden andere onbekende moleculen.” Waarvan sommige naar verwachting dus nog veel giftiger zijn dan ons reeds bekende biowapens. “We hadden ons onschadelijke model getransformeerd: van een handig gereedschap voor de geneeskunde tot een generator van waarschijnlijk dodelijke moleculen,” zo stellen de onderzoekers.
De onderzoekers genereerden met behulp van hun kunstmatig intelligente software potentieel giftige moleculen die wellicht als biowapens kunnen worden ingezet. Die moleculen werden niet daadwerkelijk gemaakt, maar door de software voorgesteld. Veel verder durfden de onderzoekers niet te gaan. “We keken niet naar de synthetiseerbaarheid. En we gebruikten onze gereedschappen niet om syntheseroutes te ontwerpen waarbij we op volglijsten genoteerde of zwaar gereguleerde voorlopers van deze moleculen konden omzeilen. Maar dat zijn wel dingen die we ook met deze middelen zouden kunnen doen. Wij zijn kort daarvoor echter gestopt. Maar de belangrijkste implicatie is dat kwaadwillenden dat niet zouden doen; zij zouden doorgaan,” stelt Ekins.
Dat goedbedoelde software zo misbruikt kan worden, is schokkend. Zeker als je bedenkt dat de software die de onderzoekers gebruikten, reeds bestaat en de data waarop de software sterk leunde, publiekelijk beschikbaar is. “Er zijn honderden bedrijven die deze middelen gebruiken om medicijnen en andere moleculen te vinden,” stelt Ekins. “En als we niet zorgvuldig zijn, kan het misbruikt worden door één of meer kwaadwillenden.”
Afweging
Met dat in het achterhoofd lijkt het publiceren van een studie waarin wordt aangetoond dat goedbedoelde software bijna moeiteloos kan worden omgetoverd tot software die dodelijke moleculen genereert, misschien niet zo’n heel goed idee. “Het is een tweesnijdend zwaard,” erkent Ekins. Aan de ene kant is het immers belangrijk dat mensen zich bewust zijn van dit gevaar. Maar aan de andere kant kan het mensen ook op ideeën brengen. “Voor publicatie hebben we daar goed over nagedacht en ook met deskundigen over gesproken,” stelt Ekins. Maar uiteindelijk is er toch – met hier en daar wat weggelaten informatie (die overigens tijdens het peer-review proces wel beschikbaar was – gepubliceerd. “Zonder overdreven alarmistisch te zijn, zou dit een wake-up call moeten zijn voor onze collega’s die kunstmatige intelligentie gebruiken om medicijnen te vinden,” zo schrijven de onderzoekers. “Als onderzoeksveld moeten we over dit onderwerp gaan praten (…) Als verantwoordelijke wetenschappers moeten we ervoor zorgen dat misbruik van KI voorkomen wordt en dat de gereedschappen en modellen die we ontwikkelen, ten goede worden gebruikt.”
De implicaties van het onderzoek zijn zorgelijk. En ook Ekins en collega’s zijn duidelijk voorgoed verlost van het idee dat hun software enkel geschikt is om goed te doen. “Er zijn uitstekende therapeutische toepassingen denkbaar, maar er kan ook misbruik van worden gemaakt.”
