Expert • Les 18

Graph Neural Networks: AI op netwerk-data

Veel reele data heeft een graafstructuur: moleculen, sociale netwerken, weginfrastructuur, kennisgrafen. Graph Neural Networks (GNN’s) zijn architecturen die expliciet de topologie van deze grafen benutten om rijke representaties te leren.

Message Passing

Het centrale mechanisme in GNN’s is message passing: elke knoop aggregeert informatie van zijn buren en combineert dit met zijn eigen representatie. Na k rondes message passing bevat de representatie van elke knoop informatie over zijn k-hop buur. Varianten als Graph Convolutional Networks (GCN), Graph Attention Networks (GAT) en GraphSAGE onderscheiden zich in hoe ze aggregatie implementeren.

Toepassingen in molecuulontwerp

AlphaFold 2 en zijn opvolgers gebruiken GNN-achtige componenten om de driedimensionale vouw van eiwitten te voorspellen uit aminozuursequenties. De AtomFormer en andere chemie-AI’s voorspellen moleculaire eigenschappen voor medicijnontwikkeling. GNN’s zijn hier bijzonder geschikt omdat moleculen van nature graafstructuren zijn: atomen zijn knopen, bindingen zijn kanten.

Aanbevelingssystemen

Grote platforms als Pinterest (PinSage), Alibaba en Twitter gebruiken GNN’s voor aanbevelingen door de graafstructuur van gebruiker-item-interacties te benutten. PinSage schaalt GNN-inferentie naar grafen met miljarden knopen via random walks en mini-batch training, wat directe GNN-training op zulke grafen onuitvoerbaar maakt.

Beperkingen: oversmoothing en expressiviteit

Oversmoothing treedt op als te veel message passing-rondes worden gebruikt: alle knoop-representaties convergeren naar elkaar. De expressiviteit van GNN’s is begrensd door de Weisfeiler-Leman-graaf-isomorfismetest: bepaalde graafstructuren zijn niet te onderscheiden door standaard message passing. Hogere-orde GNN’s en geometric deep learning breiden de expressiviteit uit maar zijn computationeel duurder.