Van Der Elst começou em 1978, no RWDM de Bruxelas, onde ficou até 1984, tendo marcado cinco gols em 104 jogos. Ainda em 1984, ele se mudou para o Club Brugge, onde jogou até o fim da carreira, aos 38 anos.

Franky Van Der Elst disputou as copas de 1986, 1990, 1994 e 1998, sendo que nessa última ele não passou da primeira fase. Se desligou da seleção em 1998, tendo disputado 86 jogos, e um gol marcado.