Tornou-se jogador aos 16 anos de idade, no time de sua cidade, o Zorya Luhans'k (à época, Zorya Voroshilovgrado). Em 1980 e 1981, jogou pelo SKA Rostov, voltando ao Zorya em 1982. No ano seguinte, transferiu-se para o poderoso Dínamo Kiev, onde seria campeão duas vezes no campeonato soviético, em 1985.

1986 foi o ano em que esteve no auge: participou da Copa do Mundo do México e foi eleito o sexto melhor jogador europeu pela France Football (o prêmio ficou com o colega Ihor Byelanov), além de ser eleito também o jogador ucraniano e soviético do ano, além de ter sido campeão com o Dínamo na Recopa Européia e novamente no campeonato soviético.

Em 1988, com a abertura do comunismo, pôde ir para a Europa Ocidental jogar na Juventus, tornando-se o primeiro soviético (e ucraniano) a jogar no clube e na Itália. A contratação deu-se após o bom desempenho da URSS na Eurocopa 1988, quando terminou vice-campeã.

Entretanto, a duríssima missão de substituir o francês Michel Platini provou-se pesada demais a Zavarov. A diretoria da Vecchia Signora ainda traria, na temporada seguinte, o bielorrusso Syarhey Aleynikaw, seu colega de Seleção. A dupla permaneceria até 1990, conquistando nesse ano uma Copa da UEFA e uma Copa da Itália (seus únicos títulos na Juve) e integrando a seleção soviética na Copa daquele ano.

Após a Copa de 90, foi jogar na França, no Nancy (curiosamente, outro ex-clube de Platini). Jogou no país até 1998, quando encerrou a carreira, já na equipe semi-amadora do Saint Dizier, quando acumulava também a função de técnico. Despediu-se de seleções após o fim da União Soviética, não chegando a jogar pelas equipes da CEI e da Ucrânia. Ainda assim, foi incluído na seleção ucraniana do século sugerida pela revista semanal Ukrainsky Futbol.

Atualmente, é técnico do Arsenal Kiev.