In de jaren 50 en 60 van de 20e eeuw behoorde Ivanov tot de beste aanvallers van zijn generatie. Met de olympische selectie won hij in 1956 de gouden medaille op het onderdeel voetbal. In 1960 en 1964 nam hij deel aan twee Europese kampioenschappen, waarin de Sovjet-Unie beide keren de finale behaalde en één keer de beker pakte (1960). Daarnaast was Ivanov aanwezig op twee wereldkampioenschappen waarin hij in totaal zes doelpunten maakte. Uiteindelijk kwam Ivanov tot 59 optredens waarin hij 24 treffers maakte. Met dit aantal doelpunten staat hij op de derde plaats van de lijst van topscorers van de Sovjet-Unie, achter Oleh Blochin (42) en Oleg Protasov (29).[2]
Ivanov was sinds 1959 getrouwd met de meervoudig olympisch turnkampioen en wereldkampioen Lidia Ivanova. Samen zijn ze de ouders van de voormalig voetballer en scheidsrechter Valentin Ivanov.
Torpedo Moskou