Späth var son till en fröhandlare i Sigmaringen men växte senare upp i Ilsfeld och gick på gymnasiet i Heilbronn. Han började 1960 arbeta på finansförvaltningen i staden Bietigheim och valdes till stadens borgmästare 1967. 1968 valdes han för första gången in i lantdagen i Baden-Württemberg och blev 1972 ordförande i CDU:s lantdagsgrupp. Han valdes till inrikesminister i delstaten 1978. Efter att Hans Filbinger avgått som ministerpresident blev Späth hans efterträdare sedan han vunnit valet gentemot Manfred Rommel. Han återvaldes vid valen 1980, 1984 och 1988 och kunde försvara CDU:s absoluta majoritet.