Em 1972, quando seu colega desistiu de concorrer à Câmara Municipal, Alckmin decidiu entrar na disputa, e foi eleito o vereador mais votado da cidade, com 1.477 votos. Tornou-se o prefeito mais jovem da história de Pindamonhangaba - com 23 anos - em 1976, exercendo o mandato por seis anos.

Elegeu-se deputado estadual em 1982 e federal em 1986, pelo PMDB. Foi vice-líder da bancada na Assembléia Nacional Constituinte e ficou conhecido como o deputado do Código de Defesa do Consumidor - uma idealização sua. Também apresentou os primeiros projetos da lei sobre doação e transplante de órgãos e da lei de benefícios da Previdência Social.

Em 1988, tornou-se um dos fundadores do PSDB e em 1990 reelegeu-se deputado federal por São Paulo. Tornou-se presidente do partido em 1991, ajudando a fundar filiais do partido no interior do Estado.

Alckmin foi eleito vice-governador de São Paulo em 1994, com Mário Covas. Tentou a eleição pela prefeitura da capital em 2000, perdendo para Marta Suplicy (PT). O tucano assumiu o governo do Estado em 6 de março 2001, com o falecimento de Covas. Nas eleições de 2002, derrotou José Genoíno (PT) e foi reeleito governador no segundo turno.

Alckmin é casado com Maria Lúcia - conhecida como Lu Alckmin - e é pai de três filhos. O ex-governador é apontado como católico praticante, sempre mantendo imagens de Nossa Senhora Aparecida no gabinete e nos demais cômodos do Palácio dos Bandeirantes.