Foi eleito para a Knesset pela primeira vez em 1973, sendo re-eleito 7 vezes consecutivas desde então. De 1988 a 1990, foi Ministro sem Pasta responsável por assuntos de minorias e de 1990 a 1992, Ministro da Saúde. De 1993 a 2003, serviu dois mandatos como prefeito de Jerusalém, tornando-se o primeiro membro do Likud a ocupar o cargo.

    Em 2003, deixou a prefeitura de Jerusalém e voltou a integrar a Knesset, acumulando os cargos de Ministro da Indústria e do Comércio e de Vice-Primeiro-Ministro. Tornou-se um membro influente do gabinete de Ariel Sharon e um dos primeiros a defender a Retirada da Faixa de Gaza.

    Juntou-se ao Kadima junto com Sharon e, em 4 de janeiro de 2006, quando este foi internado e declarado desabilitado, assumiu o cargo de Primeiro-Ministro interino. Foi o líder do Kadima até as eleições de 28 de Março, quando foi eleita a 17ª Knesset. Tornou-se, então, chefe do 31º Governo do Estado de Israel. É também o Ministro do Bem Estar Social.

    Ehud Olmert governou Israel durante a Operação Chuva de Verão, na faixa de Gaza, e durante o conflito com o Líbano. Ele é casado, tem quatro filhos biológicas e um adotado. Sua mulher, Aliza, cujas opiniões estão mais à esquerda que as de Olmert, diz ter votado nele pela primeira vez em 2006, quando concorreu pelo Kadima.