Tras más de un año de incertidumbre sobre quién sería el candidato a sucederle, el 1 de septiembre de 2003, el presidente José María Aznar propone a la Comisión Ejecutiva Nacional popular la elección de Mariano Rajoy como secretario general del PP y candidato a la Presidencia del Gobierno en los comicios de 2004.
La propuesta fue aprobada por unanimidad y revalidada por la Junta Directiva Nacional del Partido; de los 504 asistentes, 503 votaron a su favor, con sólo un voto en blanco.

Tras el atentado de Al Qaeda en Madrid el 11 de marzo y la, cuando menos, controvertida gestión del gobierno (liderado todavía por Aznar), los populares perdieron la Moncloa y Rajoy se fue a la oposición.
Pocos días después, en una reunión de la Junta Directiva Nacional, Mariano Rajoy anunciaba que optaría a la presidencia del PP, en sustitución del propio Aznar, en el próximo Congreso, y que Ángel Acebes sería el secretario general del partido.
En el XV Congreso del Partido, celebrado los días 1 a 3 de octubre de 2004, Rajoy fue elegido presidente. Su candidatura obtuvo el 98, 37% de los votos de los compromisarios.
En mayo de 2004 Rajoy inició el diálogo con Zapatero sobre la reforma de la Constitución y los Estatutos de autonomía, subrayando su disposición al acuerdo aunque constatando sus discrepancias, esencialmente en materia de procedimiento.
Después de apoyar al Gobierno tras el anuncio de "alto el fuego permanente" de ETA, el 22 de marzo de 2006, le retiró su respaldo y rompió "toda relación" con el Ejecutivo durante un duro debate en el Congreso el 6 de junio de ese año, a raíz de la reunión entre el PSE y Batasuna. El 10 de marzo de 2007 encabezó la manifestación, convocada por el PP, en protesta por la decisión del Gobierno de atenuar la prisión al etarras De Juana y leyó el comunicado final, en el que convocó "solemnemente" a los ciudadanos a "defender la nación española" frente a la "claudicación" ante ETA.
En cuanto al Estatuto de Cataluña, el 16 de mayo de 2006, seis días después de su aprobación definitiva por las Cortes, defendió en el Congreso una proposición no de ley, en la que pedía un referéndum en toda España sobre el citado Estatuto por considerar que dicho texto afectaba a toda la nación española. La proposición, que iba acompañada de 4.028.396 firmas recogidas por toda España, fue rechazada por el resto de los grupos de la Cámara.
Además, tuvo hacer frente a la principal crítica al último gobierno del PP presidido por Aznar: el apoyo a EEUU en la guerra de Irak. En este sentido, el 26 de septiembre de 2007, en una entrevista en el canal de televisión Cuatro, tras la publicación de las actas de la reunión mantenida por Aznar y Bush en febrero de 2003, reconoció que a Irak "se fue sin resolución de la ONU" mientras que en Afganistán sí que la hubo.
El 10 de septiembre de 2007 fue elegido en la Junta Directiva Nacional candidato del PP a la Presidencia del Gobierno en las elecciones de 2008 que terminó también perdiendo.
Previamente, antes de las elecciones, Rajoy se vio obligado a excluir a Alberto Ruiz Gallardón de listas del partido al Congreso, empujado por la difícil situación en la que le colocó la presidenta de la Comunidad de Madrid, Esperanza Aguirre.
Tras la derrota electoral, Rajoy decide presentarse a la reelección y continuar liderando el partido. Su anuncio fue con un gran aplauso por parte de los miembros del Comité Ejecutivo Nacional, pero las diferencias no tardaría en venir. Sobre todo después de nombrar a Soraya Sáenz de Santamaría nueva portavoz en el Congreso.
Desde ese momento comienzan a barajarse en distintos ámbitos varias candidaturas alternativas a la del propio Rajoy, pero ninguna de ellas se materializa. La escisión en dos facciones es clara: los críticos, encabezados por Esperanza Aguire, Juan Costa o Gabriel Elorriaga, entre otros; y los marianistas.
Finalmente, la renuncia de María San Gil, líder del PP en el País Vasco, a respaldar la ponencia política, y el anuncio de renuncia a su reelección para el cargo, puso la guinda a la crisis de un PP que llega dividido a su XVI Congreso.