Dijo en uno de sus últimos discursos:

"Nuestra historia política de los últimos quince años es la historia política sudamericana: círculos que dominan y círculos que se rebelan; opresiones y revoluciones, abusos y anarquía. Pasan los años, cambian los actores, pero el drama o la tragedia es siempre la misma; nada se corrige y nada se olvida y las bonanzas halagadoras, como las conmociones destructoras se suceden a intervalos regulares cual si obedecieran a leyes naturales. Los unos proclaman que mientras haya gobiernos personales y opresores, ha de haber revoluciones; y los otros contestan que mientras haya revoluciones, han de existir gobiernos de fuerza y de represión. Todos están en la verdad, o, más bien, todos están en el error."

En 1906, fue electo diputado pero al poco tiempo cayó gravemente enfermo y tras un mes de lenta agonía falleció el 17 de julio de ese año

En 1901, se produjo la ruptura entre Pellegrini y el general Roca, que ocupaba por segunda vez la presidencia. Roca envió al Congreso un proyecto de unificación de la deuda externa a través de un empréstito externo de reducido interés y a largo plazo cuyo servicio se garantizaba con las rentas aduaneras. Pellegrini lo defendió en el parlamento y logró su media sanción. Pero tras una serie de artículos periodísticos y manifestaciones opositoras, Roca retiró el proyecto sin consultar a Pellegrini. Esto enojó notablemente a Pellegrini y lo alejó definitivamente de la política roquista, con la que mantenía profundas diferencias políticas por la permanente negativa del conquistador del desierto a discutir siquiera la posibilidad de una nueva ley electoral que pusiera fin al fraude. Pellegrini era uno de los miembros de la elite que comenzaban a considerar que la prosperidad alcanzada podía peligrar de no atenderse los reclamos de la oposición y se mostraban dispuestos a considerar la introducción de reformas graduales en el sistema electoral con el fin de evitar conflictos sociales.

Durante sus dos años de gobierno, demostró sus condiciones políticas. Pudo sacar al país de la crisis y permitió la realización de elecciones libres en la Capital lo que posibilitó la elección como senadores de Aristóbulo del Valle y Leandro N. Alem.

Culminó su mandato el 12 de octubre de 1892 transmitiéndole el mando al Dr. Luis Sáenz Peña y se retiró momentáneamente de la vida política hasta ser electo nuevamente senador en 1895.

Reunido este capital, el nuevo presidente inaugura su gestión aplicando medidas de austeridad, nacionalizando las obras sanitarias privatizadas por Celman, creando la Caja de Conversión para dar confianza a los inversores y el Banco de la Nación Argentina

Todas las miradas se dirigen al vicepresidente. Pellegrini pone como condición para asumir la presidencia que un grupo de banqueros, estancieros y comerciantes argentinos suscriban un empréstito de 15 millones de pesos para hacer frente a los vencimientos externos

En una carta a su hermano decía Pellegrini: "Me dirán ¿qué hay que hacer entonces? Pero, lo que hace el agricultor que pierde su cosecha: aguantar; se aprieta la barriga y economiza todo lo que puede, mientras vuelve a sembrar. Proteger la industria por todos los medios; ¡y dejarse de Bolsa y Tesoros y bimetalismo y música celestial!"