Al concluir su mandato en 1886, Roca apoyará la candidatura presidencial de su concuñado, el cordobés Miguel Juárez Celman. Pellegrini integrará el segundo término de la fórmula que obtendrá el triunfo.

Pellegrini, como la mayoría de los vicepresidentes argentinos, mantuvo un perfil bajo. Durante este período realizó varios viajes a Europa y los Estados Unidos. Pero los descalabros del gobierno de Celman, que provocaron la grave crisis económica de 1890 y las justificadas acusaciones de corrupción y mal desempeño, convocaron a Pellegrini a un primer plano

En 1883, junto a un grupo de amigos apasionados como él por las carreras de caballos, entre los que se contaba Miguel Cané, fundó el Jockey Club. Según Pellegrini, el Jockey debía ser además un centro cultural y social que contribuyera a refinar los modales y los gustos de la clase dirigente.

Tras el triunfo de las fuerzas leales, Pellegrini pudo dejar su cargo y asumir la banca de senador producto de las elecciones de 1880. Desde su banca retomará el proyecto de su padre de construir el puerto de Buenos Aires que había quedado inconcluso desde la época de Rivadavia. El senador adoptó el proyecto del ingeniero Eduardo Madero, con financiación y técnicos británicos, y logró su aprobación por el Congreso. Nueve años después, desde su cargo de vicepresidente dejará inaugurado el puerto de la capital.

El presidente Avellaneda lo convocó hacia el final de su mandato para ocupar el estratégico Ministerio de Guerra desde donde tendrá que enfrentar en 1880 la rebelión del gobernador de Buenos Aires, Carlos Tejedor, quien se negaba a aceptar la Ley de Federalización que le quitaba a la provincia el territorio de la capital. Pellegrini coordinó la acción de las tropas leales encabezadas por el joven general y presidente electo Julio A. Roca.

Dijo, entonces, en uno de sus discursos parlamentarios: "Si el libre cambio desarrolla la industria que ha adquirido cierto vigor y le permite alcanzar todo el esplendor posible, el libre cambio mata la industria naciente. La agricultura y la ganadería son dos grandes industrias fundamentales; pero ninguna nación de la tierra ha alcanzado la cumbre de su desarrollo económico con solo estas industrias. Las industrias que las han llevado al máximun de poder son las industrias fabril, y la industria fabril es la primera en mérito y la última que se alcanza, porque ella es la más alta expresión del progreso industrial".

En el Parlamento, se manifestó partidario de la libertad de enseñanza poniendo como ejemplo, al igual que Sarmiento, al modelo norteamericano. Durante los debates producidos en 1875 en torno al liberalismo o el proteccionismo, se mostró como un vehemente partidario de la adopción por parte del estado de políticas de protección de la incipiente industria nacional y fue uno de los promotores de la fundación del Club Industrial.

En 1871, mientras la fiebre amarilla se abatía sobre Buenos Aires, Pellegrini se casó con Carolina Lagos García, la compañera de toda su vida, con quien no tendrá hijos. A año siguiente comenzará su carrera política al ser electo legislador provincial en Buenos Aires. En 1873 llegó al Congreso como diputado nacional donde completará un período de seis años en los que se destacará por su excelente oratoria y su claridad de conceptos. Su colega José Manuel Estrada reconocía los méritos de su opositor al decirle a un colega en plena sesión: "si usted no me entiende, le pediré al diputado Pellegrini que se lo aclare como él solo sabe hacerlo".