En 1871, mientras la fiebre amarilla se abatía sobre Buenos Aires, Pellegrini se casó con Carolina Lagos García, la compañera de toda su vida, con quien no tendrá hijos. A año siguiente comenzará su carrera política al ser electo legislador provincial en Buenos Aires. En 1873 llegó al Congreso como diputado nacional donde completará un período de seis años en los que se destacará por su excelente oratoria y su claridad de conceptos. Su colega José Manuel Estrada reconocía los méritos de su opositor al decirle a un colega en plena sesión: "si usted no me entiende, le pediré al diputado Pellegrini que se lo aclare como él solo sabe hacerlo".