El presidente Avellaneda lo convocó hacia el final de su mandato para ocupar el estratégico Ministerio de Guerra desde donde tendrá que enfrentar en 1880 la rebelión del gobernador de Buenos Aires, Carlos Tejedor, quien se negaba a aceptar la Ley de Federalización que le quitaba a la provincia el territorio de la capital. Pellegrini coordinó la acción de las tropas leales encabezadas por el joven general y presidente electo Julio A. Roca.