A mediados del siglo XVIII, la Congregación de los Mercedarios se estableció en parte de las actuales tierras de Villa Ballester y de San Andrés donde construyó el convento La Crujía. En 1822 el edificio pasó a manos del Estado y durante la gobernación de Juan Manuel de Rosas tuvo un destino muy diferente: Cuartel General y cárcel.
De esta manera se convirtió en el centro de las operaciones bélicas más destacadas desde 1840 hasta 1852, cuando Rosas fue derrotado en Caseros. Mientras tanto, en sus alrededores, creció un poblado de quintas y artesanos. Pero el fin del gobierno de Rosas perjudicó el desarrollo y el caserío debió esperar al nuevo siglo para volver a expandirse. En 1905, San Andrés sólo era un grupo de huertas y granjas, el ex cuartel había sido demolido casi por completo y sus terrenos, rematados. Comenzaba una nueva urbanización.
Dos amos después, en un hecho trascendental para la zona, el San Andrés Golf Club se estableció en los terrenos que ocupa actualmente y, en 1909, sus autoridades gestionaron y consiguieron la construcción de la estación de tren San Andrés, habilitada ese año. Poco después, surgieron uniones vecinales que, tras arduos esfuerzos, comenzaron a obtener mejoras como el adoquinamiento de calles y esquinas y el establecimiento del primer destacamento policial, en Ayacucho entre La Crujía (actual 70) y Libertad.
En los años 20 se instaló la escuela Nº 16, y surgieron importantes instituciones como la Biblioteca Juan Bautista Alberdi y el Club Deportivo San Andrés. Con el crecimiento del pueblo aumentó la vida social: los vecinos disfrutaban de los carnavales sobre ayacucho, entre Francisca Hué y 3 de Febrero, o se reunían en el «Gran Recreo San Andrés», en Ayacucho y Diego Pombo. Era un bar con billar, cancha de bolos y jardines que había construido el inmigrante alemán Otto Kynart.
Por entonces, además abrió la primera sala de espectáculos, el Edén de San Andrés, que tuvo entre sus contratados al mismísimo Carlos Gardel. Los remates continuaron en la década siguiente y San Andrés siguió creciendo, en tiempos en los que la policía hacía rondas nocturnas, comunicándose con el pitido de un silbato, y los jóvenes se ganaban unas monedas cargando a las damas en sus brazos para cruzar la calle en los días de lluvia.
También en la década del 30 atravesaron San Andrés las primeras compañías de colectivos: la «Gral. San Martín» y la «12 de Octubre», a las que se le sumaron, gracias al mejoramiento de las calles, las líneas 48, 66, 73, 43 y 19, que ofrecieron nuevos medios de comunicación a los vecinos. La apertura del Liceo Militar y el establecimiento de algunas fábricas como la de aviones, planeadores y yates, son otros hitos de la historia local.
Entre las décadas del 40 y 50 el remate de tierras cercanas al Liceo fue acompañado por el establecimiento de nuevas instituciones, como la Cruz Roja. En los años siguientes se generalizó el uso de agua corriente y cloacas y el servicio automatizado de teléfonos. En 1970, se inauguró el alumbrado con luces de mercurio. Actualmente, la localidad de San Andrés y sus vecinas, con sus características casas bajas, cobijan varias entidades educativas, deportivas y sanitarias.