Au XIXème siècle, il existait deux bâtiments: la caserne de cavalerie et le Palais d'Orsay construits entre 1810 et 1838.
En 1871, pendant la commune le quartier est incendié. Pendant 30 ans l'emplacement n'est occupé que par des ruines.
En 1897, la Compagnie des chemins de fer d'Orléans va y construire une gare.
La gare et son hôtel sont construits en moins de deux ans. et inauguré le 14 juillet 1900 pour l'exposition universelle. Elle desservira pendant plus de 40 ans le sud-ouest de la France. A partir de 1939, la gare ne sert plus que la banlieue car ses quais sont trop courts à cause de l'électrification des lignes de chemin de fer et de l'allongement des trains.
La gare est utilisée par la Compagnie de théatre Renaud-Barrault puis pour des ventes aux enchères jusqu'en 1974.
En 1973, l'hôtel ferme et la gare faillit être démolie.
En 1978, la gare est classée monument historique et le projet de transformation en musée voit le jour. Le musée ouvre ses portes le 9 décembre 1986 et connait un grand succès.
Le musée est consacré à l'ensemble de la production artistique de 1848 à 1914 (peintures, pastels, sculptures, mobilier et objets d'art ...)
vues de l'interieur et de l'extérieur