Des grands commandements militaires sont créés sous le Second Empire, avec un maréchal de France à leur tête. A Toulouse, le maréchal Adolphe Niel prend le commandement du 6e corps d'armée en 1859.

L'hôtel est construit entre 1863 et 1868 sur un terrain appelé le champ de foire. Il comprend cinq bâtiments : 2 pavillons encadrant l'entrée devant le logis, les écuries et les remises du côté du Jardin Royal et un bâtiment destiné au piquet de cavalerie auquel sont accolées une orangerie et une serre du côté des allées Forain-François-Verdier. Un plan de 1866, conservé au Musée du Vieux-Toulouse montre qu'un jardin "à l'anglaise" est conçu en même temps que l'édifice.