L’édifice se compose de deux anciennes casernes ottomanes, transformées en 1878 en cercle militaire. Grâce à deux inscriptions au-dessus de leur porte d'entrée, la datation et l'attribution de ces casernes sont connues : elles furent bâties en 1628 et en 1638 par Mousa al Yasri al-Andoulasi al-Himyari et son fils Ali. La structure ancienne est encore visible à l'intérieur du bâtiment, organisé autour de deux grandes cours à portique, dont l'une fut couverte d'une verrière et transformée par les Français en salle d'apparat ornée de bustes de maréchaux. À l'extérieur en revanche, le style Beaux-Arts de la façade ne laisse plus deviner cette origine ottomane de l'édifice.