Το κτίριο ανεγέρθηκε κοντά στα τέλη του 19ου αιώνα, κατά πάσα πιθανότητα το 1880. Χτίστηκε ή αγοράστηκε από τον εβραϊκής καταγωγής καπνέμπορο Ααρών Μωυσή. Κατόπιν πέρασε στην ιδιοκτησία του επίσης καπνέμπορου Βασίλειου Μουράτη (από την Κωνσταντινούπολη, με τα φημισμένα τσιγάρα Muratti που υπάρχουν μέχρι σήμερα) και μετά του καπνέμπορου Ιωάννη Ορφανίδη. Το 1926 οι κληρονόμοι του τελευταίου πούλησαν το αρχοντικό στον Δήμο Ξάνθης. Από εκείνη τη χρονιά και μέχρι το 2013 στο κτίριο αυτό στεγάστηκε το Δημαρχείο της πόλης, πριν μεταφερθεί στην κεντρική πλατεία της Ξάνθης. Το κτίριο σήμερα έχει ανακαινιστεί και χρησιμοποιείται ως πολιτιστικός χώρος του Δήμου.

Διαθέτει πλούσια εσωτερική διακόσμηση από σιδεριές και γύψινες διακοσμήσεις από υλικό, που μέχρι σήμερα δεν εξακριβώθηκε η σύνθεσή του, καθώς και για τα σκαλιστά του ταβάνια. Συντηρείται σήμερα με διάφορες τεχνικές παρεμβάσεις, ώστε να μην αλλοιωθεί η αρχιτεκτονική του αφού διαθέτει άριστη λειτουργικότητα για τους συναλλασσόμενους με τις υπηρεσίες του.