«Γεννήθηκα στις 23 του Οκτώβρη στην Ξάνθη, στην παραμυθένια Παλιά Πόλη, τη διατηρητέα» έτσι περιέγραφε τη γενέτειρά του ο Μάνος Χατζιδάκις στο αυτοβιογραφικό του κείμενο.  Η εικόνα του οικήματος, το οποίο είναι χαρακτηρισμένο ως έργο τέχνης και ως ιστορικό διατηρητέο μνημείο σήμερα, μετά από τις παρεμβάσεις, είναι μαγευτική και αποτελεί πλέον στολίδι μεγάλης αξίας για τη Ξάνθη.

Η οικία που γεννήθηκε κι έζησε τα πρώτα χρόνια του ο κορυφαίος Έλληνας μουσικοσυνθέτης με το ακηδεμόνευτο πνεύμα και την τολμηρή για την εποχή του σκέψη, με τις αναπαραστάσεις που έχουν φανεί σε όλο τους το μεγαλείο και τις εξαιρετικές τοιχογραφίες σε όλους τους χώρους, δημιουργήθηκε για να είναι ένας ζωντανός χώρος, συνεχώς επισκέψιμος και δημιουργικός, ένας πολυχώρος Τέχνης και Σκέψης ο οποίος ταυτίζεται με το «μεγάλο Μάνο», τον άνθρωπο της σκέψης και της τέχνης. Ένας χώρος όπου θα συναντιούνται πολίτες για να συνθέσουν μια «Νέα Αφήγηση», υπό την γόνιμη και αποφασιστική επίδραση του υπερκόσμιου μουσικού σύμπαντος και της συνείδησής του οικουμενικού Μάνου.

Το κτίριο χτίστηκε στα τέλη του 18ου αιώνα, την ίδια περίοδο που έγινε και η βίλα Αλλατίνη στην Θεσσαλονίκη, έχει νεοκλασικιστικά στοιχεία και λίγο μπαρόκ. Δε γνωρίζουμε τον αρχιτέκτονα, αλλά πιθανόν να είναι αυστριακός.

Το κτίριο, ήταν ιδιοκτησία του Ισαάκ Δανιέλ, ενός Εβραίου ο οποίος ήταν ανάμεσα στους πιο πλούσιους ανθρώπους εκείνης της εποχής. Το επάγγελμά του ήταν χρηματιστής και ταυτόχρονα ασχολούταν με το καπνεμπόριο και τις μεσιτείες. Αγόρασε το κτίριο και το έκτισε σε δυο φάσεις. Μετά το θάνατο του Ισαάκ, το κτίριο πέρασε στα χέρια των παιδιών του, επειδή όμως δεν ήταν σε θέση να πληρώσουν το φόρο κληρονομιάς, το υπουργείο οικονομικών πήρε το κτίριο και το μετέτρεψε στην εφορία της εποχής. Έπειτα, όταν ο εμφύλιος έλαβε τέλος παραχωρήθηκε στο στρατό και ήταν το φρουραρχείο.