شُيّد المبنى الذي يضم اليوم مكتبة السير روبرت هو تونغ قبل عام 1894. وكان أولاً ملكاً لكارولينا أنطونيا دا كونيا، ثم انتقل بين أيدٍ عدة قبل أن يشتريه السير روبرت هو تونغ عام 1918. وبعد وفاته، نفّذ أحفاده وصيته وتبرعوا بالعقار لحكومة ماكاو كي يصبح مكتبة عامة تضم مجموعة صينية.
افتُتحت المكتبة للجمهور في الأول من أغسطس 1958. وفي عام 2006 بدأ مبنى جديد يضم غرفة للكتب القديمة وخدمات مكتبية حديثة عمله. وأصبح المنزل السابق يخدم القراء في الحي التاريخي المحيط بساحة القديس أوغسطين.




