O edifício que hoje alberga a Biblioteca Sir Robert Ho Tung foi construído antes de 1894. Pertenceu primeiro a Carolina Antónia da Cunha e passou por várias mãos até ser comprado por Sir Robert Ho Tung, em 1918. Após a sua morte, os descendentes cumpriram a sua vontade e doaram a propriedade ao Governo de Macau para a criação de uma biblioteca pública com uma coleção chinesa.
A biblioteca abriu ao público a 1 de agosto de 1958. Em 2006, entrou em funcionamento uma nova instalação, com uma sala para livros antigos e serviços bibliotecários modernos. Uma antiga residência serve agora os leitores na zona histórica em redor do Largo de Santo Agostinho.




