旗杆屋的设计带有希腊复兴式风格，然而，正如许多其他殖民地建筑一样，屋顶以本地中式物料建造，原因是从欧洲运送建材到香港既昂贵又需时致效率低。这些年来，旗杆屋因应香港气候及大楼的功能，其楼身经过多次改建。

当中最显著的改建，便是于1860年代加建了游廊。

游廊是一道设计精致的室外开放式长廊，围绕屋的中心结构而建。由于香港处于亚热带气候，加上当年缺乏现代空气调节设施，旗杆屋在夏季气温迅速上升，在春季又受潮湿之累。因此，游廊实属于屋内的功能性建设。一方面，它提供隔热作用，遮挡阳光，避免大楼直接曝晒。另一方面，它保持室内温度和暖稳定。纵然游廊在西方建筑上并非常见，它被视为有效降温通风及遮阳的设备，俨如早期的天然空气调节系统。

本网站内所介绍的六座建筑物中，除旗杆屋外，立法会大楼、甘棠第及中区警署建筑群的数座大楼，均有加建游廊。

1981年，政府将旗杆屋拨归市政局管理，目的为将大楼改建成一座弘扬中国茶艺文化的文物馆。

其后，重修工程随即进行，目标有三。

第一，确保公众安全。旗杆屋需要为结构加固，确保日后能安全开放予公众参观，而翻新工程亦须符合相关建筑物条例。

第二，符合文物馆的需要。例如，湿度对于文物馆来说事关重大，因会直接影响展品的状况好坏。故此，旗杆屋的窗户需多加一层透明塑料，以减低潮湿空气渗透入屋内的倩况，另外馆内需加设空气调节系统和其他设备，以控制室内湿度和温度。

第三，也许是最重要的一环，就是尽量回复大楼十九世纪中期的本貌，好让其典型建筑特色及室内设计风格，得以长久保存并展示。

例如，工程包括拆掉大堂的主要楼梯，回复位于大楼两旁的两道楼梯，并拆掉第一道门廊。

旗杆屋改建成的茶具文物馆于1984年正式开幕，并于1989年，根据《古物及古蹟条例》被列为香港法定古蹟。

1994年，市政局获捐赠一批珍贵中国陶瓷器和印章，旗杆屋原有的展览空间不敷应用。故此，当局于同年为文物馆加建新翼成为「罗桂祥茶艺馆」，展示该批捐赠文物。茶艺馆外观配合旗杆屋外部的设计风格，而室内则沿用传统中国式设计。