旗杆屋的設計帶有希臘復興式風格，然而，正如許多其他殖民地建築一樣，屋頂以本地中式物料建造，原因是從歐洲運送建材到香港既昂貴又需時致效率低。這些年來，旗杆屋因應香港氣候及大樓的功能，其樓身經過多次改建。

當中最顯著的改建，便是於1860年代加建了遊廊。

遊廊是一道設計精緻的室外開放式長廊，圍繞屋的中心結構而建。由於香港處於亞熱帶氣候，加上當年缺乏現代空氣調節設施，旗杆屋在夏季氣溫迅速上升，在春季又受潮濕之累。因此，遊廊實屬於屋內的功能性建設。一方面，它提供隔熱作用，遮擋陽光，避免大樓直接曝曬。另一方面，它保持室內溫度和暖穩定。縱然遊廊在西方建築上並非常見，它被視為有效降溫通風及遮陽的設備，儼如早期的天然空氣調節系統。

本網站內所介紹的六座建築物中，除旗杆屋外，立法會大樓、甘棠第及中區警署建築群的數座大樓，均有加建遊廊。

1981年，政府將旗杆屋撥歸市政局管理，目的為將大樓改建成一座弘揚中國茶藝文化的文物館。

其後，重修工程隨即進行，目標有三。

第一，確保公眾安全。旗杆屋需要為結構加固，確保日後能安全開放予公眾參觀，而翻新工程亦須符合相關建築物條例。

第二，符合文物館的需要。例如，濕度對於文物館來說事關重大，因會直接影響展品的狀況好壞。故此，旗杆屋的窗戶需多加一層透明塑料，以減低潮濕空氣滲透入屋內的倩况，另外館內需加設空氣調節系統和其他設備，以控制室內濕度和温度。

第三，也許是最重要的一環，就是盡量回復大樓十九世紀中期的本貌，好讓其典型建築特色及室內設計風格，得以長久保存並展示。

例如，工程包括拆掉大堂的主要樓梯，回復位於大樓兩旁的兩道樓梯，並拆掉第一道門廊。

旗杆屋改建成的茶具文物館於1984年正式開幕，並於1989年，根據《古物及古蹟條例》被列為香港法定古蹟。

1994年，市政局獲捐贈一批珍貴中國陶瓷器和印章，旗杆屋原有的展覽空間不敷應用。故此，當局於同年為文物館加建新翼成為「羅桂祥茶藝館」，展示該批捐贈文物。茶藝館外觀配合旗杆屋外部的設計風格，而室內則沿用傳統中國式設計。