虽然《山顶区保留条例》禁止华人居于太平山上，但凡事总有例外。何氏家族便是当年获准居于中半山的首个华人家庭。其家族成员包括殷商及慈善家何东爵士，家族无论在政治界和金融界均财雄势大，因此权势冠绝同侪，享有尊贵社会地位。

1914年，何东爵士胞弟何甘棠在中环半山卫城道兴建了一座四层高大宅。这座雄伟府第名为「甘棠第」，为何甘棠的主要居所。何氏的十二位太太和妾侍则住在位于干德道二十九号的另一住所。

「甘棠第」瑰丽堂皇，富有建筑特色，无论大宅的面积或其面向维港、可从九龙清晰看到的优越位置，还有其花岗石巨柱、金箔铁造的弧形露台栏杆、铺张的室内设计和精致讲究的用料，都突显何氏的非凡地位。

大宅设计亦保持传统中国社会的阶级观念。例如，何氏平时只透过一楼侧门进出大宅（据说是为了风水原因，不欲其财富溜走云云）。大宅亦设有两道前后楼梯，前梯是何氏家族出入专用，佣人只准使用后梯（俗称「妹仔楼梯」）。

直至1959年之前，「甘棠第」仍属何氏家族拥有。其后，何氏将该厦售予一郑氏家族，后来郑氏家族再转让与耶稣基督后期圣徒教会。

大宅建筑多年来鲜有改动，大部份维持原状。1990年，古物咨询委员会将「甘棠第」列为二级历史建筑，至2009年再把之列为一级历史建筑。

耶稣基督后期圣徒教会（「教会」）自1960年迁进「甘棠第」后，对楼宇进行过一些重要改动，包括在最底层加建了一个洗礼池，以及在二楼和三楼的游廊通道口加建铝窗，并将该两层辟为办公室之用；此外，更将睡房之间的隔墙拆除。

教会亦拆掉多度百叶大门。幸而所有大门全被保存妥善，并于2003年大宅业权移交至香港政府时，一并归还。

在教会占用「甘棠第」的四十年间，里面曾设置了一间小教堂、全职传教士居住的公寓，及其他附属教堂的办公室。

2002年，教会宣布由于会员日渐增多，「甘棠第」空间不敷应用，决定把它拆卸，并重新发展成为一所宗教暨教育中心。

当时不论政府和公众均反对这项计划。中西区居民于是发起签名运动，收集了过千签名向教会施压；立法会议员为事件表示抗议；多个社区团体为保育该厦提出诉求。同年教会终同意与政府为拆卸决定作出谈判。

事态于一年后方有进展，最后教会与政府达成协议，由政府向教会以港币五千三百万元收购「甘棠第」，并将之改建成「孙中山纪念馆」。这是香港政府首次为保育原因收购历史建筑。

政府一直为兴建「孙中山纪念馆」物色合适馆址，而最终落实于「甘棠第」，是基于多个原因：「甘棠第」已被空置，而且大宅位置毗邻孙中山史蹟径，再者何甘棠与孙中山先生甚有渊源，二人曾是同窗，亦是历史上同期的风云人物 ¹ 。

由教堂修葺成纪念馆的工程于2004年展开。曾用作办公室的游廊，里面的铝质玻璃窗全被拆走（窗框上的标记至今仍清晰可见）。教会归还的木门被重新安装，而室内亦加设了一些纪念馆所需的现代设施，如防火系统、湿度控制、保安及无屏障通道等设备。

大楼获复修至教会占用前的原貌，然而几项由教会加建的部份仍被保留，例如洗礼池。整项工程只作了最低限度的改建，亦尽量利用或保存原来的物料。这标志着香港历史文物保育的一个新里程。

举例说，为了不能影响原有的建筑，单就安装电梯的位置已曾引起激烈讨论。有人建议拆掉佣人后梯作为电梯位置，但是，经过反复商议后，还是认为佣人后梯正是显示传统中国阶级观念的好例子，因此决不能拆除。结果，电梯最后设于现时的位置，以避免清拆大楼内任何原有部份。

纪念馆于2006年开放予公众参观。

注 ¹ ：何甘棠与孙中山都是生于1866年，曾一同于中央书院读书。