雖然《山頂區保留條例》禁止華人居於太平山上，但凡事總有例外。何氏家族便是當年獲准居於中半山的首個華人家庭。其家族成員包括殷商及慈善家何東爵士，家族無論在政治界和金融界均財雄勢大，因此權勢冠絕同儕，享有尊貴社會地位。

1914年，何東爵士胞弟何甘棠在中環半山衛城道興建了一座四層高大宅。這座雄偉府第名為「甘棠第」，為何甘棠的主要居所。何氏的十二位太太和妾侍則住在位於干德道二十九號的另一住所。

「甘棠第」瑰麗堂皇，富有建築特色，無論大宅的面積或其面向維港、可從九龍清晰看到的優越位置，還有其花崗石巨柱、金箔鐵造的弧形露台欄杆、鋪張的室內設計和精緻講究的用料，都突顯何氏的非凡地位。

大宅設計亦保持傳統中國社會的階級觀念。例如，何氏平時只透過一樓側門進出大宅（據說是為了風水原因，不欲其財富溜走云云）。大宅亦設有兩道前後樓梯，前梯是何氏家族出入專用，傭人只准使用後梯（俗稱「妹仔樓梯」）。

直至1959年之前，「甘棠第」仍屬何氏家族擁有。其後，何氏將該廈售予一鄭氏家族，後來鄭氏家族再轉讓與耶穌基督後期聖徒教會。

大宅建築多年來鮮有改動，大部份維持原狀。1990年，古物諮詢委員會將「甘棠第」列為二級歷史建築，至2009年再把之列為一級歷史建築。

耶穌基督後期聖徒教會（「教會」）自1960年遷進「甘棠第」後，對樓宇進行過一些重要改動，包括在最底層加建了一個洗禮池，以及在二樓和三樓的游廊通道口加建鋁窗，並將該兩層闢為辦公室之用；此外，更將睡房之間的隔牆拆除。

教會亦拆掉多度百葉大門。幸而所有大門全被保存妥善，並於2003年大宅業權移交至香港政府時，一併歸還。

在教會佔用「甘棠第」的四十年間，裏面曾設置了一間小教堂、全職傳教士居住的公寓，及其他附屬教堂的辦公室。

2002年，教會宣佈由於會員日漸增多，「甘棠第」空間不敷應用，決定把它拆卸，並重新發展成為一所宗教暨教育中心。

當時不論政府和公眾均反對這項計劃。中西區居民於是發起簽名運動，收集了過千簽名向教會施壓；立法會議員為事件表示抗議；多個社區團體為保育該廈提出訴求。同年教會終同意與政府為拆卸決定作出談判。

事態於一年後方有進展，最後教會與政府達成協議，由政府向教會以港幣五千三百萬元收購「甘棠第」，並將之改建成「孫中山紀念館」。這是香港政府首次為保育原因收購歷史建築。

政府一直為興建「孫中山紀念館」物色合適館址，而最終落實於「甘棠第」，是基於多個原因：「甘棠第」已被空置，而且大宅位置毗鄰孫中山史蹟徑，再者何甘棠與孫中山先生甚有淵源，二人曾是同窗，亦是歷史上同期的風雲人物 ¹ 。

由教堂修葺成紀念館的工程於2004年展開。曾用作辦公室的游廊，裏面的鋁質玻璃窗全被拆走（窗框上的標記至今仍清晰可見）。教會歸還的木門被重新安裝，而室內亦加設了一些紀念館所需的現代設施，如防火系統、濕度控制、保安及無屏障通道等設備。

大樓獲復修至教會佔用前的原貌，然而幾項由教會加建的部份仍被保留，例如洗禮池。整項工程只作了最低限度的改建，亦盡量利用或保存原來的物料。這標誌着香港歷史文物保育的一個新里程。

舉例說，為了不能影響原有的建築，單就安裝電梯的位置已曾引起激烈討論。有人建議拆掉傭人後梯作為電梯位置，但是，經過反覆商議後，還是認為傭人後梯正是顯示傳統中國階級觀念的好例子，因此決不能拆除。結果，電梯最後設於現時的位置，以避免清拆大樓內任何原有部份。

紀念館於2006年開放予公眾參觀。

註 ¹ ：何甘棠與孫中山都是生於1866年，曾一同於中央書院讀書。