甘棠第于一九一四年兴建，以第一任屋主何甘棠的名字命名。何甘棠（一八六六至一九五〇年），别名何启棠，又名何棣生，是何东爵士的胞弟。何甘棠不但是杰出的商人，而且也是著名的社区领袖和慈善家，在二十世纪初的华人及欧亚裔人商界中地位显赫，是当时最具影响力的人物之一。
何氏家族一直居于甘棠第，直至一九六○年郑姓商人购入该建筑物为止。翌年，该建筑物再转售予耶稣基督后期圣徒教会。政府于二〇〇四年购得甘棠第，并将之改建为孙中山纪念馆。该纪念馆自二〇〇六年十二月起开放给公众参观。
甘棠第属综合古典风格的建筑，这种风格在英皇爱德华时期的香港甚为流行。建筑物的墙身由红砖筑砌，门窗四周饰有花岗石，露台建有精巧华丽的铁制栏杆。甘棠第是本港最先以钢架兴建，并铺设入墙电线的建筑物之一。
建筑物内部富丽堂皇，糅合了巴洛克及洛可可风格的建筑特色。地库至二楼以宽阔华丽的楼梯连接，梯上设有精致的扶栏。主要房间的天花均饰有以金箔点缀的灰塑镶板，而主楼梯及其他当眼位置亦装设了色彩斑斓的玻璃窗，并以当时流行的新艺术风格图案作为装饰。
甘棠第于二〇一〇年列为古迹。