Carcosa Seri Negara yang terletaknya di sebelah Taman Tasik Perdana di Kuala Lumpur, di bina oleh Sir Frank Swettenham pada tahun 1896 dan merupakan kediaman rasminya. Beliau pindah masuk pada 1904 dan menggelarkannya "Carcosa", kemungkinan sepatah kata pinjaman Itali yang bermaksud "tempat yang amat disayangi". Pada masa yang sama, Sir Frank juga siap membina bangunan "King House" di tepi bukit sebelah. Tujuan pembinaan King's House, kini digelarkan "Seri Negara" (bermaksud "negara indah"), adalah untuk melindungi Gabernor Negeri-negeri Selat serta tetamu-tetamu Persekutuan Tanah Melayu yang mustahak. Sir Frank, Penasihat British bagi Sultan Perak, telah mencadangkan penggabungan keempat-empat negeri menjadi sebuah persekutuan. Cadangannya diterima oleh sultan-sultan berkenaan dan Pejabat Luar Negeri British. Seterusnya, Sir Frank dilantik sebagai Residen-Jeneral pertama Negeri-negeri Melayu Persekutuan. Kuala Lumpur pada masa itu merupakan sebuah kampung sederhana yang pada khususnya didiami oleh pelombong timah Cina. Akan tetapi Sir Frank mencintai tapak ini sejak 1888 sewaktu melawat kawasan hutan di pinggir barat. Oleh sebab beliau berasa bahawa bandar itu memerlukan sebidang kawasan awam, Sir Frank mengempang sungai di tapak hutan. Sungai itu menjadi tasik dan hutannya menjadi apa yang kini dikenali sebagai Taman Tasik Perdana. Dari 1904 sehingga serangan Jepun pada 1941, Carcosa merupakan kediaman rasmi wakil-wakil tertinggi British kepada negeri-negeri Melayu. Semasa Perang Dunia II, Carcosa menjadi Dewan Mes Pegawai Kanan Tentera Jepun. Pada Ogos 1945, Tentera British menggunakan tempat itu untuk Pegawai-pegawai Kanannya sehingga Ketua Setiausaha dilantik. Dengan kemerdekaan Persekutuan Tanah Melayu pada 1957, Carcosa menjadi kediaman rasmi Pesuruhjaya Tinggi British, sedangkan King's House (kini digelar "Seri Negara") merupakan rumah tetamu rasmi bagi tetamu Malaysia yang terpenting. Carcosa dipulang kepada Kerajaan Malaysia pada 1987. Pada 1989, selepas Ratu Elizabeth II mendiami di Carcosa semasa "Mesyuarat Ketua-ketua Kerajaan Komanwel" (CHOGM), pentadbiran kedua-dua rumah agam digabung untuk membentukkan apa yang kini digelarkan "Carcosa Seri Negara".