Dinh thự được Toàn quyền Đông Dương Pafquiere cho xây dựng từ năm 1928. Sau đó ít lâu, ông Toàn quyền nhượng lại cơ ngơi này cho vua Bảo Đại.
Từ giữa tháng 3/1934 đến đầu tháng 4/1934, tờ “Hà Thành ngọ báo” của nhà tư bản Bùi Xuân Học có tới 17 tin bài về lễ đại hôn vua Bảo Đại và lễ tấn phong hoàng hậu Nam Phương.
Không chỉ là vợ, bà Monique Baudot đã giữ vai trò thư ký riêng, quản gia hay một người phục vụ của cựu hoàng Bảo Đại trong suốt những năm cuối đời của ông.
Trong nhà thờ người Việt Nam ít ỏi lặng lẽ như nín thở chờ một cử chỉ, một dấu hiệu tỏ ra đế chế An Nam không hoàn toàn mất đi, mặc dù các cuộc chiến tranh đã lùi xa về quá khứ và sự im lặng đã kéo dài bốn mươi năm qua rồi…
Dù đau khổ vì chồng trăng hoa, Nam Phương không một lời oán thán, bà chọn gửi lời cảm ơn. Chỉ vài lời dung dị, tinh tế nhưng cũng đủ khiến cho “người thứ ba” hiểu vị trí của mình.
Vua Bảo Đại có sở thích săn bắn. Mỗi chuyến săn có trên 100 người phục vụ, cùng một con voi trắng. Trong các cuộc chiêu đãi, ông xuất hiện với thứ phi Mộng Điệp…
Sau 10 năm du học ở Pháp, ngày 16/8/1932, vua Bảo Đại xuống tàu về nước. Ngày 8/9/1932 tàu chở vua về đến Đà Nẵng…
Trước khi tàu chở vua Bảo Đại du học về nước, ở Huế dân tình “bàn tán đến cuộc hồi loan này lắm”. Đức thiếu quân trở về đã khởi lên nhiều tranh luận.
Vào ngày 3/2/1950, cựu hoàng Bảo Đại, khi đó là Quốc trưởng Quốc gia Việt Nam thuộc Liên hiệp Pháp đã đến Lạng Sơn để tham dự một lễ tưởng niệm do người Pháp tổ chức.
Vào năm 1940, vua Bảo Đại đã mua lại biệt thự này từ một công chức Pháp để tặng cho bà Lê Thị Phi Ánh – một người vợ không chính thức. Từ đó biệt thự có tên là Phi Ánh.