Ngày 20/3/1934, Bảo Đại làm đám cưới với Marie Thérèse Nguyễn Hữu Thị Lan và tấn phong bà làm Nam Phương Hoàng hậu. Ông là nhà vua đầu tiên thực hiện bỏ chế độ cung tần, thứ phi.
Dinh thự được Toàn quyền Đông Dương Pafquiere cho xây dựng từ năm 1928. Sau đó ít lâu, ông Toàn quyền nhượng lại cơ ngơi này cho vua Bảo Đại.
Dù đau khổ vì chồng trăng hoa, Nam Phương không một lời oán thán, bà chọn gửi lời cảm ơn. Chỉ vài lời dung dị, tinh tế nhưng cũng đủ khiến cho “người thứ ba” hiểu vị trí của mình.
Trong nhà thờ người Việt Nam ít ỏi lặng lẽ như nín thở chờ một cử chỉ, một dấu hiệu tỏ ra đế chế An Nam không hoàn toàn mất đi, mặc dù các cuộc chiến tranh đã lùi xa về quá khứ và sự im lặng đã kéo dài bốn mươi năm qua rồi…
Vua Bảo Đại có sở thích săn bắn. Mỗi chuyến săn có trên 100 người phục vụ, cùng một con voi trắng. Trong các cuộc chiêu đãi, ông xuất hiện với thứ phi Mộng Điệp…
Từ giữa tháng 3/1934 đến đầu tháng 4/1934, tờ “Hà Thành ngọ báo” của nhà tư bản Bùi Xuân Học có tới 17 tin bài về lễ đại hôn vua Bảo Đại và lễ tấn phong hoàng hậu Nam Phương.
Không chỉ là vợ, bà Monique Baudot đã giữ vai trò thư ký riêng, quản gia hay một người phục vụ của cựu hoàng Bảo Đại trong suốt những năm cuối đời của ông.
Trước khi tàu chở vua Bảo Đại du học về nước, ở Huế dân tình “bàn tán đến cuộc hồi loan này lắm”. Đức thiếu quân trở về đã khởi lên nhiều tranh luận.
Vào ngày 3/2/1950, cựu hoàng Bảo Đại, khi đó là Quốc trưởng Quốc gia Việt Nam thuộc Liên hiệp Pháp đã đến Lạng Sơn để tham dự một lễ tưởng niệm do người Pháp tổ chức.
Vào năm 1950, Quốc trưởng Bảo Đại đã mua lại biệt thự này từ một công chức Pháp để tặng cho bà Lê Thị Phi Ánh – một người vợ không chính thức. Từ đó biệt thự có tên là Phi Ánh.