Theo sách “Chín đời chúa, mười ba đời vua triều Nguyễn”, Khải Định là ông vua tai tiếng nhất của triều đại này. Khi còn là phụng hóa công (chưa chính thức làm vua), Khải Định đam mê bài bạc, nhiều lần thua độ phải để lính hầu ở lại. Thậm chí, mỗi khi hết tiền, ông ta còn nhờ vợ về xin nhà ngoại để chơi bạc. Chứng kiến con rể suốt ngày ham chơi, chưa sinh được con cái (mãi sau này Khải Định mới có con), bố vợ của ông ta là quan đại thần Trương Như Cương bực tức gọi Khải Định là "đồ bất lực vô hậu".