Cuộc đời tình ái của Gia Long cũng rất hay. Ông có một bà vợ tên Tống Thị Lan, bà là người đoan chính, nhâu hậu, dung nhan xinh đẹp. Ngày còn trẻ bà đã được Gia Long đích thân đem lễ vật đến hỏi cưới. Hôm hoàng tử Cảnh được gửi qua Pháp, Gia Long cũng qua Thái để tìm đồng minh, ông gửi bà nửa thỏi vàng rồi nói:
-Con chúng ta đi rồi, anh cũng sẽ đi đây. Em ở lại chăm sóc cho mẹ, chưa biết sau này mình sẽ gặp nhau ở đâu và lúc nào. Em cất vàng này làm tin, giờ anh đi nhé..
Lênh đênh theo ông từ lúc gian khó, khi Gia Long đi xa, bà vẫn giữ tín vật, một lòng một dạ chờ ông. Về sau khi Gia Long trở về, bà vẫn luôn như hình với bóng với chồng. Nhiều đêm bà còn thức để may y phục cho quân sĩ, rồi có lúc gặp nguy bà lại thúc trống cứu Gia Long trong cơn nguy khốn:
-Anh ơi, cẩn thận Tây Sơn!
-Anh biết rồi, cám ơn Lan!
Rồi hai vợ chồng cũng đánh trống ầm ầm. Tướng sĩ phấn chấn mà đánh vô cùng hăng máu. Xem Hán Sở tranh hùng ta thấy cảnh Ngu Cơ luôn bên cạnh Hạng Vũ, thì ở đây cũng có một cặp vợ chồng son như vậy. Khi mọi chuyện đã xong xuôi, đất nước thống nhất, vua Gia Long có hỏi bà về nửa thỏi vàng. Nàng Lan khi ấy đã là Quế phi, mỉm cười rồi đưa ra. Ông cảm động lắm bèn nói:
-Nàng chẳng bao giờ quên ta. Vậy phải giữ của này làm tin cho đời sau.
Ông cho ghép hai nửa lại với nhau, làm minh chứng cho tình yêu bất diệt của mình với người vợ cả. Nhưng số Quế phi cũng lận đận, con cái đều chết trẻ, bà cũng không thọ. Ngày bà mất Gia Long như chết luôn trong lòng, cứ thẫn thờ nhìn quan tài rồi khóc lóc thảm thiết. Vua Gia Long thương bà đến nỗi khi ông chết cũng muốn được bên bà. Quả thật bây giờ đi lăng Gia Long là thấy hai người đang nằm yên giấc ngàn thu cạnh nhau.
Ông có bà Minh phi Trần Thị Đang, mẹ của vua Minh Mạng và bà Đức phi Lê Ngọc Bình, con dâu vua Quang Trung. Cô Bình thì mình cũng đã kể trong một bài riêng rồi nên không nói ở đây nữa. Giai thoại dân gian còn kể rằng Gia Long có thêm một người “vợ nhặt” nữa. Trong một lần bại trận Tây Sơn, vua Gia Long phải trốn đến cù lao Ông Chưởng đóng giả làm ngư dân. Quân Tây Sơn đuổi rất gấp, quyết chặt đầu Gia Long cho bằng được. Ông chạy đến bờ sông mà không thấy thuyền, tình thế ngàn cân treo sợi tóc, ông thở dài tuyệt vọng:
-Số ta đến đây là tận rồi. Xin lỗi tổ tiên, con Phúc Ánh bất tài không trung hưng được gia tộc mình.
Bỗng có một đàn quạ và diều hâu bay vòng vòng trên sông, ông ngâm mấy câu thơ cuối cùng:
"Bâng khuâng quạ nói với diều,
Cù lao Ông Chưởng lại nhiều cá tôm."
Hóa ra khúc sông nào càng nhiều cầm điểu thì lại có nhiều tôm cá, đúng ngay lúc ấy có thuyền nhỏ đi qua thả lưới. Nhờ người ngư phủ tốt bụng nên Nguyễn Ánh quá giang.
-Cứu tôi, cứu tôi với!
Đến giữa sông thì nghe tiếng hét thất thanh, Gia Long bất chấp nguy hiểm bị Tây Sơn phát hiện, bèn chạy lên mũi thuyền để xem là ai. Hóa ra là một cô gái bị lật thuyền do gặp phải dòng nước mạnh. Lập tức Gia Long cởi áo nhảy ùm xuống sông bơi đến chỗ nàng (Gia Long vốn là một tay bơi cự phách). Ông choàng cánh tay rắn chắc qua vòng eo thiếu nữ rồi đưa nàng lên thuyền.
-Em cám ơn, may mà có anh…
-Cô không sao là tốt rồi.
Gia Long thở hổn hển vì mệt và sợ, nước chảy long tong trên đầu tóc chàng trai. Ánh mắt cô gái bỗng trở nên ôn nhu, tình ý liên miên bất tuyệt:
-Em tên Tố Lan, còn anh?
-Ơ tôi là Nguyễn Phúc Ánh, cô gọi là Nguyễn Ánh cũng được.
Chịu ơi cứu mạng, Tố Lan đã đưa Phúc Ánh về nhà tạ ơn. Gia đình nàng khi biết ân nhân độc thân mới đề nghị gả cô làm vợ cho Gia Long. Nghĩ rằng chuyện xảy ra có lẽ là duyên trời sắp đặt, mà lúc ấy anh chàng trẻ tuổi Gia Long cũng đang forever alone, thế là ngu gì không ừ.
Cuộc tình trên trời rớt xuống này hóa ra lại là vận may tuyệt vời của Gia Long, ông được nhà vợ giấu kín khỏi tai mắt Tây Sơn. Đồng thời, Tố Lan và những người thân còn bắt tôm cá, mua thóc gạo về nuôi vị hoàng tử sa cơ. Cha Tố Lan còn đi tìm kiếm giúp Gia Long các cận thần đang lưu lạc mỗi người một ngả để tập hợp lại, giúp ông tiếp tục sự nghiệp phục quốc. Nhưng sau khi Gia Long làm vua thì không rõ nàng Tố Lan đi đâu.
Ngoài ba mỹ nhân đặc biệt trong cuộc đời Gia Long như nói ở trên, trong hậu cung của vua còn có gần trăm bà phi khác là con các quan tiến cung. Các bà vợ này đều do các quan dâng tiến. Sau này, dù lớn tuổi song không nỡ làm tổn thương các quan, Gia Long vẫn chấp nhận việc nạp phi (ông bỏ chế độ hoàng hậu). Vì thế dàn harem của Nguyễn Ánh ngày càng gia tăng đến mức báo động. Nếu vua Gia Long là rồng, thì các bà phi là một bầy phượng tối ngày chí chóe.
Hậu cung là nơi chỉ có hoàng đế là người đàn ông duy nhất, là thế giới riêng để thiên tử mát xa, thư giãn bên các cục cưng trẻ đẹp của mình sau những giờ làm việc căng thẳng trên công sở. Ai không biết thì vẫn ảo tưởng các chị em khi ở chung với nhau, suốt ngày đuổi hoa bắt bướm thì hậu cung sẽ vô cùng bình yên và thần tiên. Nhưng trái lại, để giành được sự sủng ái của hoàng đế cũng như quyền lợi cá nhân, nơi đây đã biến thành chiến trường khốc liệt của các bánh bèo với đủ thứ thủ đoạn cùng âm mưu. Có câu ca dao:
"Nhà dường mà lợp tranh mây,
Làm trai hai vợ như dây buộc mình."
Gia Long thấm thía điều này vô cùng. Ông trở thành hoàng đế duy nhất trong lịch sử Việt Nam phát mệt với hậu cung của mình. Vua Gia Long oai hùng trong chiến trận, uy nghi khi ở bệ rồng nhưng vẫn không thể nào quản "chuyện nhà" mình. Gặp đại thần Chaigneau, ông ủ ê tâm sự:
-Khanh sẽ không ngờ rằng cái gì đợi trẫm ở kia (vua lén lút chỉ chỉ về phía hậu cung) khi trẫm rời khỏi nơi đây. Ở đây trẫm rất thoải mái vì được nói chuyện với những người xứng đáng. Họ lắng nghe trẫm, họ hiểu trẫm và khi cần, họ vâng lệnh trẫm răm rắp. Còn ở chốn hậu cung, trẫm gặp phải một lũ qủy sứ thật sự. Chúng cãi vã nhau, ngược đãi nhau, phỉ báng nhau và sau đó tất cả chạy đến cầu xin trẫm phân xử. Nếu làm đúng trẫm sẽ phải chửi tất cả. Khi các mẹ nóng máu thì chả mẹ nào chịu nhường mẹ nào.
Sau một lúc im lặng, vua lại… than tiếp:
-Haiz, chốc nữa trẫm sẽ ở giữa một đám yêu phụ làm trẫm điếc tai nhức óc. Trị nước dễ ẹc, trị mấy thím hậu cung mới khó.
Và rồi để chứng minh, hoàng đế Gia Long tội nghiệp giả giọng, điệu bộ của phi tần, tức giận hét lớn:
-Muôn tâu bệ hạ, bệ hạ phân xử, bà đã sỉ nhục thần thiếp, người ta ngược đãi thần thiếp, thần thiếp xin phân xử…
Gia Long được nước than tiếp:
-Trẫm không thể thải bớt hay hạn chế phi tần, vì phần đông họ đều là con cháu văn thần võ tướng. Nếu trẫm bỏ bê một người, cô ta sẽ lập tức rên rỉ với cha mình, và ông ta nếu không chế nhạo trẫm già cả yếu sinh lý thì cũng sẽ kể lại với đám bạn của ổng. Trẫm sẽ trở thành trò cười cho dân chúng.
Ông buộc phải ra quy định:
-Chửi nhau trong cung, ăn 50 hèo.
-Đánh nhau hoặc chửi nhau mà vua nghe thấy, 100 hèo.
-Tùy theo thương tích của nạn nhân mà ăn thêm đòn. =))
Nhìn lại, một nửa cuộc đời Gia Long là những chuyến phiêu lưu đông tây nam bắc, đối đầu với Tây Sơn cùng Nguyễn Huệ. Khi lên núi, lúc trong rừng, khi ra đảo, lúc bơi sông. Đó là một quãng thời gian đầy khổ cực với những cung bậc cảm xúc căm hận, buồn bã, vui mừng, nhưng cũng đầy sôi động, thú vị. Đã quen với những điều đấy, nên rất có thể đây là lý do nửa đời về sau ở cung điện Phú Xuân yên tĩnh, suốt ngày ra vào cung là gặp mấy con mẹ nhiều chuyện, Gia Long cảm thấy cuộc sống thật nhạt nhẽo:
-Trẫm muốn sửa lại hết cái thế giới này, nhất là đàn bà, vì họ ghê sợ hơn đàn ông!
