Thời trẻ, ông thường làm thơ gửi báo với bút danh "Nùng Khánh Lâm".
Năm 1944, ông lập gia đình với bà Lê Thị Lý, người dân tộc Nùng.
-Ông bà có với nhau 5 người con (2 trai, 3 gái):
Phạm Lê Hùng, Phạm Lê Bích Hà, Phạm Lê Hiệp, Phạm Lê Hích Hằng, Phạm Lê Bích Hải.

Năm 1992, bà Lý qua đời ở Hoa Kỳ. Năm 1994, ông tái hôn với bà Trịnh Mỹ Lan (Bà Lan có ba người con riêng).[13]