Jolie Gabor sinh ra với tên khai sinh là Janka Tilleman[3] vào ngày 30 tháng 9 năm 1896, tại Budapest, Áo-Hung. Cha mẹ là ông Jona (hoặc Jónás) Hersch Tilleman (con trai của Schie Tilleman và Scheindel Grossman) và bà Franceska Chawe Feige Tilleman (nhũ danh Reinharz, Reinharcz, hoặc Reinhartz, con gái của Eiseg Reinhartz và Dorinh; cha mẹ của Jolie đều có tổ tiên là người Do Thái tổ tiên từ Galicia (sau này là một phần của Đế quốc Áo, ngày nay ở Ukraine). Gia đình Tillemans là thợ kim hoàn sở hữu một cửa hàng trang sức được gọi là "Ngôi nhà kim cương". Ông nội đã đổi tên thành József. Dòng dõi Do Thái của gia đình Tilleman cũng được tiết lộ từ một bác sĩ phẫu thuật, -peace.html Tiến sĩ Laszlo Tauber, cũng là người Do Thái, và một người bạn gia đình và hàng xóm của nhà Gabors ở Budapest.[4]

Gia đình bên ngoại của bà là dòng họ Reinharz đã thành lập các cửa hàng trang sức ở Vienna; người chú bên ngoại đã giúp người nhà Tillemans mở doanh nghiệp trang sức của họ, "Ngôi nhà kim cương", tọa lạc tại Rákóczi utca 54. ở Budapest.[5][6] Franceska (góa phụ của ông Josef Tilleman), kết hôn một thời gian ngắn với một bác sĩ y khoa và bác sĩ đa khoa, bác sĩ Miksa Kende (nhũ Kohn), con trai của Mór Lipót Kohn và Resi Kohn.[7]