Nhà xuất bản McGraw-Hill do James Herbert McGraw và John A. Hill thành lập.Ông James H. McGraw, một giáo viên tại New York, bắt đầu làm nghề xuất bản từ năm 1884. Ông mua bản quyền Tạp chí Dụng cụ Xe Hỏa Hoa Kỳ năm 1888. Khi đó, John A. Hill đang làm chủ bút tập san Kỹ Sư Xe Hỏa. Hai người này tiếp tục theo đuổi việc xuất bản các bài chuyên khoa trong ngành của mình. Năm 1899, McGraw thành lập "The McGraw Publishing Company". Năm 1902, John Hill thành lập "The Hill Publishing Company".Hai ông có quen biết qua lại với nhau trong nhiều lãnh vực nghiên cứu về xuất bản khoa học kỹ thuật. Năm 1909, hai nhà xuất bản kết hợp thành "McGraw-Hill Book Company". John Hill giám đốc, McGraw phó giám đốc. Hai nhà xuất bản tuy nhiên vẫn có một số hoạt động riêng biệt.Năm 1916 John Hill mất. Năm 1917, James McGraw kết hợp các phần còn lại của hai nhà xuất bản, tạo thành "McGraw-Hill Publishing Company".