Đầu tháng 3/1975, chiến dịch Tây Nguyên của Quân Giải phóng nổ ra. Tướng Phạm Văn Phú đã có những phán đoán sai lầm, góp phần khiến tính hình chiến sự ngày càng xấu đi, làm suy sụp tinh thần và đánh tan gần như hoàn toàn lực lượng của Quân lực Việt Nam Cộng hòa ở Cao nguyên Trung phần

Ngày 16 tháng 3, theo chỉ thị của Tổng thống Nguyễn Văn Thiệu trong cuộc họp khẩn cấp ngày 14 tháng 3[11] tại Thị xã Cam Ranh, ông được chỉ thị tổ chức và chỉ huy cuộc triệt thoái toàn bộ Quân đoàn II và Quân khu 2 về Tuy Hòa để tái phối trí (Bộ tư lệnh Quân đoàn đặt ở Nha Trang). Cuộc triệt thoái này đã hoàn toàn thất bại, làm rối loạn và thiệt hại lớn cho Quân đoàn II và Quân khu 2. Sau đó ông bị triệu tập về Sài Gòn nhưng vì lâm bệnh nặng nên không thể trình diện Tổng thống Thiệu được. Đầu tháng 4, ông phải vào điều trị tại Tổng y viện Cộng hòa.

Đến sáng ngày 29 tháng 4 tại tư dinh số 19 đường Gia Long, Sài Gòn. Sau khi nhờ Đại úy Đỗ Đắc Tân (sĩ quan tùy viên) đưa phu nhân và các con ông lên phi trường Tân Sơn Nhứt để di tản ra khỏi Việt Nam, ông đã tự sát bằng một liều Choloroquine cực mạnh. Trung úy Mạnh (sĩ quan an ninh) biết được sự việc liền báo ngay cho phu nhân chưa kịp lên đường, quay trở lại đưa ông vào bệnh viện Grall cấp cứu nhưng vô vọng vì đã uống quá nhiều thuốc. Ông bị hôn mê đến 11 giờ 15 trưa ngày 30 tháng 4, tỉnh lại thều thào hỏi phu nhân về hiện tình chiến cuộc ra sao. Sau khi được biết Tổng thống Dương Văn Minh đã ra lệnh cho toàn thể Quân lực Việt Nam Cộng hòa buông súng đầu hàng và quân giải phóng đã vào tới Sài Gòn, nghe xong ông nhắm mắt từ trần, hưởng dương 47 tuổi.