Tháng 3 năm 1864, Grant được thăng chức trung tướng và đến miền đông nhận nhiệm vụ tổng chỉ huy toàn bộ quân đội miền Bắc. Sherman kế nhiệm ông làm tư lệnh Phân bô Quân sự Mississippi. Grant đã đề ra một chiến lược tiến công miền Nam theo nhiều hướng cùng một lúc. Kế hoạch dự định sẽ tiêu diệt hoặc vô hiệu hóa đội quân của Robert E. Lee tại Virginia bằng 3 mũi tấn công chính (của Meade, Butler, và Sigel) tiến hành nhắm hướng Richmond và thung lũng Shenandoah; chiếm Mobile với đội quân của Nathaniel Banks; và tiêu diệt quân của Johnston trên đường tiến về Atlanta. Hầu hết các cuộc tấn công đều khởi đầu thất bại: Butler sa lầy trong chiến dịch Bermuda Hundred; Sigel bị đánh bại nhanh chóng trong vùng Thung lũng; Banks lao đao trong chiến dịch đầy rủi ro Red River; Meade và Grant phải nhiều phen bị đẩy lui với tổn thất nặng nề trong chiến dịch Overland trước khi ổn định lại với cuộc bao vây Petersburg. Riêng chiến dịch Atlanta của Sherman là thu được thành công nhiều hơn cả.[37]

Vào thời điểm bắt đầu chiến dịch, Phân bô Quân sự Mississippi của Sherman được hợp thành từ 3 đội quân: Binh đoàn sông Tennessee của James B. McPherson (binh đoàn cũ của Sherman lúc dưới quyền Grant), Binh đoàn Ohio của John M. Schofield, và Binh đoàn Cumberland của George H. Thomas. Đối đầu với ông là Binh đoàn Tennessee của miền Nam do tướng Joseph E. Johnston chỉ huy. Sherman áp đảo Johnston với 98.000 quân chống lại 50.000, nhưng đội ngũ của ông bị suy giảm do có nhiều binh lính xin nghỉ phép, còn Johnston nhận được 15.000 quân tiếp viện đến từ Alabama trong tháng 4.[38]

Chiến dịch mở màn với nhiều trận đánh trong tháng 5 và tháng 6 năm 1864 khi Sherman đẩy Johnston lui về phía đông nam qua khu vực địa hình đồi núi. Sherman thận trọng tránh tấn công trực diện vào hầu hết các vị trí của Johnston; thay vào đó ông tiến quân bọc sườn tuyến phòng thủ của đối phương. Mỗi khi Sherman tiến hành bọc sườn (chủ yếu quanh sườn trái của Johnston), Johnston lại rút lui về một vị trí được củng cố vững chắc khác. Trận Kennesaw Mountain (27 tháng 6) là một ngoại lệ đáng chú ý, tại đó, bất chấp lời khuyên của cấp dưới, Sherman đã thử công kích chính diện và chịu thiệt hại đáng kể: mất 7.000 người so với 700 của Johnston. Quân đội cả hai bên đều có thuận lợi về tuyến đường tiếp tế bằng xe lửa, và Johnston dần rút ngắn tuyến tiếp vận khi rút lui về gần Atlanta, còn của Sherman thì bị kéo dài ra. Tuy nhiên, Jefferson Davis bắt đầu thất vọng về Johnston, vì cho rằng ông ta đang đánh mất nhiều lãnh thổ vô ích và lại không chịu phản công hay thậm chí là thảo luận kế hoạch với Davis.[39]

Ngay trước trận Peachtree Creek (20 tháng 7) ở vùng ngoại ô Atlanta, Jefferson Davis mất kiên nhẫn với chiến lược của Johnston, lo ngại rằng ông sẽ từ bỏ Atlanta mà không chiến đấu, và thay thế ông ta bằng viên trung tướng hiếu chiến John Bell Hood. Trong vòng 6 tuần lễ sau đó, Hood đã liên tiếp cố gắng tấn công một bộ phận lực lượng có vẻ tách rời khỏi quân chủ lực của Sherman; nhưng đều thất bại với thương vong nặng nề cho quân miền Nam, nhất là trong trận Atlanta ngày 22 tháng 7. Sherman cuối cùng đã cắt đứt được tuyến đường tiếp tế của Hood với phía nam. Biết rằng mình bị sập bẫy, Hood đã bỏ Atlanta vào đêm 1 tháng 9, thiêu hủy các kho hàng và công trình quân sự, gây ra trận đại hỏa hoạn trong thành phố.[40]

Cùng với chiến thắng của Sherman tại Atlanta, Đô đốc David Farragut cũng giành được thắng lợi hải quân quyết định trong trận Mobile Bay ngày 23 tháng 8. Băng qua những pháo đài bảo vệ vịnh, Farragut đã tấn công và buộc hạm đội phòng thủ thành phố của miền Nam phải đầu hàng, bắt được đô đốc miền Nam là Franklin Buchanan. Thành phố Mobile, mục tiêu mong muốn từ lâu của Grant, vẫn nằm trong tay miền Nam cho đến năm 1865, nhưng cảng biển quan trọng cuối cùng ở phía đông sông Mississippi thuộc vùng duyên hải vịnh Mexico đã bị khóa chặt, thắt chặt hơn nữa cuộc phong tỏa của miền Bắc. Việc chiếm Atlanta và Mobile Bay đã cổ vũ mạnh mẽ tinh thần miền Bắc và là đóng góp to lớn cho thắng lợi trong cuộc tái cử năm 1864 của Abraham Lincoln.[41][42]