Trong quá trình xâm lược Việt Nam nửa cuối thế kỷ 19, quân Pháp đánh chiếm thành Vĩnh Long cả thảy hai lần. Trận đầu diễn ra từ ngày 20 cho đến ngày 23 tháng 3 năm 1862[1], thì thành thất thủ. Sau khi Hòa ước Nhâm Tuất (1862) được ký kết, ngày 25 tháng 5 năm 1863, tòa thành này lại trở về với nhà Nguyễn. Trận thứ hai diễn ra vào ngày 20 tháng 6 năm 1867, nhưng mãi đến năm 1945, nơi từng có tòa thành này (vì nó đã bị đối phương phá hủy) mới trở về với dân tộc Việt Nam.