Đề án thành lập Học viện được UBND TPHCM và Bộ GD&ĐT xây dựng từ năm 2009.
Học viện được thành lập nhằm tập trung đào tạo, bồi dưỡng về các ngành chính trị, hành chính cho cán bộ lãnh đạo, quản lý chủ chốt của các cấp ủy Đảng, Chính quyền và Đoàn thể của TPHCM.
Bên cạnh đó, đào tạo cán bộ quản lý hành chính Nhà nước, quản trị hành chính văn phòng, nhân viên thư ký hành chính; bồi dưỡng kiến thức quản lý nhà nước ngạch chuyên viên và chuyên viên chính, bồi dưỡng nghiệp vụ hành chính cho các chức danh chuyên viên của UBND các cấp và sở, ban, ngành TP.
Trường Cán bộ TPHCM tiền thân là Trường Đảng Khu ủy Sài Gòn - Gia Định được thành lập từ tháng 6/1965. Sau ngày 30/4/1975, trường được chuyển thành Trường Đảng Nguyễn Văn Cừ.
Đến năm 1997, Trường Đảng Nguyễn Văn Cừ, Trung tâm Giáo dục chính trị TP, Trường đào tạo tại chức được nhập lại với tên gọi Trường chính trị Nguyễn Văn Cừ.
Ngày 19/10, UBND TPHCM thành lập Trường Cán bộ TPHCM trên cơ sở sáp nhập Trường chính trị Nguyễn Văn Cừ và Trường Hành chính TP.
Trước đó, ngày 3/1/2012, UBND TPHCM đã chính thức khởi công xây dựng Học viện Cán bộ TPHCM trên diện tích đất gần 71.800 m2 với tổng diện tích sàn xây dựng gần 83.500 m2, bao gồm các hạng mục: khối hành chính, khối lớp học và thư viện, khối ký túc xá, hội trường 1.000 chỗ ngồi.
Ngoài ra còn có nhà thi đấu, hồ bơi, các sân thể thao ngoài trời. Đến thời điểm này, mọi hạng mục của gói thầy xây dựng Học viện Cán bộ TPHCM đã hoàn tất và đưa vào sử dụng.
