Trung tướng Phạm Đức Duyên từng giữ nhiều chức vụ như Chính ủy Sư đoàn 316 (Quân khu 2), Chính ủy Bộ chỉ huy quân sự tỉnh Tuyên Quang (Quân khu 2), Phó Chủ nhiệm Chính trị, Phó Chính ủy Quân khu 2.
Năm 2018, ông giữ chức vụ Phó chủ nhiệm Thường trực Ủy ban Kiểm tra Quân ủy Trung ương nhiệm kỳ 2015-2020. Tháng 3/2020, ông được bổ nhiệm giữ chức Chánh Văn phòng Bộ Quốc phòng, Văn phòng Quân ủy Trung ương.
Trung tướng Phạm Đức Duyên giữ chức Chính ủy Quân khu 2 thay thế cho người tiền nhiệm là Trung tướng Trịnh Văn Quyết vừa được bổ nhiệm làm Phó Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam.
