Năm 1928, lãnh tụ Nguyễn Ái Quốc về Xiêm hoạt động với bí danh Thầu Chín và cậu bé Kỳ được chọn làm liên lạc. Năm 1933, Trần Văn Kỳ được kết nạp vào Đoàn Thanh niên Cộng sản và ngay trong năm đó được kết nạp vào Đảng Cộng Sản Đông Dương.
Năm 1934, Trần Văn Kỳ bị mật thám Thái Lan bắt giao cho lãnh sự Pháp ở Băng Cốc và sau gần một năm giam giữ, ông được trả lại cho nhà cầm quyền Thái Lan, ngay sau đó bị trục xuất khỏi Xiêm.
Giữa năm 1940, Trần Văn Kỳ tới Tĩnh Tây và gặp lại Thầu Chín, được Người đặt bí danh Hoàng Sâm. Cũng tại đây, lần đầu tiên Hoàng Sâm được gặp, làm quen với người đồng chí, đồng hương Dương Hoài Nam (tức Võ Nguyên Giáp).
Sau lần gặp gỡ quan trọng này, cuối năm 1940, Hoàng Sâm tham dự lớp huấn luyện cán bộ do lãnh tụ Nguyễn Ái Quốc cùng các đồng chí Võ Nguyên Giáp, Phùng Chí Kiên, Phạm Văn Đồng, Vũ Anh tổ chức và trực tiếp giảng dạy.
Ngày 28/1/1941, lãnh tụ Nguyễn Ái Quốc từ nước ngoài về Cao Bằng, Hoàng Sâm cùng Phùng Chí Kiên, Lê Quảng Ba, Đặng Văn Cáp bảo vệ Người trở về an toàn.
Tháng 5/1941, Trung ương Đảng tổ chức Hội nghị lần thứ 8 tại Khuổi Nậm, Hoàng Sâm được giao tổ chức đường dây qua Lạng Sơn đón các đại biểu về dự hội nghị.
Cuối năm 1941, Đội du kích Pắc Pó - Đội du kích đầu tiên của Cao Bằng được thành lập gồm 12 người do đồng chí Lê Thiết Hùng làm đội trưởng, Lê Quảng Ba làm chính trị viên và Hoàng Sâm được cử làm đội phó.
Nhiệm vụ của đội vừa bảo vệ khu căn cứ, bảo vệ Trung ương Đảng và lãnh tụ Nguyễn Ái Quốc vừa xây dựng cơ sở cách mạng, tiễu trừ nạn thổ phỉ vùng biên giới Việt - Trung thuộc địa bàn Cao Bằng. Từ giữa năm 1942, Hoàng Sâm được giao làm Đội trưởng đội vũ trang Cao Bằng khi Lê Thiết Hùng "Nam tiến".
