Dần dần vì tính chất sang trọng, ước lệ, ban tổ chức đã quy đổi tất cả những loại quà tặng vật chất ấy thành những biểu tượng tinh thần hay những danh hiệu - thứ hạng, cụ thể là các huy chương và bằng khen.
Bắt đầu từ Đại hội thể thao Olympic Athens - Hy Lạp cổ đại cách đây hơn 2.700 năm, người xưa đã tính đến chuyện trao giải thưởng bằng tinh thần, thay vì những đàn gia súc ồn ã, những bao lúa mỳ nặng trĩu hay một khoản tiền mặt kếch xù rơi loảng xoảng. Họ đề ra việc ai thắng giải nhất sẽ được trao một vòng lá nguyệt quế để đội trên đầu, lấy làm vinh dự.
Sở dĩ như vậy, vì ở Hy Lạp, dân gian rất tôn thờ thần Zeus - người cai trị trên đỉnh núi cùng với 12 vị thần bảo hộ cho từng miền đất và lĩnh vực của đất nước, và chỉ có thần linh mới được đội vòng nguyệt quế.
Sau này có thêm vua chúa hoặc các nhà vô địch được phép. Việc cho người thắng giải đội vòng nguyệt quế do đó là một vinh dự cực lớn, còn hơn cả tiền bạc.
Năm 1896, Olympic được phục hồi tại Athens, ban tổ chức quy định người đoạt giải nhất sẽ được nhận Huy chương Bạc với một vòng nguyệt quế, còn người về nhì thì giành Huy chương Đồng cũng với một vòng nguyệt quế.
Lúc đầu, có Huy chương Đồng màu xanh cho giải Nhì, rồi tiếp tục có Huy chương Đồng màu đỏ cho giải Ba. Tuy vậy, chưa có Huy chương Vàng.
Năm 1900 ở Olympic Mùa hè tại Paris (Pháp), lần đầu tiên trong các kỳ đại hội đã có thêm phần thưởng là cúp vàng, bạc, đồng và tranh tượng đẹp mắt, trao cho người đoạt giải.
Khi Olympic Mùa hè đến Mỹ năm 1904, Huy chương Vàng đã xuất hiện, và mọi người cũng thống nhất giải nhất là Huy chương Vàng, nhì - Bạc, ba - Đồng. Kể từ đây Olympic ấn định ba loại huy chương này dành cho người đoạt giải nhất, nhì, ba.
Tổng cộng đã có 96 Huy chương Vàng, 92 Huy chương Bạc và 92 Huy chương Đồng được trao trong Thế vận hội 1904. Tại các thế vận hội, có 3 nước liên tục dẫn đầu trong bảng tổng sắp, nhiều nhất là Mỹ (2.827 huy chương), kế tiếp đến Nga (1.204), Anh (883)…
Trong ba loại huy chương, đồng từ xưa đã được dùng bởi lẽ là chất liệu dễ tìm, dễ đúc - điêu khắc với chi phí thấp. Còn vàng và bạc hiếm quý hơn. Vì thế, vàng và bạc luôn được ưu tiên cho nhà vô địch, quán quân.
Tuy nhiên, đó là Huy chương Vàng của ngày xưa (trước năm 1912). Hiện, huy chương không phải bằng vàng ròng 100%, mà chỉ có 6 gam vàng 24 cara được dát lên mặt bạc và chiếm khoảng 1% tổng trọng lượng của tấm Huy chương Vàng.