Nhóm sinh viên Trường ĐH Bách Khoa - Đại học Quốc gia TPHCM đã tạo ra trò chơi điện tử ứng dụng trí tuệ nhân tạo (AI), giúp quá trình phục hồi chức năng tay của bệnh nhân trở nên thú vị hơn.

Trò chơi đoạt giải Nhất

BK Hand Rehab là tên trò chơi, cũng là tên nhóm nghiên cứu, gồm Võ Ngọc Sang, Ho Trí Kháng, Trần Tiến Phát, Nguyễn Ngọc Thanh Xuân (Khoa Khoa học và Kỹ thuật máy tính) và Lê Gia Phát (Khoa Quản lý Công nghiệp), đã xuất sắc đoạt giải Nhất cuộc thi Sáng kiến vì cộng đồng 2023.

Ý tưởng thực hiện dự án BK Hand Rehab xuất phát từ đề tài luận văn tốt nghiệp của Võ Ngọc Sang, Ho Trí Kháng và Trần Tiến Phát vào giữa tháng 9/2022. Mục tiêu ban đầu của nhóm là tạo ra một trò chơi điện tử tương tác bằng tay, vì cả ba nam sinh đều chuyên về lĩnh vực trí tuệ nhân tạo và xử lý ảnh, lại có chung sở thích chơi game.

Nhận thấy đây là một hướng nghiên cứu có tính ứng dụng cao, nhóm đã quyết định “đập đi xây lại” đề tài luận văn tốt nghiệp vào giữa tháng 12/2022. Ba nam sinh Khoa Khoa học và Kỹ thuật máy tính còn mong muốn có thể ứng dụng sản phẩm vào thực tế, nên đã mời Thanh Xuân và Gia Phát tham gia nhóm nghiên cứu. Trong khi ba nam sinh đảm nhận phần nghiên cứu thì Xuân và Phát chịu trách nhiệm tìm kiếm các cuộc thi ý tưởng, cơ hội phát triển và thương mại hóa sản phẩm.

Trần Tiến Phát cho biết, các trò chơi hỗ trợ phục hồi chức năng tay trên thị trường thường có cách chơi khá phức tạp. Vậy nên nhóm muốn làm một sản phẩm có công dụng tương tự với cách chơi thú vị nhưng đơn giản hơn, phù hợp với mọi đối tượng.

Với những tiêu chí trên, nhóm đã tham khảo tài liệu về các bài tập vật lý trị liệu của Harvard Medical School và lựa chọn 16 động tác tập vật lý trị liệu tay, từ đó, thiết kế 3 trò chơi liên quan các động tác trên. Đó là trò chơi “Sharps and colors” (chọn hình dáng, màu sắc), “Eggs and milk” (di chuyển túi để hứng trứng, sữa) và “Dino run” (điều khiển khủng long né vật cản).

Sau khi có ý tưởng và cách thực hiện, nhóm bắt đầu xây dựng mô hình AI nhận diện cử chỉ tay của người dùng. Trong 4 tháng, các thành viên thiết lập bộ dữ liệu gồm các thao tác cử chỉ tay như đưa tay sang trái, sang phải… trên thiết bị cảm biến Leap Motion Controller.

Tiếp đến, nhóm nhập bộ dữ liệu đã thiết lập vào mô hình AI, đồng thời gán từng dữ liệu với các hành động trong trò chơi. Ví dụ, dữ liệu “đưa tay sang trái” được gán với hành động di chuyển túi sang bên trái để hứng đồ vật.

Trải qua vô số lần thử nghiệm, đánh giá và điều chỉnh, đến tháng 4/2023, nhóm đã hoàn thiện mô hình AI có khả năng “bắt” được cử chỉ tay nhanh và chính xác nhất, giúp quá trình chơi trò chơi mượt mà hơn.

Người dùng trải nghiệm trò chơi điện tử hỗ trợ phục hồi chức năng tay của nhóm BK Hand Rehab.

Cải tiến để phù hợp với người bệnh

Để trò chơi thông minh và dễ sử dụng, nhóm đã sử dụng thiết bị cảm biến Leap Motion Controller nhằm thu thập thông tin khung xương từ tay khi người dùng thực hiện các cử chỉ. Thông tin này sẽ được hệ thống ghi nhận, phân loại và chuyển đổi thành các hành động trong trò chơi.

“Để làm được điều đó, nhóm đã thử nghiệm nhiều thuật toán Học máy (Machine Learning) khác nhau. Đây cũng là một trong những công đoạn khó và tốn nhiều công sức nhất khi nhóm đã phải thử nghiệm, cũng như “đập đi xây lại” tương đối nhiều nhằm tìm ra thuật toán cho độ chính xác cao nhất và hiệu quả nhất”, Trí Kháng nhận định.

Ngoài ra, vì đặc thù của dự án dựa trên một thiết bị chuyên dụng khác cộng thêm với việc không có một bộ dữ liệu (dataset) nào hiện nay được coi là chuẩn và phù hợp cho đề tài, nhóm đã phải tiến hành thu thập một tập dữ liệu lớn phục vụ việc huấn luyện và đánh giá mô hình nhận diện cử chỉ tay sao cho dữ liệu được tổng quát nhất có thể.

Để khảo sát tính hiệu quả cũng như có thêm góc nhìn thực tế về sản phẩm, nhóm đã nghiên cứu người dùng ở khu dân cư mà Lê Gia Phát sống, gồm 6 người cao tuổi gặp vấn đề về xương khớp, 3 người bị co cứng chi do từng đột quỵ và 1 người bị bệnh teo cơ tay.

“Đa số ông bà chưa từng chơi game nhưng khi sử dụng sản phẩm của tụi mình, ông bà đều rất thích thú, thao tác dễ dàng. Tuy vậy, tụi mình cũng nhận được phản hồi là người chơi bị tê tay sau một thời gian sử dụng, nên đã thiết kế một giá đỡ tay bằng gỗ để người dùng không bị mỏi, tê tay khi chơi” - Lê Gia Phát hào hứng kể.

Khi chơi, người dùng sẽ đặt tay lên giá đỡ tay, sau đó thực hiện các thao tác nắm/thả, đánh tay sang trái/sang phải/lên trên/xuống dưới theo yêu cầu của trò chơi. Nhóm đang triển khai 3 loại trò chơi cơ bản là chọn hình dáng và màu sắc; di chuyển đồ vật để hứng vật phẩm và tránh vật cản. Mức độ khó dễ được nâng cấp dần qua mỗi trò chơi.

Dù được người dùng đánh giá tốt, nhóm cũng nhận thấy hạn chế là mô hình nhận diện chưa thể áp dụng được cho các động tác phức tạp hoặc gồm nhiều bước chuyển động của tay. Đồng thời độ hiệu quả của sản phẩm cần nhận được nhiều sự đánh giá và công nhận từ các chuyên gia vật lý trị liệu để đảm bảo tính ứng dụng thực tế.

PGS.TS Quản Thành Thơ, Phó Trưởng khoa Khoa học và Kỹ thuật máy tính, giảng viên hướng dẫn nhóm cũng nhìn nhận, dù BK Hand Rehab mang đến một giải pháp nổi bật so với các phương pháp trị liệu tay truyền thống, song vẫn còn một số hạn chế cần phải được cải thiện.

Một số trò chơi cần được điều chỉnh để phù hợp hơn với người bệnh. Thứ hai, chúng tôi cần có sự công nhận về độ hiệu quả của giải pháp này từ giới chuyên gia vật lý trị liệu.