Thiết bị chuyển đổi ngôn ngữ cử chỉ thành âm thanh

Giao tiếp giữa người khiếm thính và người không biết ngôn ngữ cử chỉ thường gặp trở ngại vì hai bên khó trao đổi trực tiếp. Ngôn ngữ cử chỉ đã góp phần thu hẹp khoảng cách này, nhưng phần lớn mọi người vẫn không thể hiểu chính xác các dấu hiệu được thực hiện bằng tay. Từ thực tế đó, một nhóm sinh viên tại Trường Đại học Houston ở Mỹ đã nghiên cứu thiết bị có khả năng nhận biết ngôn ngữ cử chỉ và chuyển nội dung thành lời nói. Thiết bị này có tên MyVoice, được phát triển với mục tiêu hỗ trợ quá trình trao đổi giữa người khiếm thính và những người xung quanh. Nguyên mẫu gồm mi crô, loa, hệ thống âm thanh, camera và màn hình. Các bộ phận được kết hợp để thiết bị có thể tiếp nhận cả dấu hiệu cử chỉ lẫn tiếng nói trong quá trình sử dụng. Khi vận hành, người dùng đặt MyVoice ở vị trí phù hợp để camera ghi nhận các dấu hiệu của ngôn ngữ cử chỉ. Thiết bị sau đó xử lý những chuyển động của cơ thể và chuyển phần nội dung đã nhận diện thành lời nói điện tử. Nhờ cách hoạt động này, người không hiểu ngôn ngữ cử chỉ có thể tiếp nhận thông tin thông qua âm thanh phát ra từ thiết bị. MyVoice cũng được thiết kế để thực hiện chiều giao tiếp ngược lại. Thiết bị có thể ghi âm tiếng nói của một người rồi xử lý nội dung trong đoạn ghi âm. Kết quả được chuyển sang dạng ngôn ngữ cử chỉ và hiển thị trên màn hình để người khiếm thính theo dõi. Để xây dựng nguyên mẫu, nhóm nghiên cứu đã tìm kiếm sự hỗ trợ từ cộng đồng người khiếm thính. Sự hỗ trợ này giúp nhóm tập hợp cơ sở dữ liệu gồm các hình ảnh liên quan đến ngôn ngữ cử chỉ. Đây là nguồn thông tin cần thiết để thiết bị có cơ sở nhận biết và xử lý những dấu hiệu được camera ghi lại. Ngôn ngữ cử chỉ không chỉ bao gồm một hình ảnh đơn lẻ mà có thể được tạo thành từ nhiều hình ảnh liên tiếp. Theo một thành viên của nhóm nghiên cứu có tên Seto, thông thường một dấu hiệu cử chỉ chứa từ 200 đến 300 hình ảnh. Thông tin này cho thấy việc xây dựng dữ liệu cho hệ thống đòi hỏi phải ghi nhận nhiều trạng thái chuyển động khác nhau. Nhóm sinh viên đã tập trung vào việc kết nối khả năng ghi nhận hình ảnh với chức năng xử lý âm thanh. Camera đảm nhiệm việc thu thập dấu hiệu cử chỉ, trong khi hệ thống âm thanh và loa hỗ trợ đầu ra bằng giọng nói điện tử. Ở chiều ngược lại, mi crô tiếp nhận tiếng nói còn màn hình hiển thị phần ngôn ngữ cử chỉ tương ứng. MyVoice là một nguyên mẫu được phát triển nhằm hỗ trợ giao tiếp giữa hai nhóm người có cách sử dụng ngôn ngữ khác nhau. Thiết bị cho thấy việc kết hợp camera, xử lý chuyển động, ghi âm và hiển thị hình ảnh có thể tạo ra một phương thức trao đổi hai chiều. Nghiên cứu của nhóm sinh viên cũng nhấn mạnh vai trò của sự phối hợp với cộng đồng người khiếm thính trong quá trình xây dựng cơ sở dữ liệu ngôn ngữ cử chỉ.