AI có thể tách tiếng nhạc cụ khỏi video chỉ trong "một nốt nhạc"

Các nhà nghiên cứu AI tại phòng thí nghiệm khoa học máy tính của MIT vừa tạo ra AI có thể tách tiếng nhạc cụ khỏi video chỉ với một cú click chuột đơn giản.

Bằng cách sử dụng mạng thần kinh học và deep learning, các nhà nghiên cứu đã đào tạo hệ thống AI có tên PixelPlayer với hơn 60 giờ video liên tục. Trong các video đó, AI được lắng nghe cách nhạc công chơi nhạc cụ.

Kết quả, sau khoảng 60 giờ tập luyện liên tục là việc AI có thể nhận dạng được hơn 20 nhạc cụ khác nhau ngay cả khi chúng không biết đó là gì. Ngay khi nghe thấy tiếng nhạc cụ, AI có thể tự động cô lập tiếng nhạc cụ đó khỏi âm thanh chung của video.

Theo Gizmodo, người nghe đơn giản chỉ cần nhấp vào nhạc cụ mà họ muốn nghe trong đoạn video đó, AI sẽ tự động xử lý và tách âm thanh đó trong thời gian ngắn.

PixelPlayer sử dụng deep learning tự giám sát, các nhà nghiên cứu tại MIT cũng không rõ AI này đã học cách phân biệt âm thanh từ nhạc cụ như thế nào.

Trong tương lai, các phần mềm có sự hỗ trợ của AI được kỳ vọng sẽ cách mạng hóa ngành công nghiệp âm nhạc.

Theo nhà nghiên cứu Zhao, hệ thống AI có vẻ đã nhận ra được yếu tố thực sự của âm nhạc, ví như tần số âm thanh của nhạc cụ. Zhao cho biết thêm nếu được áp dụng trên robot, chúng có thể giúp robot dễ dàng nắm bắt được môi trường xung quanh thông qua các thanh âm của xe cộ và động vật.

Nhóm nghiên cứu tin rằng nếu AI tiếp tục được cải tiến với khả năng nhận diện sự khác biệt giữa các loại nhạc cụ trong cùng một họ, nó sẽ giúp các bản remix và màn trình diễn nhạc cụ trở nên hay hơn. Ví dụ âm thanh của cây kèn có thể tăng lên hay tiếng đàn piano có thể giảm xuống một chút… Tất cả những thay đổi ngẫu nhiên này sẽ tạo nên những màn trình diễn lạ tai và vô cùng thu hút.

Hoặc với AI, các nhạc sỹ có thể dễ dàng tập trung vào một phần cụ thể của bài hát, qua đó dễ dàng xử lý những đoạn còn vướng mắc trong bài hát. Trong tương lai, các phần mềm có sự hỗ trợ của AI được kỳ vọng sẽ cách mạng hóa ngành công nghiệp âm nhạc, cải tiến kỹ thuật remix và tạo ra các bài phối thú vị hơn.