Không phải dữ liệu lớn, dữ liệu nhỏ mới là thứ quan trọng với trí tuệ nhân tạo

Khi nghe đến “trí tuệ nhân tạo”, nhiều người hình dung ngay đến “dữ liệu lớn”. Có lý do cho điều đó: một số đột phá nổi bật nhất của AI trong thập kỷ qua đã dựa vào các tập dữ liệu khổng lồ.

AI không đồng nghĩa với “dữ liệu lớn”

Việc phân loại hình ảnh đã đạt được những bước tiến lớn trong những năm 2010 nhờ sự phát triển của ImageNet, một tập dữ liệu chứa hàng triệu hình ảnh được phân loại thủ công thành hàng nghìn loại. Gần đây hơn, GPT-3, một mô hình ngôn ngữ sử dụng học sâu để tạo ra văn bản giống như con người, được hưởng lợi từ việc đào tạo hàng trăm tỷ từ của văn bản trực tuyến.

Vì vậy, không có gì ngạc nhiên khi chúng ta thường liên tưởng AI với “dữ liệu lớn”. Nhưng AI không chỉ là về các tập dữ liệu lớn, và nghiên cứu về phương pháp tiếp cận “dữ liệu nhỏ” đã phát triển rộng rãi trong thập kỷ qua – trong đó học tập chuyển giao (transfer learning) là một ví dụ đặc biệt hứa hẹn.

Còn được gọi là “tinh chỉnh” (fine-tuning), học tập chuyển giao hữu ích trong các cài đặt mà bạn có ít dữ liệu về nhiệm vụ cần quan tâm nhưng lại có nhiều dữ liệu về một vấn đề liên quan. Cách hoạt động là trước tiên bạn đào tạo một mô hình bằng cách sử dụng tập dữ liệu lớn, sau đó đào tạo lại một chút bằng cách sử dụng tập dữ liệu nhỏ hơn liên quan đến vấn đề cụ thể của bạn.

Ví dụ: bằng cách bắt đầu với bộ phân loại ImageNet, các nhà nghiên cứu ở Bangalore, Ấn Độ, đã sử dụng phương pháp học chuyển giao để đào tạo một mô hình xác định vị trí thận trong hình ảnh siêu âm mà chỉ sử dụng 45 ví dụ đào tạo.

Tương tự như vậy, một nhóm nghiên cứu làm việc về nhận dạng giọng nói tiếng Đức cho thấy họ có thể cải thiện kết quả của mình bằng cách bắt đầu với mô hình giọng nói tiếng Anh được đào tạo trên tập dữ liệu lớn hơn trước khi sử dụng phương pháp học tập chuyển giao để điều chỉnh mô hình đó cho tập dữ liệu nhỏ hơn của âm thanh tiếng Đức.

Sự vươn lên của phương pháp học tập chuyển giao

Nghiên cứu về phương pháp học tập chuyển giao đã phát triển một cách ấn tượng trong 10 năm qua. Trong một báo cáo mới cho Trung tâm An ninh và Công nghệ mới nổi (CSET) của Đại học Georgetown, các nhà nghiên cứu đã kiểm tra tiến độ hiện tại và dự kiến ​​trong nghiên cứu khoa học trên các phương pháp tiếp cận “dữ liệu nhỏ”, được chia thành năm loại cơ bản: học tập chuyển giao, ghi nhãn dữ liệu, dữ liệu nhân tạo thế hệ, phương pháp Bayes và học tập củng cố.

Phân tích cho thấy học tập chuyển giao nổi bật như một danh mục có mức tăng trưởng nghiên cứu nhất quán và cao nhất tính trung bình kể từ năm 2010. Sự tăng trưởng này thậm chí còn vượt xa lĩnh vực học tăng cường lớn và lâu đời hơn, một lĩnh vực đã thu hút sự chú ý rộng rãi trong những năm gần đây.

Hơn nữa, nghiên cứu học tập chuyển giao dự kiến ​​sẽ tiếp tục phát triển trong tương lai gần. Sử dụng mô hình dự báo tăng trưởng trong ba năm, phân tích ước tính rằng nghiên cứu về phương pháp học tập chuyển giao sẽ phát triển nhanh nhất đến năm 2023 trong số các danh mục dữ liệu nhỏ mà nhóm đã xem xét.

Trên thực tế, tốc độ tăng trưởng của việc học tập chuyển giao được dự báo sẽ cao hơn nhiều so với tốc độ tăng trưởng của nghiên cứu AI nói chung. Điều này ngụ ý rằng việc học tập chuyển giao có khả năng trở nên hữu dụng hơn – và do đó được sử dụng rộng rãi hơn – kể từ đây trở đi.

Các phương pháp tiếp cận dữ liệu nhỏ như học tập chuyển giao cung cấp nhiều lợi thế so với các phương pháp sử dụng nhiều dữ liệu hơn. Bằng cách cho phép sử dụng AI với ít dữ liệu hơn, chúng có thể thúc đẩy sự tiến bộ trong các lĩnh vực mà ít hoặc không có dữ liệu tồn tại, chẳng hạn như trong dự báo các hiểm họa tự nhiên xảy ra tương đối hiếm hoặc trong việc dự đoán nguy cơ bệnh tật cho một nhóm dân số không có hồ sơ sức khỏe kỹ thuật số.

Một số nhà phân tích tin rằng, cho đến nay, chúng ta đã áp dụng AI thành công hơn vào các vấn đề mà dữ liệu sẵn có nhất. Trong bối cảnh này, các phương pháp tiếp cận như học tập chuyển giao sẽ ngày càng trở nên quan trọng khi nhiều tổ chức tìm cách đa dạng hóa các lĩnh vực ứng dụng AI và tham gia vào những lĩnh vực chưa được khám phá trước đây.

Một cách nghĩ khác về giá trị của việc học tập chuyển giao là về mặt khái quát. Một thách thức lặp đi lặp lại trong việc sử dụng AI là các mô hình cần phải “khái quát hóa” ngoài dữ liệu đào tạo của chúng – nghĩa là đưa ra “câu trả lời” (đầu ra) tốt cho một bộ “câu hỏi” (đầu vào) tổng quát hơn những gì chúng được huấn luyện. Bởi vì các mô hình học tập chuyển giao hoạt động bằng cách chuyển kiến ​​thức từ nhiệm vụ này sang nhiệm vụ khác, chúng rất hữu ích trong việc cải thiện tính khái quát hóa trong nhiệm vụ mới, ngay cả khi chỉ có sẵn dữ liệu hạn chế.

Hơn nữa, bằng cách sử dụng các mô hình đào tạo trước, việc học chuyển giao có thể tăng tốc thời gian đào tạo và cũng có thể giảm lượng tài nguyên tính toán cần thiết để đào tạo các thuật toán. Hiệu quả này rất đáng kể, vì quá trình đào tạo một mạng lưới thần kinh lớn đòi hỏi năng lượng đáng kể và có thể thải ra lượng khí thải carbon cao gấp năm lần so với một chiếc ô tô Mỹ trung bình.

Tất nhiên, sử dụng các mô hình được đào tạo trước cho các tác vụ mới trong một số trường hợp sẽ hoạt động tốt hơn những trường hợp khác. Nếu các vấn đề ban đầu và mục tiêu trong một mô hình không đủ tương đồng, sẽ khó sử dụng việc học tập chuyển giao một cách hiệu quả. Đây là vấn đề đối với một số lĩnh vực, chẳng hạn như hình ảnh y tế, trong đó một số nhiệm vụ y tế nhất định có sự khác biệt cơ bản về kích thước dữ liệu, tính năng và thông số kỹ thuật nhiệm vụ từ các tập dữ liệu hình ảnh tự nhiên như ImageNet.

Các nhà nghiên cứu vẫn đang tìm hiểu về cách thông tin hữu ích được chuyển giữa các mô hình và cách các lựa chọn thiết kế mô hình khác nhau cản trở hoặc tạo điều kiện thuận lợi cho việc chuyển giao và tinh chỉnh thành công. Hy vọng rằng sự tiến bộ liên tục đối với những câu hỏi này thông qua nghiên cứu học thuật và kinh nghiệm thực tế sẽ tạo điều kiện cho việc sử dụng rộng rãi hơn việc học tập chuyển giao theo thời gian.

Các chuyên gia về AI như Andrew Ng đã nhấn mạnh tầm quan trọng của việc học tập chuyển giao và thậm chí còn tuyên bố rằng phương pháp này sẽ là động lực tiếp theo cho sự thành công của học máy trong ngành. Học tập chuyển giao đã được áp dụng để tìm ra các loại bệnh ung thư, chơi trò chơi điện tử, lọc thư rác và hơn thế nữa.

Bằng cách thừa nhận sự thành công của các kỹ thuật dữ liệu nhỏ như học chuyển giao – và phân bổ tài nguyên để hỗ trợ việc sử dụng rộng rãi chúng – chúng ta có thể giúp khắc phục một số quan niệm sai lầm phổ biến về vai trò của dữ liệu trong AI và thúc đẩy đổi mới.

Nguồn: Scientific American