Khả năng lý luận và suy diễn từ ngôn ngữ tự nhiên là một thành phần quan trọng của trí thông minh. Theo các nghiên cứu gần đây, các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc thực hiện các nhiệm vụ lý luận phức tạp (Sáu nhà nghiên cứu dũng cảm của Apple đã chứng minh rằng các llms không thực sự lý luận), đặc biệt là trong lý luận nhiều bước. Điều này đòi hỏi phải tổng hợp thông tin từ nhiều nguồn để đưa ra câu trả lời, cũng như tạo ra các giải thích cho những câu trả lời đó – một yếu tố quan trọng cho khả năng giải thích. Mặt khác, LLMs thể hiện khả năng suy luận tương đồng vững chắc.
Suy luận tương đồng là gì?
Suy luận tương đồng là một quá trình nhận thức mà trong đó cá nhân áp dụng kiến thức từ những tình huống quen thuộc để giải quyết các thách thức mới. Bản chất của lý luận theo phép loại suy nằm ở việc nhận ra các mẫu tương đồng, tức là các phép loại suy giữa hai bối cảnh, ngay cả khi chi tiết cụ thể có sự khác biệt. Bằng cách chuyển giao kiến thức cơ bản, lý luận theo phép loại suy giúp tạo ra suy luận để giải quyết vấn đề hoặc trả lời câu hỏi.
Ví dụ: Khi biết rằng:
Tim bơm máu đi khắp cơ thể.
Người ta có thể đưa ra một phép so sánh để hiểu rằng:
Một máy bơm nước di chuyển nước qua các ống dẫn.
Ở đây, phép suy luận tương đồng là giữa chức năng của tim trong cơ thể người và chức năng của máy bơm trong hệ thống dẫn nước. Mặc dù hai đối tượng này khác nhau, nhưng mối quan hệ cơ bản, tức là bơm chất lỏng qua hệ thống ống dẫn, lại tương tự nhau.
Suy luận tương đồng diễn ra như thế nào trong các LLM?
Qua việc nhận diện và áp dụng các mẫu đã học từ khối lượng lớn dữ liệu. Các LLM được đào tạo từ nhiều nguồn đa dạng, cho phép chúng nhận ra các tương đồng để tạo ra các phép loại suy dựa trên so khớp mẫu.
Khi người dùng đưa ra một vấn đề hoặc truy vấn, mô hình sẽ phân tích đầu vào để nhận dạng các điểm tương đồng với các kịch bản đã gặp trước đó. Sau đó, LLM có thể tạo ra các phép loại suy, trích xuất thông tin liên quan từ các ngữ cảnh tương tự để hình thành câu trả lời.
Ví dụ: Nếu được hỏi về mối quan hệ giữa giáo viên và học sinh, một LLM có thể ví nó như mối quan hệ giữa huấn luyện viên và vận động viên, nhận ra vai trò hướng dẫn trong cả hai mối quan hệ này. Quá trình này không chỉ nâng cao sự hiểu biết mà còn làm phong phú chất lượng của các câu trả lời, giúp LLM hiệu quả hơn trong việc cung cấp các góc nhìn và giải pháp.
Cuối cùng, mặc dù suy luận tương đồng trong LLM cho phép các hệ thống này tạo ra các câu trả lời sáng tạo và phù hợp với bối cảnh, bắt chước các mẫu lý luận giống con người, nhưng hiện tại, khả năng lý luận của chúng vẫn còn hạn chế.
Hạn chế của suy luận tương đồng trong các LLM là gì?
LLM đối mặt với nhiều hạn chế trong suy luận tương đồng. Chúng thường dựa vào các phép loại suy bề mặt, bỏ qua các sắc thái của mối quan hệ và phụ thuộc nhiều vào đầu vào rõ ràng, cụ thể. Khi gặp phải các yêu cầu mơ hồ, chúng có thể tạo ra các câu trả lời chung chung hoặc không phù hợp. Ngoài ra, việc không thể học từ trải nghiệm giới hạn khả năng lý luận của chúng trong các mẫu đã được thiết lập trong quá trình đào tạo, điều này có thể dẫn đến các phép loại suy phản ánh các thành kiến trong dữ liệu đào tạo và duy trì các sai sót đối với các khái niệm không được đại diện đầy đủ. LLM cũng gặp khó khăn trong lý luận đa bước (multi-hop) và các vấn đề phức tạp, hạn chế hiệu quả của chúng trong việc xử lý các nhiệm vụ phức tạp.
Vì LLM chủ yếu dựa vào dữ liệu đào tạo để lý luận, khả năng xử lý các tình huống chưa được huấn luyện hoặc không ngờ tới bị hạn chế. Trong khi chúng có thể tạo ra các câu trả lời hiệu quả trong các tham số đã được thiết lập sau khi gặp một vấn đề và câu trả lời tương ứng nhiều lần, chúng thường gặp khó khăn với các câu hỏi hiếm gặp hoặc rất cụ thể. Hạn chế này đặc biệt rõ rệt trong các tình huống không được đại diện tốt trong dữ liệu đào tạo của chúng, đặc biệt là những tình huống có tính biến đổi cao.
Một thách thức quan trọng khác xuất hiện khi LLM được yêu cầu trả lời các truy vấn phụ thuộc vào thông tin ẩn chứ không phải chi tiết rõ ràng. Trong các trường hợp này, việc thiết lập mối quan hệ giữa các khái niệm đòi hỏi lý luận chính thức và kiến thức có thể không có trong dữ liệu đào tạo mà chỉ có sẵn bên ngoài.
Tony và em gái anh ấy, June, đã tham dự một buổi xem trước bộ phim Avengers và rất thích nó. Clarence có 3 đứa con và một cháu trai. Tên của cháu trai là Tony.
Mối quan hệ giữa Clarence và June là gì?
Câu trả lời của LLM: Clarence là cha của June.
Đây là lý luận:
Tony là cháu trai của Clarence.
Tony và June là anh chị em (như ngữ cảnh câu đã chỉ ra).
Vì Clarence là ông của Tony, Clarence cũng phải là cha của June.
Vì vậy, Clarence là cha của June.
Câu trả lời đúng: Cháu gái / Ông
Đây là lý luận đúng:
Tony và June là anh chị em.
Cháu trai của Clarence tên là Tony.
Vì Clarence là ông của Tony, Clarence phải là ông của June và June là cháu gái của ông.
Cuối cùng, việc không thể thích ứng với các ngữ cảnh mới mẻ này tạo ra một trở ngại đáng kể trong việc tận dụng LLM cho các giải quyết vấn đề phức tạp và các ứng dụng quan trọng, nơi độ chính xác và độ tin cậy là điều tối quan trọng. Chúng ta hãy cùng khám phá một ví dụ khác:
Trong thời trung cổ, hệ thống hành chính được tổ chức theo cách mà các công việc truyền thống thường được giữ trong cùng một gia đình. Con trai trưởng của thợ rèn trong làng sẽ nối nghiệp cha mình và trở thành thợ rèn tiếp theo. Những người con trai khác sẽ gia nhập quân đội hoặc phục vụ vua theo một hình thức nào đó, trong khi các con gái sẽ làm những gì mà mẹ họ đã làm. Mặc dù thế giới đã trải qua vô số thay đổi, nhưng hệ thống kế thừa này không hề thay đổi. Những đứa trẻ có cha từng là cầu thủ bóng chày chuyên nghiệp có khả năng trở thành cầu thủ bóng chày chuyên nghiệp gấp 800 lần so với những đứa trẻ khác.
Điều nào sau đây phản bác tốt nhất lập luận của tác giả?
A. Ở các nước có hoàng gia, con trai trưởng của nhà vua được định sẵn sẽ trở thành vua tiếp theo.
B. Con trai trưởng của thợ rèn trong một ngôi làng trung cổ không thể chọn nghề nào khác, ngay cả khi anh ta muốn.
C. Một cầu thủ bóng chày chuyên nghiệp sẽ có kiến thức và kỹ năng tốt hơn và sẽ có thể hướng dẫn con trai mình tốt hơn.
D. 60% bác sĩ của đất nước có ít nhất một phụ huynh là bác sĩ.
E. Thực tế đã chứng minh rằng thành công trong bất kỳ nghề nào phụ thuộc nhiều hơn vào kỹ năng và sự luyện tập hơn là yếu tố di truyền.
Câu trả lời đúng: B
Câu trả lời của LLM: D
Nguồn: Sinuhe.ai