Năng lực răng cưa của LLM: vì sao AI lúc thì thần thánh, lúc lại ngớ ngẩn
Cùng một LLM, một mặt có thể tái cấu trúc mạch lạc cả 100.000 dòng mã, mặt khác lại đưa ra lời khuyên vô lý hết chỗ nói kiểu “đi bộ tới tiệm rửa xe để rửa xe”. Khoảng cách khổng lồ về năng lực ấy chính là cái gọi là “năng lực răng cưa” (jaggedness).
Mấu chốt không nằm ở khó hay dễ, mà ở chỗ “đã từng luyện hay chưa”
Điều thú vị là mấu chốt không nằm ở chỗ “con người thấy việc này khó hay dễ”, mà ở chỗ nhiệm vụ đó có rơi vào phân bố dữ liệu huấn luyện của mô hình hay không.
Andrej Karpathy, cựu thành viên sáng lập OpenAI và cựu giám đốc AI của Tesla, đã chỉ ra hai nguyên nhân chính:
- Khả năng kiểm chứng (verifiability): mã có tín hiệu đúng sai rõ ràng — biên dịch được hay không, kiểm thử có qua hay không — nên rất dễ được học tăng cường (RL) lấy ra huấn luyện và củng cố lặp đi lặp lại.
- Yếu tố kinh tế: những năng lực có giá trị thương mại sẽ được các phòng thí nghiệm tiên phong ưu tiên đóng gói vào phân bố dữ liệu huấn luyện; còn hiểu biết thường thức của đời sống hằng ngày thì thường bị bỏ qua.
Đi trên đường ray thì trơn tru, vừa chệch ra là bắt đầu chém loạn
Kết quả là: khi mô hình đi trên đường ray mà học tăng cường đã trải sẵn, nó bay vừa nhanh vừa mượt; nhưng một khi chệch khỏi đường ray thì chẳng khác nào có người cầm dao rựa chém loạn xạ giữa rừng rậm — bề ngoài trông như đang nghiêm túc thực hiện, còn việc thật sự làm thì vô lý hết mức.
Vì thế, muốn dùng LLM cho thật tốt và tránh giẫm phải mìn, bạn phải xây cho mình một mô hình hiểu biết “đủ chính xác” về năng lực của nó: biết những nhiệm vụ nào nó đang ở trên đường ray, và những nhiệm vụ nào thật ra nó đã bước vào rừng rậm.