Các nhà nghiên cứu Google phát hiện lỗi làm tròn âm thầm phá hỏng quá trình huấn luyện AIHOT
Một nhà nghiên cứu của Google DeepMind cho biết các phiên bản tiêu chuẩn của một thuật toán huấn luyện quan trọng trong PyTorch, JAX và sách giáo khoa làm tròn một số về 0, khiến tín hiệu dạy mô hình bị suy yếu. Phát hiện này lan truyền nhanh chóng vì nó ảnh hưởng đến gần như mọi mô hình lớn được xây dựng ngày nay, kể cả của Trung Quốc.




