Vận hành học máy — khi hệ thống sẵn sàng mà vẫn sai
Machine Learning Systems — Tập I, Chương 14
← tất cả bài họcDanh sách cảnh (10 mục, 97 cảnh)
Mục 1Mục đích0:00
Mục 2Tổng quan về vận hành học máy1:18
Mục 3Nguyên lý và nền tảng5:27
Mục 4Nợ kỹ thuật16:03
Mục 5Hạ tầng phát triển28:22
Mục 6Vận hành sản xuất47:27
Mục 7Khung thiết kế và mức trưởng thành97:26
Mục 8Tình huống thực tế103:18
Mục 9Ngộ nhận và cạm bẫy111:37
Mục 10Tổng kết114:30
📓 Sổ tay thực hành
Chạy trên Colab bằng CPU, không cần cài thêm gì.
1. Tiền của vận hành: việc thủ công, lỗi âm thầm và giá của việc quan sát
Tìm điểm hoà vốn của pipeline tự động rồi xem bảo trì thủ công chặn mô hình mới, tính chi phí lệch và tổn thất của một lỗi âm thầm theo thời gian phát hiện, đặt cạnh lỗ mỗi phút của Knight Capital, dựng ngân sách theo dõi một nút học máy và xem số giá trị phân biệt của nhãn làm nó bùng nổ, rồi kiểm hai tỉ số lợi ích trên chi phí 5 lần và 4.53 lần.
Mục 3. Nguyên lý và nền tảng · 4. Nợ kỹ thuật · 5. Hạ tầng phát triển · 6. Vận hành sản xuất · 7. Khung thiết kế và mức trưởng thành
chạy dưới 1 phútMở trong Colab ↗2. Bao lâu thì huấn luyện lại: một bất đẳng thức, một đường chữ U và hai chính sách
Đổi điều kiện huấn luyện lại ra tiền, tính chi phí lỗi thời bằng dạng đóng và tích phân số, tìm khoảng huấn luyện lại tối ưu bằng xấp xỉ căn bậc hai và bằng cực tiểu chính xác rồi thấy mọi bộ tham số nằm trên một đường cong, mô phỏng lịch cố định so với kích hoạt theo ngưỡng khi nhãn về trễ, rồi xem một pipeline tự động cho qua một mô hình kém hẳn trên lưu lượng thật.
Mục 3. Nguyên lý và nền tảng · 5. Hạ tầng phát triển · 6. Vận hành sản xuất · 9. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗3. Phát hiện trôi khi nhãn chưa về: PSI, KS và cái giá của nhãn
Đo độ trễ đứng yên trong khi độ chính xác giảm, tính PSI của bảng 20 và nối nó với phân kỳ KL, cho bốn kiểu dịch chuyển trên load_digits đi qua bốn bộ theo dõi không cần nhãn, đếm số lần ngưỡng của bảng 19 báo nhầm theo cỡ cửa sổ, kiểm ngân sách 1,000 nhãn bằng lực kiểm định với nhiễu nhãn và nhãn theo cụm, rồi giấu một lát cắt 5 phần trăm hỏng nặng vào lưu lượng.
Mục 1. Mục đích · 2. Tổng quan về vận hành học máy · 3. Nguyên lý và nền tảng · 6. Vận hành sản xuất · 9. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗4. Lệch giữa huấn luyện và phục vụ, rồi phát hành có kiểm soát
Gây ba loại lệch của bảng 7 trên load_digits và đo cái giá, dựng lại ca user_session_length 45 phút so với 12 phút rồi chặn nó bằng một cổng KS và tìm điểm mù của cổng, xem một đặc trưng sai mốc thời gian làm độ chính xác ngoại tuyến đẹp giả, dựng một thác hiệu chỉnh, tính cỡ mẫu A/B và cái giá của nhìn trộm, so canary 5 và 30 phần trăm, rồi tính ngân sách độ trễ của bảng 14 và số học của ca Oura.
Mục 4. Nợ kỹ thuật · 5. Hạ tầng phát triển · 6. Vận hành sản xuất · 8. Tình huống thực tế · 9. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗