Đo chuẩn hiệu năng — khi lời hứa tối ưu gặp số đo
Machine Learning Systems — Tập I, Chương 12
← tất cả bài họcDanh sách cảnh (15 mục, 97 cảnh)
Mục 1Mục đích0:00
Mục 2Khung benchmark học máy1:31
Mục 3Nền tảng lịch sử7:14
Mục 4Các bộ benchmark hệ thống13:26
Mục 5Độ chi tiết của benchmark27:38
Mục 6Các thành phần của benchmark36:18
Mục 7Huấn luyện và suy luận56:33
Mục 8Benchmark huấn luyện58:51
Mục 9Benchmark suy luận67:58
Mục 10Kỹ thuật đo công suất86:10
Mục 11Thực hành benchmark tốt96:11
Mục 12Đánh giá mô hình và dữ liệu104:21
Mục 13Những cân nhắc khi sản xuất120:50
Mục 14Ngộ nhận và cạm bẫy123:24
Mục 15Tổng kết126:51
📓 Sổ tay thực hành
Chạy trên Colab bằng CPU, không cần cài thêm gì.
1. Một điểm trên 1,000 ảnh: tập kiểm tra cũng là một dụng cụ đo
Tính lại bẫy độ tin cậy thống kê của chương và cỡ tập kiểm tra một mức chênh cần, so một mạng MNIST với bản nén 3 bit của nó bằng bootstrap và kiểm định McNemar, đo độ lạc quan khi chọn mô hình thắng trên một tập kiểm tra cố định, rồi cấy 3 phần trăm nhãn sai và tìm lại chúng.
Mục 2. Khung benchmark học máy · 4. Các bộ benchmark hệ thống · 8. Benchmark huấn luyện · 11. Thực hành benchmark tốt · 12. Đánh giá mô hình và dữ liệu
chạy dưới 1 phútMở trong Colab ↗2. Đo độ trễ cho đúng: làm nóng, phân vị, kịch bản và định luật Amdahl
Đo MobileNetV2 trên CPU của bạn theo các quy tắc của chương: làm nóng, phân phối độ trễ và hệ số biến thiên, phân vị 99 khi có một đợt thu gom rác giả lập theo kiểu Discord, độ trễ và thông lượng theo batch, ba kịch bản MLPerf đọc từ cùng các số đo, rồi tính lại định luật Amdahl và đo nó trên một đường đi có giải mã JPEG.
Mục 2. Khung benchmark học máy · 5. Độ chi tiết của benchmark · 6. Các thành phần của benchmark · 9. Benchmark suy luận · 13. Những cân nhắc khi sản xuất · 14. Ngộ nhận và cạm bẫy · 15. Tổng kết
chạy dưới 1 phútMở trong Colab ↗3. Mái nhà, mở rộng và thời gian đạt độ chính xác: benchmark hệ thống từ A100 tới CPU của bạn
Tính khoảng cách giữa đỉnh và mức duy trì của A100, dựng lại roofline của BERT-Base từ một mô hình đếm được rồi quét theo batch và độ dài chuỗi, đo roofline của chính CPU của bạn với ba loại kernel, tính lại hiệu suất mở rộng của 8 GPU và vì sao ngoại suy tuyến tính sai, rồi đo thời gian đạt độ chính xác của bốn cấu hình huấn luyện trên MNIST.
Mục 2. Khung benchmark học máy · 4. Các bộ benchmark hệ thống · 5. Độ chi tiết của benchmark · 8. Benchmark huấn luyện
chạy dưới 1 phútMở trong Colab ↗4. Năng lượng, và nghiệm thu một bản nén: INT8 tiết kiệm gì, và con số tổng che giấu gì
Đổi công suất và thời gian ra năng lượng, tính công suất trung bình theo chu kỳ hoạt động và kiểm các tuyên bố TOPS/W, EdgeTPU và 1,200 truy vấn mỗi giây của chương, dựng lại mô hình năng lượng 45 nm của MobileNetV2 từ số đếm của torchvision rồi thêm kích hoạt, và nghiệm thu một bản INT8 và một bản INT4 của mạng FashionMNIST theo ngưỡng đặt trước: độ chính xác, lớp kém nhất, hiệu chuẩn và ba lát cắt trường hợp biên.
Mục 3. Nền tảng lịch sử · 6. Các thành phần của benchmark · 7. Huấn luyện và suy luận · 10. Kỹ thuật đo công suất · 12. Đánh giá mô hình và dữ liệu · 14. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗