Hệ thống học máy, bốn môi trường triển khai
Machine Learning Systems — Tập I, Chương 2
← tất cả bài họcDanh sách cảnh (14 mục, 29 cảnh)
Mục 1Mục đích0:00
Mục 2Khung mô hình triển khai4:38
Mục 3Ràng buộc vật lý: vì sao có các mô hình triển khai5:46
Mục 4Phân tích tải công việc8:58
Mục 5Cân bằng hệ thống và phần cứng15:46
Mục 6Cloud ML: sức mạnh tính toán20:12
Mục 7Edge ML: độ trễ và quyền riêng tư23:56
Mục 8Mobile ML: trí tuệ không cần mạng28:15
Mục 9TinyML: cảm biến khắp nơi32:38
Mục 10Chọn mô hình triển khai37:19
Mục 11Kiến trúc kết hợp39:38
Mục 12Entropy hệ thống: triển khai chưa phải là kết thúc42:27
Mục 13Ngộ nhận và cạm bẫy43:41
Mục 14Tổng kết47:45
📓 Sổ tay thực hành
Chạy trên Colab bằng CPU, không cần cài thêm gì.
1. Định luật sắt và điểm nghẽn
Viết định luật sắt thành một hàm, làm lại phép tính ResNet-50 trên bộ tăng tốc cloud và NPU di động, vẽ roofline và tìm batch vượt điểm gãy, xem vì sao thêm FLOP không giúp một tải nghẽn ở bộ nhớ, tính thời gian sinh một token của GPT-2 và Llama, rồi cộng dồn tường bộ nhớ và áp định luật Amdahl lên đường ống chụp ảnh.
Mục 2. Khung mô hình triển khai · 3. Ràng buộc vật lý: vì sao có các mô hình triển khai · 4. Phân tích tải công việc · 5. Cân bằng hệ thống và phần cứng · 13. Ngộ nhận và cạm bẫy · 14. Tổng kết
chạy dưới 1 phútMở trong Colab ↗2. Khoảng cách, băng thông và năng lượng
Tính mức sàn độ trễ do ánh sáng và khoảng cách mỗi ngân sách cho phép, áp bất biến cục bộ dữ liệu cho drone 4K và tìm cỡ dữ liệu tối đa đường xa còn kịp, tính điểm nghẽn băng thông của 100 camera nhà máy và mức giảm khi chỉ gửi siêu dữ liệu, so năng lượng truyền với suy luận tại chỗ, rồi tính bức tường năng lực của trợ lý giọng nói trên cloud.
Mục 3. Ràng buộc vật lý: vì sao có các mô hình triển khai · 6. Cloud ML: sức mạnh tính toán · 7. Edge ML: độ trễ và quyền riêng tư · 9. TinyML: cảm biến khắp nơi · 10. Chọn mô hình triển khai · 11. Kiến trúc kết hợp · 14. Tổng kết
chạy dưới 1 phútMở trong Colab ↗3. Bốn môi trường theo bậc độ lớn
Đặt bộ nhớ và công suất của TPU v4 Pod, DGX Spark, điện thoại và ESP32-S3 lên thang log, xem trọng số mô hình đại diện nào vừa thiết bị nào ở FP32 và INT8, kiểm lại bảng năng lượng cho mỗi lần suy luận bằng số lượt mỗi pin, tính thuế pin, tường nhiệt và kho của cảm biến thu hoạch năng lượng, làm lại TCO cloud và edge cùng việc chọn bộ tăng tốc cho 500 cửa hàng, rồi tính một thiết bị mỗi môi trường cần bao lâu để huấn luyện GPT-3.
Mục 1. Mục đích · 3. Ràng buộc vật lý: vì sao có các mô hình triển khai · 4. Phân tích tải công việc · 5. Cân bằng hệ thống và phần cứng · 6. Cloud ML: sức mạnh tính toán · 7. Edge ML: độ trễ và quyền riêng tư · 8. Mobile ML: trí tuệ không cần mạng · 9. TinyML: cảm biến khắp nơi · 10. Chọn mô hình triển khai · 13. Ngộ nhận và cạm bẫy · 14. Tổng kết
chạy dưới 1 phútMở trong Colab ↗4. Đo trên CPU: nghẽn ở tính toán hay nghẽn ở bộ nhớ
Đo thông lượng đỉnh và băng thông của chính máy bạn rồi suy ra điểm gãy, đo phụ trội cố định, cache và DRAM trên một phép cộng, quét batch của một tầng tuyến tính từ nghẽn ở bộ nhớ sang nghẽn ở tính toán và so với định luật sắt dựng từ hai con số đo được, đặt mọi phép toán lên roofline của máy, đo tra bảng embedding theo ba thứ tự, rồi ước lượng thời gian sinh một token GPT-2.
Mục 4. Phân tích tải công việc · 5. Cân bằng hệ thống và phần cứng · 14. Tổng kết
chạy dưới 1 phútMở trong Colab ↗