Tính toán nơ-ron
Machine Learning Systems — Tập I, Chương 5
← tất cả bài họcDanh sách cảnh (10 mục, 71 cảnh)
Mục 1Mục đích0:00
Mục 2Từ logic sang số học2:58
Mục 3Tính toán bằng khuôn mẫu5:26
Mục 4Nền tảng mạng nơ-ron24:19
Mục 5Quá trình học50:34
Mục 6Đường ống suy luận77:25
Mục 7Nhận dạng chữ số viết tay83:53
Mục 8Phân loại D·A·M90:10
Mục 9Ngộ nhận và cạm bẫy92:14
Mục 10Tổng kết94:56
📓 Sổ tay thực hành
Chạy trên Colab bằng CPU, không cần cài thêm gì.
1. Lan truyền ngược bằng tay
Lần theo gradient qua mạng tí hon của chương bằng NumPy, đối chiếu với autograd và sai phân hữu hạn, rồi đếm tham số, MAC và bộ nhớ của mạng 784-128-64-10.
Mục 4. Nền tảng mạng nơ-ron · 5. Quá trình học
chạy dưới 1 phútMở trong Colab ↗2. Số học không nhánh vẫn có rủi ro
Lặp lại phép đổi số của Ariane 5, đo miền giá trị của FP32 và FP16, xem một NaN lan khắp mô hình, rồi tính sigmoid, tanh, ReLU, softmax và entropy chéo bằng autograd, cạnh thuế transistor và thời gian đo trên CPU.
Mục 1. Mục đích · 2. Từ logic sang số học · 4. Nền tảng mạng nơ-ron · 5. Quá trình học
chạy dưới 1 phútMở trong Colab ↗3. Ba lối tính trên một chữ số
Dựng một bộ quy tắc 100 phép so sánh, tự tính HOG 441 đặc trưng cho một SVM tuyến tính và huấn luyện mạng 784-128-64-10, đếm phép của từng lối cạnh độ chính xác đo được, rồi thử mốc đơn giản và lợi ích giảm dần khi nới mạng.
Mục 3. Tính toán bằng khuôn mẫu · 4. Nền tảng mạng nơ-ron · 9. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗4. Từ vòng lặp huấn luyện đến đường ống suy luận
Đếm phép một lượt truyền xuôi và nhẩm thời gian một epoch, viết vòng lặp minibatch với bốn cấu hình batch và tốc độ học, giữ checkpoint khi quá khớp, rồi dựng đường ống suy luận: bộ nhớ, độ trễ theo từng bước và theo batch, ngưỡng từ chối theo chi phí, và một dịch chuyển phân phối đọc theo D·A·M.
Mục 4. Nền tảng mạng nơ-ron · 5. Quá trình học · 6. Đường ống suy luận · 7. Nhận dạng chữ số viết tay · 8. Phân loại D·A·M · 9. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗