Kỹ thuật dữ liệu
Machine Learning Systems — Tập I, Chương 4
← tất cả bài họcDanh sách cảnh (11 mục, 73 cảnh)
Mục 1Mục đích0:00
Mục 2Vật lý của dữ liệu4:59
Mục 3Khung bốn trụ cột11:34
Mục 4Thu nhận dữ liệu23:38
Mục 5Kiến trúc quy trình dữ liệu34:03
Mục 6Xử lý dữ liệu có hệ thống56:53
Mục 7Gán nhãn dữ liệu67:23
Mục 8Kiến trúc lưu trữ76:49
Mục 9Sức khoẻ dữ liệu khi vận hành90:55
Mục 10Ngộ nhận và cạm bẫy96:39
Mục 11Tổng kết99:13
📓 Sổ tay thực hành
Chạy trên Colab bằng CPU, không cần cài thêm gì.
1. Dữ liệu có khối lượng: thời gian, năng lượng và tiền của việc di chuyển
Tính trọng lực dữ liệu và napkin math 1.1, đọc bảng năng lượng cạnh số phép tính trên mỗi giá trị, tính thuế tiếp liệu và ngân sách băng thông lưu trữ của ResNet-50, đặt tập dữ liệu KWS lên năm tầng lưu trữ và bậc thang độ trễ, rồi tính giá của nạp theo luồng so với theo lô và của ETL so với ELT cùng điểm hoà vốn.
Mục 2. Vật lý của dữ liệu · 5. Kiến trúc quy trình dữ liệu · 8. Kiến trúc lưu trữ · 10. Ngộ nhận và cạm bẫy · 11. Tổng kết
chạy dưới 1 phútMở trong Colab ↗2. Nạp dữ liệu trên CPU: thời gian đi đâu, định dạng nào, và tổng hợp ở đâu
Đo từng khâu giải mã, tăng cường, chuẩn hoá và bước huấn luyện trên ảnh MNIST, tính số tiến trình công nhân cần, chồng việc nạp lên việc tính bằng một luồng nạp trước, ghi một bảng 100 cột ra CSV, JSON và Parquet rồi đọc 20 cột, so gzip với Snappy, tính napkin math 1.7 và định luật Amdahl, rồi lưu mười phiên bản dữ liệu theo nội dung.
Mục 5. Kiến trúc quy trình dữ liệu · 6. Xử lý dữ liệu có hệ thống · 8. Kiến trúc lưu trữ · 10. Ngộ nhận và cạm bẫy
chạy dưới 1 phútMở trong Colab ↗3. Dữ liệu đúng và giữ được đúng: khế ước, rò rỉ, trôi dữ liệu và nợ dữ liệu
Tái tạo thác lỗi của mã bưu chính 2139 và viết một khế ước dữ liệu chặn nó, đo rò rỉ qua lằn ranh giữa các tập, chạy bốn bậc báo động trên một luồng, làm kiểm định K-S và PSI bằng tay, phân biệt ba kiểu trôi phân phối, giữ nhất quán giữa huấn luyện và phục vụ, đo tác hại của nhãn sai và giá trị thiếu, rồi chấm một danh mục dữ liệu theo bảng nợ dữ liệu.
Mục 1. Mục đích · 3. Khung bốn trụ cột · 5. Kiến trúc quy trình dữ liệu · 6. Xử lý dữ liệu có hệ thống · 9. Sức khoẻ dữ liệu khi vận hành
chạy dưới 1 phútMở trong Colab ↗4. Từ đánh thức và nhãn: đánh thức sai, đặc trưng âm thanh, đồng thuận và học chủ động
Tính FPR mà một lần đánh thức sai mỗi tháng đòi hỏi, chia ngân sách nhãn của napkin math 1.3 và so tiền nhãn với tiền compute, tổng hợp một từ đánh thức rồi tính MFCC bằng tay đối chiếu với scipy, đếm byte, phép tính và trạng thái tiền xử lý trong ngân sách 16 KB, huấn luyện một bộ phát hiện từ khoá trên dữ liệu sạch, nhiễu và giọng lạ, đo kappa và bỏ phiếu đa số, rồi chạy học chủ động trên MNIST và đo hiệu chuẩn của nhãn sơ bộ.
Mục 3. Khung bốn trụ cột · 4. Thu nhận dữ liệu · 6. Xử lý dữ liệu có hệ thống · 7. Gán nhãn dữ liệu · 8. Kiến trúc lưu trữ · 10. Ngộ nhận và cạm bẫy · 11. Tổng kết
chạy dưới 1 phútMở trong Colab ↗