Nén mô hình — đổi phần dư thừa lấy ràng buộc triển khai

📓 Sổ tay thực hành

Chạy trên Colab bằng CPU, không cần cài thêm gì.

• 1. Cắt tỉa: số 0 nào làm mô hình nhỏ lại, số 0 nào làm nó nhanh hơn

  Cắt tỉa theo độ lớn một mạng MNIST nhỏ, toàn cục và theo từng tầng, có cấu trúc và không cấu trúc, rồi đo thời gian phép nhân và đếm byte của từng cách lưu số 0 để tìm điểm hoà vốn.

  Mục 4. Tối ưu cấu trúc · 6. Hiệu quả kiến trúc · 11. Ngộ nhận và cạm bẫy

  chạy dưới 1 phútMở trong Colab ↗

• 2. Chưng cất tri thức và phân rã hạng thấp

  Đọc tri thức ẩn trong nhãn mềm ở nhiều nhiệt độ, so mô hình trò tự học với mô hình trò được chưng cất và tìm khi nào chưng cất không giúp, rồi phân rã một tầng đã huấn luyện bằng SVD và đo ví dụ ma trận 4096 nhân 4096 ở hạng 128.

  Mục 4. Tối ưu cấu trúc

  chạy dưới 1 phútMở trong Colab ↗

• 3. Lượng tử hoá bằng tay: hệ số co giãn, điểm không, và cái giá của từng bit

  Tính lại hệ số co giãn và điểm không của chương, so đối xứng với bất đối xứng, theo tầng với theo kênh, đo sai số theo số bit và tác hại của một điểm ngoại lai, rồi lượng tử hoá một mạng MNIST, đếm đúng từng byte và thử QAT ở 2 bit.

  Mục 5. Lượng tử hoá và độ chính xác số · 7. Chọn kỹ thuật · 10. Công cụ triển khai

  chạy dưới 1 phútMở trong Colab ↗

• 4. Byte, băng thông và tỉ số trên giấy: khi nào mô hình nén thật sự nhanh hơn

  Tính lại các phép kế toán byte của chương: mô hình nào vừa thiết bị nào, bộ nhớ đệm KV và token mỗi giây khi nghẽn ở bộ nhớ, thanh ghi SIMD, thang năng lượng, lưu lượng Conv-BN-ReLU trước và sau hợp nhất, định luật Amdahl; đo một tầng 4096 nhân 4096 trên CPU ở fp32, bf16 và int8 không có kernel int8, và theo kích thước batch.

  Mục 1. Mục đích · 2. Khung tối ưu · 3. Bối cảnh triển khai · 5. Lượng tử hoá và độ chính xác số · 6. Hiệu quả kiến trúc · 7. Chọn kỹ thuật · 8. Chiến lược tối ưu · 9. Đo lường hiệu quả · 10. Công cụ triển khai · 11. Ngộ nhận và cạm bẫy · 12. Tổng kết

  chạy dưới 1 phútMở trong Colab ↗