Hướng dẫn làm sạch dữ liệu (Data Cleaning) trước khi đưa vào phân tích Big Data

Khía cạnh phân tích: Xử lý giá trị thiếu, outlier, chuẩn hoá đơn vị

Case study: Dữ liệu đất & năng suất lúa

1. Mở đầu (Story‑based)

🌾 Câu chuyện ở làng Bến Cát:

Bà Thủy, một nông dân trồng lúa trên 2 ha, luôn tự hỏi vì sao năng suất mỗi vụ chỉ đạt 5‑6 tấn/ha trong khi “đối thủ” trong làng đạt 8‑9 tấn/ha. Bà quyết định dùng phần mềm phân tích dữ liệu của một công ty công nghệ để tìm nguyên nhân. Khi tải file dữ liệu đất – pH, độ ẩm, hàm lượng NPK – lên hệ thống, kết quả đổ “làm rối”:

• Các dòng dữ liệu có nhiều khoảng trống (giá trị thiếu).
• Một vài giá trị pH nhảy lên 14 (đây là outlier – “cây to” quá mức).
• Đơn vị hàm lượng NPK khác nhau: một cột là kg/ha, cột kia lại là g/m².

Bà Thủy lắc đầu, “đâu mà dữ liệu sạch lại lại khó hơn cày ruộng?”.

Giải pháp: Làm “cây sạch” cho dữ liệu trước khi phân tích, giống như việc **cày xới, làm phẳng đất trước khi gieo hạt. Khi dữ liệu đã sạch, các mô hình dự báo năng suất sẽ đánh giá đúng và đưa ra kế hoạch bón phân tối ưu.

2. Giải thích cực dễ hiểu

Data cleaning = “Làm sạch dữ liệu” – quá trình loại bỏ “cỏ dại”, lấp đầy “hố rỗng” và đồng bộ “đơn vị đo lường” để dữ liệu sẵn sàng “trồng trọt” trong mô hình AI.

Tại sao sạch dữ liệu lại “tiết kiệm tiền”?
Khi dữ liệu sạch, dự báo đúng hơn 30 %, giúp giảm lãng phí phân bón 20 % và tăng năng suất 15‑20 %, tức giảm chi phí 5‑7 triệu đồng/ha cho bà Thủy.

3. Cách hoạt động (Thực hành AI)

3.1 Quy trình “Cày đất dữ liệu” (ASCII Flow)

+-------------------+      +-------------------+      +---------------------+
| Thu thập raw data | ---> | Kiểm tra Missing  | ---> | Điền giá trị trung  |
| (đất, pH, NPK…)   |      | (hố rỗng)          |      | bình / dùng mô hình |
+-------------------+      +-------------------+      +---------------------+
        |                           |                          |
        v                           v                          v
+-------------------+      +-------------------+      +---------------------+
| Phát hiện Outlier | ---> | Loại bỏ/Điều chỉnh| ---> | Chuẩn hoá đơn vị     |
| (cây dại)          |      | (cây dại)          |      | (kg/ha, %…)         |
+-------------------+      +-------------------+      +---------------------+
        |                           |                          |
        v                           v                          v
+---------------------------------------------------------------+
| Dữ liệu sạch → Gửi vào mô hình dự báo năng suất Big Data       |
+---------------------------------------------------------------+

3.2 Các công cụ “cày” mà bà Thủy có thể dùng

Lưu ý: Khi sử dụng Serimi App, nếu gặp thông báo “❗️ Missing column detected”, hãy bấm “Add Column” và nhập Giá trị trung bình để tránh “hố rỗng” trong mô hình.

3.3 Sơ đồ dữ liệu sau khi sạch (ASCII)

+-------------------+       +-------------------+       +-------------------+
|  Soil pH (0‑14)   | ----> |   Cleaned pH (0‑14)| ----> |   Scaled pH (0‑1) |
+-------------------+       +-------------------+       +-------------------+
|  NPK (kg/ha)      | ----> |   Cleaned NPK      | ----> |   Scaled NPK      |
+-------------------+       +-------------------+       +-------------------+
|  Moisture (%)    | ----> |   Cleaned Moist   | ----> |   Scaled Moist    |
+-------------------+       +-------------------+       +-------------------+

4. Mô hình quốc tế (không nêu tên dự án)

Điều chung: Các nước này đều đặt “làm sạch dữ liệu” làm bước đầu tiên trước khi đào tạo mô hình AI – giống như việc cày xới đất trước khi gieo hạt.

5. Áp dụng thực chiến tại Việt Nam

5.1 Mô hình 1 ha lúa “Sạch dữ liệu”

Kết quả thực tế (được mô phỏng trên Serimi App)

• Năng suất tăng 1.5 tấn/ha → 25 % tăng thu nhập.
• Phân bón giảm 15 % → tiết kiệm 2.2 triệu đồng/ha.
• Thời gian chuẩn bị dữ liệu giảm 70 % (từ 4 giờ xuống 1.2 giờ).

6. Lợi ích thực tế

• Năng suất: +15‑25 % (tùy vùng).
• Chi phí: giảm 12‑20 % (phân bón, nước, thuốc).
• Rủi ro: dự báo sai giảm 80 %, giảm mất mùa do quyết định sai.
• Thời gian: xử lý dữ liệu giảm từ 3‑4 giờ xuống ≤1 giờ.

7. Khó khăn thực tế tại VN

8. LỘ TRÌNH TRIỂN KHAI (6‑8 bước thực tiễn)

1. Bước 1 – Đánh giá hiện trạng:
   • Thu thập 5‑10 mẫu đất (pH, NPK, độ ẩm).
   • Ghi lại khoảng trống dữ liệu (Missing).
2. Bước 2 – Cài đặt cảm biến IoT (nếu có):
   • Lắp ESG IoT sensor ở 3 vị trí chính.
   • Kết nối với Server AI LLM qua mạng di động.
3. Bước 3 – Tải dữ liệu lên **Serimi App:**
   • Chọn “Import CSV”, đảm bảo tiêu đề đúng (pH, N, P, K).
4. Bước 4 – Xử lý Missing & Outlier:
   • Chọn “Fill Missing → Mean”.
   • Chọn “Detect Outlier → IQR”, “Remove”.
5. Bước 5 – Chuẩn hoá đơn vị:
   • Nhấn “Normalize → kg/ha” cho NPK, “Scale → 0‑1” cho pH.
6. Bước 6 – Chạy mô hình dự báo:
   • Gõ lệnh:
     bash
run_predict --data clean_soil.csv --target yield
   • Nhận báo cáo (dự báo năng suất, đề xuất bón phân).
7. Bước 7 – Thực hiện đề xuất:
   • Áp dụng kế hoạch bón phân theo báo cáo (ví dụ: N = 120 kg/ha, P₂O₅ = 80 kg/ha).
8. Bước 8 – Đánh giá sau vụ:
   • So sánh năng suất thực tế với dự báo, ghi nhận số liệu để tối ưu vòng lặp.

9. BẢNG THÔNG TIN KỸ THUẬT

*Giá tham khảo 2026, chưa bao gồm VAT, hỗ trợ ưu đãi 10 % khi mua gói ESG Agri toàn diện.

10. CHI PHÍ & HIỆU QUẢ (ROI)

10.1 Bảng so sánh chi phí cũ vs mới

10.2 Tính toán ROI

$$
\text{ROI} = \frac{(\text{Total_Benefits} – \text{Investment_Cost})}{\text{Investment_Cost}} \times 100
$$

• Total Benefits = (Doanh thu mới – Doanh thu cũ) = 86.4 triệu – 69.6 triệu = 16.8 triệu.
• Investment Cost = Chi phí đầu tư phần mềm + thiết bị = 5 triệu (Serimi + IoT) + 2 triệu (UPS) = 7 triệu.

$$
\text{ROI} = \frac{16.8 – 7}{7} \times 100 \approx 140\%
$$

Kết luận: Đầu tư 7 triệu để làm sạch dữ liệu sẽ mang lại lợi nhuận 140 % trong một vụ mùa – tiết kiệm 2.4 triệu trong chi phí và tăng thu nhập 16.8 triệu.

11. Hướng đi thực tế tại Việt Nam (Mô hình theo vùng & cây trồng)

12. SAI LẦM NGUY HIỂM

13. FAQ – 12 câu hỏi thường gặp của nông dân

14. Kết luận

Làm sạch dữ liệu giống như việc cày xới, dọn dẹp đồng ruộng trước khi gieo hạt. Khi dữ liệu đã “khô ráo, sạch sẽ”, mô hình AI sẽ “đánh giá đúng” và giúp bà con nông dân:

• Tăng năng suất từ 5‑6 tấn/ha lên 7‑9 tấn/ha.
• Giảm chi phí bón phân, thuốc, nhân công lên đến 20‑25 %.
• Giảm rủi ro dự báo sai, mất mùa.

Với Bộ công cụ ESG Agri (Serimi App, ESG IoT, Server AI LLM) và lộ trình 8 bước trên, bà Thủy có thể bắt đầu ngay trong ngày – chỉ cần mở smartphone, import dữ liệu, nhấn một vài nút, và đọc báo cáo.

🧭 Nếu bà con muốn tư vấn lộ trình Big Data riêng cho vườn/ao/chuồng của mình, đội ngũ ESG Agri sẵn sàng hỗ trợ **miễn phí khảo sát ban đầu. Hãy liên hệ ngay!**