项目 · 精准畜牧 · Skadia
从牧场表格到四指标看板
体重、天气、体况和用药往往还在 Excel 里。本项目读取这些表,算出牧场天天要用的四个数:日增重、每公顷牲畜、热应激小时、瘦弱比例。
下方看板已经算好。GitHub 上有 Docker 可复现(Airflow + PySpark)。没有集群时 Spark 在电脑上跑。
- Apache Airflow
- PySpark
- Delta Lake
- Databricks
- Docker Compose
- Streamlit
- Python
已发布结果
给一线看
- ADG — 两次称重之间每天增重的公斤数
- 载畜 — 每可用公顷的牲畜单位
- ITH — 家畜处于热应激的小时数
- BCS — 体况低于 4 分(1–9 分)的动物占比
给数据工程看
Delta 的 bronze / silver / gold 分层。一个 Airflow DAG、PySpark 和质量检查。演示数据集。
Docker Desktop,约 4 GB 内存。Airflow http://localhost:8088(admin/admin)。Streamlit http://localhost:8501。
git clone https://github.com/FabricioNicolasDuarte/skadia-data-engineering.git
docker compose up -d --build && docker compose run --rm pipeline run-all