跳到正文
Fabricio Duarte

项目 · 精准畜牧 · Skadia

从牧场表格到四指标看板

体重、天气、体况和用药往往还在 Excel 里。本项目读取这些表,算出牧场天天要用的四个数:日增重、每公顷牲畜、热应激小时、瘦弱比例。

下方看板已经算好。GitHub 上有 Docker 可复现(Airflow + PySpark)。没有集群时 Spark 在电脑上跑。

  • Apache Airflow
  • PySpark
  • Delta Lake
  • Databricks
  • Docker Compose
  • Streamlit
  • Python

已发布结果

给一线看

  • ADG — 两次称重之间每天增重的公斤数
  • 载畜 — 每可用公顷的牲畜单位
  • ITH — 家畜处于热应激的小时数
  • BCS — 体况低于 4 分(1–9 分)的动物占比

给数据工程看

Delta 的 bronze / silver / gold 分层。一个 Airflow DAG、PySpark 和质量检查。演示数据集。

Docker Desktop,约 4 GB 内存。Airflow http://localhost:8088(admin/admin)。Streamlit http://localhost:8501。

git clone https://github.com/FabricioNicolasDuarte/skadia-data-engineering.git

docker compose up -d --build && docker compose run --rm pipeline run-all