跳到正文
Hacker News 首页

Pandas 该退休了:你的数据可能根本没到“大数据”级别

Pandas Should Go Extinct

Eddie 直接拿 Amazon Redshift 机群数据算了笔账:94.68% 的表不到 100GB,86.9% 的查询只扫 80GB 以下的数据。也就是说,绝大多数团队手里只是“中数据”,根本犯不着上 Spark 这类分布式系统。Pandas 处理到几十 GB 就容易内存爆炸、慢得难受,而 Polars(Rust 写的 DataFrame 库)和...

读原文 ↗导出 Markdown