K8凯发(中国)天生赢家·一触即发

K8凯发(中国)天生赢家·一触即发原]深入对比数据科学工具箱:Python3 和 R 之争[2020版]
栏目:k8凯发集团 发布时间:2025-10-02
 k8凯发官网R 和 Python2/Python3 在过去十年(Pandas问世后)的数据科学领域持续着激烈的竞争,随着时间的推移竞争格局也从混沌走向清晰。  R 从诞生开始就继承了 S 语言的统计特性,经历了野蛮生长,2009 年 ggplot2 和 data.table 的横空出世大幅提升数据可视分析的效率,极大冲击了数据科学早期市场,要知道当时数据科学还主要被商业软件 Excel、SAS

  k8凯发官网R 和 Python2/Python3 在过去十年(Pandas问世后)的数据科学领域持续着激烈的竞争,随着时间的推移竞争格局也从混沌走向清晰。

  R 从诞生开始就继承了 S 语言的统计特性,经历了野蛮生长,2009 年 ggplot2 和 data.table 的横空出世大幅提升数据可视分析的效率,极大冲击了数据科学早期市场,要知道当时数据科学还主要被商业软件 Excel、SAS 和 Matlab 所垄断。R语言作为数据科学开源软件的先驱,多个商业应用领域不断进化,贝叶斯、空间分析、网络分析、时序分析、生存分析等在代码库 CRAN 和 GitHub 上开始快速增长,直到 2015年 Revolution R 被 Microsoft 公司收购达到顶峰。

  Python 原本是一种胶水语言,在Web开发、嵌入式开发、运维测试等领域使用较为广泛,在数据科学领域运用并不广泛。然而,自 2015年大数据和深度学习的人工智能革命起,Python 中的两大开源框架 PySpark 和 Tensorflow 开始大放异彩,全民学习 Python 的热情也随水涨船高,Python 成功实现了数据科学领域的逆袭。

  自2016年以来,Python 和 R 的数据处理工具之间不断融合,互相学习,取长补短,易用性和生产力也已经不相上下。基本形成了 pandas(Python)、tidyverse(R) 为核心的两大前端语法体系,后端计算引擎则包含 Spark,Dask,data.table 等。

  在单机处理方面,Python 形成了以Pandas为核心的主流基础数据流处理框架,囊括了从数据IO、CRUD、数据透视、数据可视的全流程,并且通过 Dplython 可实现类似于 R 中 Tidyverse 的管道操作语法。举例如下:

  单机数据处理的另外一个重要流派便是以计算性能所闻名的data.table体系,经过10余年的不断优化,基于 C 开发的 data.table 在单机数据处理的性能和稳定性上完爆大部分框架。下面是 data.table 最新性能评测,在GroupBy算子处理 50G 数据的性能对比,data.table 以 123s 的成绩完爆同类工具。 在评测中我们看到原始 dplyr 的性能相对 data.table 比慢了 20倍(得益于 data.table 处理数据过程内存拷贝最小化)。

  在分布式处理方面,PySpark 框架虽然在易用性上多为人诟病,但得益于先发优势和广大的码农群众基础,已经成为了最主流的分布式数据处理框架,涵盖了从数据IO、SQL、UDF定义、数据透视、模型训练的全流程,并且通过 Koalas 可实现类似于 R 中 Sparklyr 的管道操作语法,让用户只需掌握 Pandas 而不用学习RDD就可以实现数据的操作。

  前文提到过,数据处理另外一个流派是data.table,基于 data.table 之上形成的分布式处理框架就是disk.frame,disk.frame 和 Spark 的最大区别就是,disk.frame 优先解决的是计算密集型的复杂模型运算任务,让数据跟随计算;而 Spark 因为使用的是 Map-Reduce 模型,计算跟随数据,所以更擅长数据密集型的简单ETL运算任务。

  也正是由于计算模型的不同,disk.frame 可以直接运行所有本地已经安装的模型库,不需要做额外的打包处理。而 PySpark 同常还需要将相关的Python依赖包打到conda环境的zip文件中,操作过程相对麻烦。

  所以,相对而言,尤其在数据量超大的模型训练过程中,处理若干个csv文件夹,disk.frame 是非常顺手且快如闪电!因此,disk.frame 尤其适合应用于强化学习、图模型、仿真计算等计算密集型任务。

  有幸的是,在 Python 世界中有两个和 disk.frame 类似的工具,一个是Dask,另外一个是Modin。一方面,他们都提供类似 Pandas 的数据操作语法,另一方面,这两个项目也在不断融合。目前,相对而言 Dask 更加成熟一些。

  领域数据挖掘按照数据维度整体上可以分为 1. 序列数据挖掘 2. 空间数据挖掘 3. 网络数据挖掘

  自2016年以来,在领域数据挖掘中也承袭了 pandas(Python)、tidyverse(R) 为核心的两大前端语法体系,在此基础上根据不同领域对 data.frame 结构进行改造,以便于数据分析的开展。

  自然世界中最简单的数据便是序列数据,万物皆在时序维度上留下痕迹。就时序挖掘而言,自 2016年以来,在 R 中形成了以 Tidyverts 为核心的主流时序数据处理框架,囊括了数据IO、时序补全、时间索引(tsibble)、时序建模(fable)、时序半自动可视化(feasts)的全流程,其中时序建模取代了经典工具forecast,并全面覆盖了经典统计(autoarima)、贝叶斯推断(prophet)、深度学习(keras)等多种方法,全面替代。

  Python 相对而言在时序建模方面起步较晚,且较少应用于宏观经济数据分析,多应用于微观行为建模,目前处于sktime为主要工具,tsfresh、gluon-ts、pmdarima、prophet 等多种工具分散的局面,生态还在逐渐成熟过程中,借助于 Tensorflow 和 LSTM 的东风正在快速崛起。