为什么现实世界的机器学习需要分布式计算

发布日期： 2024-09-09 阅读量： 作者： 网络

为什么现实世界的机器学习需要分布式计算

pyspark 如何帮助您像专业人士一样处理庞大的数据集

pytorch 和 tensorflow 等机器学习框架非常适合构建模型。但现实是，当涉及到现实世界的项目时（处理巨大的数据集），您需要的不仅仅是一个好的模型。您需要一种有效处理和管理所有数据的方法。这就是像 pyspark 这样的分布式计算可以拯救世界的地方。

让我们来分析一下为什么在现实世界的机器学习中处理大数据意味着超越 pytorch 和 tensorflow，以及 pyspark 如何帮助您实现这一目标。
真正的问题：大数据
您在网上看到的大多数机器学习示例都使用小型、易于管理的数据集。您可以将整个事情放入内存中，进行尝试，并在几分钟内训练模型。但在现实场景中（例如信用卡欺诈检测、推荐系统或财务预测），您要处理数百万甚至数十亿行。突然间，您的笔记本电脑或服务器无法处理它。

如果您尝试将所有数据一次性加载到 pytorch 或 tensorflow 中，事情就会崩溃。这些框架是为模型训练而设计的，而不是为了有效处理巨大的数据集。这就是分布式计算变得至关重要的地方。
为什么 pytorch 和 tensorflow 还不够
pytorch 和 tensorflow 非常适合构建和优化模型，但在处理大规模数据任务时却表现不佳。两个主要问题：

内存过载：他们在训练之前将整个数据集加载到内存中。这适用于小型数据集，但当您拥有 tb 级的数据时，游戏就结束了。
无分布式数据处理：pytorch 和 tensorflow 并不是为处理分布式数据处理而构建的。如果您有大量数据分布在多台机器上，那么它们并没有真正的帮助。

这就是 pyspark 的闪光点。它旨在处理分布式数据，在多台机器上高效处理数据，同时处理大量数据集，而不会导致系统崩溃。

真实示例：使用 pyspark 检测信用卡欺诈
让我们深入研究一个例子。假设您正在开发使用信用卡交易数据的欺诈检测系统。在本例中，我们将使用 kaggle 的流行数据集。它包含超过 284,000 笔交易，其中不到 1% 是欺诈交易。

第 1 步：在 google colab 中设置 pyspark
为此，我们将使用 google colab，因为它允许我们以最少的设置运行 pyspark。

!pip install pyspark

# python # office

上一篇: 在 WordPress 中调整字体大小的指南

下一篇: Vue 中首次登录 store 无法获取用户信息的解决方案是

为什么现实世界的机器学习需要分布式计算

随便看看