大规模数据并行算法：分布式计算的精髓
由于经常面对海量数据编程，对大规模数据下的算法设计有一点心得，分享其中的一个点：并行思想。
1. 什么是并行计算
近年来流行大数据，神乎其神的，说白了就是数据量太多了，多到 GB，TB 的数据存储，单机根本没法存储，也没法处理。单机能搞定的数据与算法，我们姑且认为是小数据，搞不定的就是大数据。那么单机存储不了，自然而然的就想到了分散到多机存储与处理，当一件事情只需要靠叠加机器就能解决的时候，问题就解决了一半了，剩下的就是如何去协调多机的数据，以及处理算法了，这种多机器的操作，简单认为就是分布式的操作吧。
因此这里又衍生出了两个方向，一个是多机存储数据，一个是多机处理数据，这里只讲一下多机处理数据：分布式计算。
2. 分布式计算
分布式计算的一个特点除了因为数据本身是分散到不同机器上外，还有一个更重要的特点，那就是多机可以同时计算，这一特点也是分布式算法设计当中最需要关注的一个点。当然使用这一特点是需要条件的：那就是机器之间在处理数据阶段本身是互相独立的，这一点非常重要。
举个例子，有 10GB 的文本数据，分布在 10 台机器上，现在要统计文本里面不同单词出现的次数，该问题也是大数据的基本问题 worldcount。由于统计次数这个操作本身可以相互独立，因此解决的方法也很简单，先各个机器分别自己统计自己的那部分文本结果，待全部处理了，在将所有机器的结果进行合并得到整个结果。可以发现，各机器自己统计这一步是完全独立的，不依赖其他机器的数据，因此可以并行化计算，分布式计算之所以快的原因也就在于此；合并不同机器结果这一步就不算是分布式了，必须要等到各机器都就绪了才能进行。
- 分享于 · 2020.05.09 08:21 · 阅读 · 2282
[版权声明] ：本文系网友分享，仅以非商业性的交流和科研为目的，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本网（ friends@stuch.cn ）联系！我们将协调给予处理。转载授权码：确权中，请原作者尽快与我们取得联系，阅读原文(请登录)..
相关推荐:
- 文章 LS-Prepost 如何实现批处理统计仿真计算结果 12629 浏览
- 文章 LS-DYNA 近几年的新技术介绍 5041 浏览
- 文章 对 AUTODYN 的初步认识 9476 浏览
- 文章 AUTODYN 如何基于 MPI 进行并行计算 7489 浏览
- 文章 LS DYNA 中的单位制体系，附力学、热学、电磁学、ICFD 单位制转换 17888 浏览
- 问答 LS-DYNA R9.1.0 用户自定义材料库及其下载链接 3618 浏览
- 问答 关于材料 *MAT_005_SOIL_AND_FOAM 来模拟土的参数确定？ 5026 浏览
- 问答 LS-DYNA 材料卡片中有关单位系数选项的选取疑问 1138 浏览
- 问答 看了关于 LS-DYNA 最新进展之不可压缩流体 ICFD 求解器 这篇文章，想学习一下这方面的模拟，但找不到算例模拟资料 3372 浏览
- 问答 在做岩石爆破模拟时，没有报错，但就是计算不下去，这种情况是网格质量太差，出现大变形了吗 1072 浏览
- 问答 请问，你 LSDYNA 的许可问题解决了吗 2038 浏览
