关于海量数据处理软件的程序设计

在现实社会里，尤其在医学、股票和气象等领域中经常存在着对海量数据进行分析的需求。一种解决这类问题的方法是在数据处理前先主观确定一个标准，然后将数据进行无量纲化及归一化处理。这样常常导致运算结果不仅含有诸多主观因素，而且在运算前就改动了数据的原始性，通常这类方法运算相对复杂，因此也难以被人们掌握。另一种解决的方法是建立一个适合于并行算法的数据模型，推导出能够解决实际问题的理论公式，通过设计一个高效的并行算法，在高性能的并行处理机上来实现最终的分析。然而大型的并行处理机对使用低端设备的用户来说是可望而不可及的，为了解决在微机上进行海量数据处理的问题，本文从程序设计的角度阐述了一个海量数据的处理方法，即通过使用良好的编程方法和合理的数据结构，使设计出的程序在功能完善的基础上，达到执行效率的最优和空间开销的最省。