理财

什么叫大数据技术

  现在很多行业都使用大数据。那么,什么是大数据技术呢?

  大数据(bigdata)是指在一定时间内无法用普通软件工具捕捉、管理和处理的数据集合,需要新的处理模式,具有更强的决策力、洞察发现力和流程优化能力的大容量、高增长率和多样化的信息资产。

  1、跨粒度计算(In-DatabaseCompuTIng)

  Z-Suite支持各种常见的总结,支持几乎所有的专业统计函数。由于跨粒度计算技术,Z-Suite数据分析引擎找到了最佳化的计算方案,将所有费用大、昂贵的计算移动到数据存储的地方直接计算,称为库内计算。该技术大大降低了数据移动,降低了通信负担,保证了高性能数据分析。

  2、并行计算(MPPCompuTIng)

  Z-Suite是基于MPP架构的商业智能平台,她可以将计算分布在多个计算节点上,在指定节点上总结计算结果输出。Z-Suite可以充分利用各种计算和存储资源,无论是服务器还是普通电脑,她对网络条件都没有严格的要求。Z-Suite作为据平台,Z-Suite可以充分发挥各节点的计算能力,轻松实现对TB/PB级数据分析的秒级响应。

  3、列存储(Column-Based)

  Z-Suite是列存储的。基于列存储的数据市场,不读无关数据,可以降低读写费用,同时提高I/O的效率,大幅提高查询性能。此外,列存储可以更好地压缩数据,一般压缩比在5-10倍之间。这样,数据占用空间将降低到传统存储的1/5到1/10。良好的数据压缩技术节约了存储设备和存储成本,但大大提高了计算性能。

  4、内存计算

  由于存储技术和并行计算技术,Z-Suite可以大大压缩数据,同时利用多个节点的计算能力和内存容量。一般来说,存储器的访问速度比磁盘的访问速度快几百倍到几千倍。通过内存计算,CPU直接从内存而不是磁盘读取数据,计算数据。内存计算是传统数据处理方式的加速,是实现大数据分析的重要应用技术。