大数据涉及哪些技术
大数据现在应该是非常受欢迎的词语,那个大数据与什么样的技术有关呢?
永洪科技的技术有四个方面,其实也代表了一部分通用大数据基础技术:
Z-Suite具有高性能的大数据分析能力,她完全抛弃了向上升级,全面支持横向扩展。Z-Suite主要通过以下核心技术支持PB级大数据:
跨粒度计算
Z-Suite支持各种常见的总结,支持几乎所有的专业统计函数。由于跨粒度计算技术,Z-Suite数据分析引擎发现了最佳化的计算方案,将所有费用大、昂贵的计算移动到数据存储的地方直接计算,称为库内计算。该技术大大降低了数据移动,降低了通信负担,保证了高性能数据分析。
并行计算(MPPComputing)
Z-Suite是基于MPP架构的商业智能平台,她可以将计算分布在多个计算节点上,在指定节点上总结计算结果输出。Z-Suite可以充分利用各种计算和存储资源,无论是服务器还是普通电脑,她对网络条件都没有严格的要求。Z-Suite作为据平台,Z-Suite可以充分发挥各节点的计算能力,轻松实现对TB/PB级数据分析的秒级响应。
列存储(Column-Based)
Z-Suite是列存储的。基于列存储的数据市场,不读无关数据,可以降低读写费用,同时提高I/O的效率,大幅提高查询性能。此外,列存储可以更好地压缩数据,一般压缩比在5-10倍之间。这样,数据占用空间将降低到传统存储的1/5到1/10。良好的数据压缩技术节约了存储设备和存储成本,但大大提高了计算性能。
内存计算
由于存储技术和并行计算技术,Z-Suite可以大大压缩数据,同时利用多个节点的计算能力和内存容量。一般来说,存储器的访问速度比磁盘的访问速度快几百倍到几千倍。通过内存计算,CPU直接从内存而不是磁盘读取数据,计算数据。内存计算是传统数据处理方式的加速,是实现大数据分析的重要应用技术。
介绍:
大数据技术是以数据为本质的下一代革命性信息技术,在数据挖掘过程中,可以推进理念、模型、技术和应用实践的创新。本书系统介绍了大数据概念、发展历史、市场价值、大数据相关技术、大数据对中国信息化建设、智能城市、广告、媒体等领域的核心支持作用,初步探索了数据科学理论。
内容:
数据价值的强调和数据获取手段、数据处理技术的改善是“大数据”爆炸的根源。随着数据生产的要素化,数据科学、数据科学技术的发展和数据价值的深入挖掘和应用,大数据革命正在进行中,推动国家战略和地区经济发展、智能城市建设、企业变革升级、社会管理和个人工作、生活等各个领域的创新和变革。如何真正应用好大数据,发挥大数据的威力,是目前所有人共同研究和探索的问题。
大数据在数据科学理论的指导下,改变创新模式和理念,发展大数据技术,深化大数据的应用和实践,行业大数据是大数据最大、最佳的应用领域。