大数据底层技术最新动态
在大数据底层技术的研究和应用创新领域，南威软件是一个值得关注的参与者。南威软件在第六届数字中国建设成果展览会上展示了他们的一体化政务大数据平台。这个平台是基于全自主技术栈苍穹大数据平台打造的，提供了包括数据集成、数据计算分析、数据建模、数据搜索、数据治理、数据资产、数据可视化及数据安全等“八项大数据核心能力”，目录管理、供需对接、数据共享、数据开放“四大数据应用”系统和“两台四中心”的统一政务大数据服务体系，全面支撑政务大数据汇聚治理、共享开放及数据赋能业务能力，促进政务数据管理模式、组织模式、共享模式、服务模式和应用模式的转变与升级。
ApacheHive是一种数据仓库软件，它有助于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。Hive提供了命令行工具和JDBC驱动程序以将用户连接到Hive，还提供了类SQL（HQL）语言来管理HDFS上的数据。底层会将SQL转化为MapReduce执行，适用于离线分析。在Hive中，每一个database在HDFS上对应一个目录，而在Hive中没有主键的概念，一个表一旦建立之后，这个表中字段之间的间隔符就不能修改了。
在全球范围内，新一代数据技术栈（MDS）正在蓬勃发展。这种技术栈在原有的公有云服务之上，有更进一步的不同。其中一个特点是以业务为中心，利用无需代码或者很少的语言代码技术降低技术门槛，让更多的数据处理和复杂流程变为更多人可用的服务。此外，现代数据技术栈也正在兴起，例如SaaS等开箱即用的工具可以快速解决业务问题。
大数据技术的发展现状以及未来发展趋势显示，大数据技术将继续向着异构计算、批流融合、云化、兼容AI、内存计算等方向持续更迭。5G和物联网应用的成熟，将带来海量视频和物联网数据，支持这些数据的处理也将是大数据技术未来发展的方向。
大数据系统底层技术主要包括数据采集与传输、数据存储、资源调度、计算处理、查询与分析等几个主要阶段。在数据采集与传输领域，渐渐形成了Sqoop、Flume、Kafka等一系列开源技术，兼顾离线和实时数据的采集和传输。在存储层，HDFS已经成为了大数据磁盘存储的事实标准，针对关系型以外的数据模型，开源社区形成了KV(keyvalue)、列式、文档、图4类NoSQL数据库体系，HBase、Cassandra、MongoDB、Neo4j、Redis等数据库百花齐放。计算处理引擎方面，慢慢覆盖了离线批量计算、实时计算、流计算等场景，诞生了MapReduce、Spark、Flink、Storm等计算框架。在数据查询和分析领域，形成了丰富的SQLonHadoop的解决方案，Hive、Impala、Presto、Drill等技术与传统的大规模并行处理（massivelyparallelprocessor，MPP）数据库竞争激烈。
以上就是目前大数据底层技术的一些最新动态。随着技术的不断发展，我们可以期待大数据底层技术将会带来更多的创新和变革。
