美光加速Hadoop和其他大数据解决方案

Overview

大数据是个大问题. im体育正在产生, 以前所未有的速度获取和管理来自新来源的海量新数据. Our 虚拟化环境, 流媒体服务, 基于云的基础设施和分布式工作人员希望从这些数据中获得更多. Now. Historically, 数据科学家面临的主要挑战之一是为cpu提供足够快的数据,以减少空闲时间,并充分利用这些昂贵的资源. CPU空闲时间不仅效率低,而且不利于获得实时的、可操作的结果. 您的组织是否正在使用开源Hadoop®, 私人持有的Aerospike, Cassandra, 或其他数据库, 获得实时分析的好处需要比硬盘驱动器(hdd)更快的存储.

Hadoop的例子

Micron的Hadoop测试环境利用一个运行KVM的节点虚拟化运行NameNode的服务器, 二次NameNode, 资源管理器, Zookeeper, 蜂巢和安巴里服务器. datanode是4个服务器. 网络交换机为运行Cumulus Linux 3的48端口10GbE交换机.4.2.

Hortonworks

Hadoop集群软件由HDP 3组成.0 Hive数据库在HDFS/YARN上部署在两个独立的四节点集群上. 两个集群的区别仅在于,一个集群使用一组15K SAS HDD,另一个集群使用相同的HDD配置,并在每个节点上添加一个Micron 9200MAX NVMe SSD,并将YARN缓存重定向到使用该NVMe SSD.

确保存储I/O的真实测量, 数据库大小与内存的比例目标是约2:1 (2TB的数据,扣除操作系统开销后的集群总内存为822GB). 结果是:一个更快更有效的Hadoop数据库.

美光制造IT Hadoop案例研究

im体育测试的出色结果促使Micron IT在im体育用于制造分析的真实存储集群中,将Hadoop部署在im体育自己的ssd上, 以最小的成本获得更高效的性能. Read the blog here.

Hortonworks

Resources

+