霍顿工厂和HP Labs联手提升Spark

霍顿工厂正在与Hewlett Packard Labs合作,以提高企业内存的效率和规模,并显着提高内存利用率。

统计统计大澳门游戏分析
Thinkstock

Hadoop的发行专家 霍顿工厂 已与HP Enterprise的中央研究组织HP Labs联手,旨在显着提高Spark工作负载的性能。

[相关: 霍顿工厂在HDP 2.2中增强了对企业需求的支持 ]

在周二于旧金山举行的新闻发布会上,两家公司宣布了一项合作,已经取得了一些成果:

  • 增强的随机播放引擎技术。 更快的排序和内存计算,有可能显着提高Spark性能。
  • 更好的内存利用率。 改进的性能和用法可实现​​更大的可伸缩性,这将有助于启用新的大规模用例。

惠普企业执行副总裁兼首席技术官兼首席技术官,Hortonworks董事会成员,马丁·芬克说:“我们希望Spark社区能够从更大的澳门游戏集中更快地获得见解,而不必更改一行代码。” 。 “我们很高兴能够与Hortonworks合作,拓宽了Spark可以解决的挑战范围。”

Fink解释说,HP Labs一直在研究企业内存的效率和规模,以及提高企业内存利用率的方法。

他说:“这项研究活动的一部分是,我们将改组引擎从Java改写为C ++。” “我们看到我们重写了许多算法,以更有效地利用内存,并启用了可以进一步扩展内存的方式。”

[相关: 评论:大澳门游戏处理下的Spark着火了 ]

实际上,某些利用HP Labs工作的客户发现,它将某些工作负载的性能从5倍提高到15倍。

“我已经待了很长时间了,”芬克说。 “在某些工作负载上,性能提高通常不超过15倍。我们知道我们需要将它作为更大整体的一部分。”

Fink指出,由于Hortonworks致力于开放与协作,因此HP Enterprise选择在Hortonworks的帮助下开放其研究成果。

霍顿工厂首席技术官Scott Gnau补充说:“这种合作表明我们对不断成长的Spark社区及其解决方案的相互支持和承诺。 “我们将继续专注于将Spark集成到Apache YARN支持的广泛澳门游戏架构中,以及增强性能和功能,并为Apache Zeppelin等应用程序提供更好的访问点。”

Zeppelin是一个正在孵化的Apache项目,它提供了一个基于Web的笔记本,可以进行交互式澳门游戏分析。

版权© 2016 IDG通讯,Inc.