海洋为Apache火花——Serverless火花现在可用在AWS上预览

Kubernetes带来的原生云革命改变了我们构建和交付软件的方式,但大数据的世界太久一直留在这个变换。由于许多来自开源社区的贡献,Apache火花集成Kubernetes现在官方一般可用最近今年发布。

现货客户跟随这个趋势,移动数据工程,科学,数据和数据分析工作负载Kubernetes,我们决定加速这种转变通过构建一个完全自动化和优化火花平台在海洋之上,我们serverless基础设施引擎容器。收购2021年6月数据力学加快了这个路线图是他们的功能集成。

现货NetApp兴奋地宣布启动dota2雷竞技规则 为选择AWS客户,现在可以在预览。

一种新方法在云中运行Apache火花

今天Apache的火花

今天大多数的部署火花Hadoop纱或专有的集群上运行经理。这些部署模型需要每个应用程序都运行在自己的孤立的集群,性价比不高,而且经常遭受不稳定由于缺乏隔离:全球火花和库版本,饥饿和fate-sharing资源。

它落在终端用户的基础设施和配置管理工作,并使复杂的成本之间的权衡,稳定性和性能。这导致一大损失的生产力数据团队,和次优基础设施从而导致低劣的性能和高的云账单。

Apache火花是原生云的未来

能够运行Apache火花工作负载在孤立的码头工人容器由Kubernetes改变行业格局。最后可以使用单个云不可知论者基础设施在整个技术堆栈,从通用microservices到大数据。

但是跑步Spark-on-Kubernetes开源甚至使用托管平台EMR的,是很难的。数据团队被迫应对Kubernetes的复杂性,如创建、扩展和维护集群本身,然后配置火花的高效运行。基本的监视功能通常是失踪,火花开发者不得不经历痛苦的人工故障诊断时失败。

海洋对于Apache火花给数据团队的力量和灵活性Kubernetes没有它的复杂性。它提供了Spark-centric接口旨在提高开发人员的经验,而其serverless基础引擎不断的自动定量和优化,以最低的成本提供最高的性能。

海洋Apache火花是什么?

海洋Apache火花是一个管理进行火花服务建立在海洋的serverless引擎,致力于使Apache火花的开发者和成本效益。它给数据团队serverless体验使用Apache火花时,部署在Kubernetes集群内部云账户。

一层Spark-centric可观测性

现场控制台内海洋serverless海洋基础设施和Apache火花,你可以了解你Kubernetes集群包括节点、豆荚、伸缩活动,成本在集群级别。

海洋对Apache引发额外Spark-centric可观测性层提供可见性对火花应用程序的配置、日志、火花UI和关键指标(CPU、内存、网络和磁盘I / O,引发效率比,洗牌)。这些信息可以在应用程序运行时和之后完成。我们的开源火花监控工具高兴的是也是本地集成帮助你排除的工作性能。

\

火花工作配置优化

海洋Apache火花自动曲调某些基础设施参数(如容器的大小、数量的执行人)和火花配置(如I / O优化、内存管理、洗牌,火花特性旗帜)根据前一次执行的历史表现你的火花工作。

你可以跟踪进化的每一个工作的性能,稳定性,成本,和其他关键指标在一个专用的仪表板,以确保每个火花工作配置最小化资源使用,同时尊重时间的SLA。

一个自动缩放和优化基础设施

利用先进的智能算法,海洋为Apache火花自动天平集群(s)根据实时负荷,选择性能最高,成本最低的情况下(包括节点)匹配您的工作负载需求。它给你实时可见性基础设施及其成本,在每个火花工作和每个用户火花。

豆荚的调度(容器)上节点(实例)是优化装箱算法来提高效率和降低成本。自动空间可以配置为保证火花应用程序可以瞬间没有等待新产能供应。

开放和灵活的架构,在您的帐户

海洋为Apache火花受益一样灵活部署模型海洋:您可以创建一个Kubernetes(例如的)聚集在你的VPC AWS帐户和使用AWS控制台,控制台,一个命令行实用程序,或者像起程拓殖和Cloudformation工具。您可以配置网络、安全策略和数据访问规则使用您公司的最佳实践。

海洋Apache火花是内置与流行的数据集成工具,如Jupyter笔记本(包括JupyterHub)调度解决方案(如气流),和连接器等流行的数据存储对象存储,数据仓库中,δ湖泊、流媒体资源,等等。雷电竞官网进入开源架构我们建立便于集成整个云原生生态系统,从日志和监控、网络和安全,CI / CD等等。

如何开始

海洋为Apache火花现在可以在预览特定AWS的客户。如果你有兴趣开始使用一个免费的POC,安排一个初始会议与我们团队的Apache火花解决方案架构师,我们可以讨论你的雷电竞官网进入用例和帮你做一个成功的新员工培训的平台。