阿里云飞天大数据平台:解决世界难题,拥有600PB数据处理能力

国内新闻 浏览(603)

晓阳数码科技我想昨天分享

目前,各大企业都特别关注云计算技术的应用,而基于云的解决方案也为企业提供了巨大的价值。云处理大数据的能力为企业带来了更多好处。

在最近召开的2019年阿里云峰会上海站,飞天大数据平台的出现引起了人们的关注。

启动大数据平台的原因

简单易懂,它与淘宝和支付宝等互联网服务的日常使用有关。应该知道,淘宝和支付宝等许多用户在网络上拥有如此多的消费,支付和物流数据,这意味着需要一个非常强大的技术平台(强大的数据处理能力和计算扩展能力等)。根据数据显示,目前的大数据平台具有600PB的单日数据处理能力,并且可以扩展到100,000个计算集群,即使像双11这样的极端交通场景也可以处理它。

飞行数据平台的推出与阿里巴巴电子商务业务的发展密切相关。十年前,由于淘宝流量的爆炸性增长,全行业的Hadoop集群不堪重负。至此,阿里巴巴创始人王健需要拥有一个自主开发的大数据计算平台!因此,他带领团队开始了一场艰苦的战斗,以独立开发飞行大数据平台。

研究和发展之路很难

从零开始,没有前辈的经验,王健和他的团队的飞天大数据平台有着艰难的研发之路。再加上当时国内技术的差距,同行们并不了解内幕并开始质疑。

但一切都在变好。 2013年8月15日,飞天大数据平台取得重大突破,将飞天大数据平台生产集群推向5000台,让阿里云成为世界。第一家提供5K计算能力的科技公司。

飞天大数据平台继续突破并赢得多项第一。

在接下来的几年中,飞行数据平台不断升级和突破。 2015年,打破了计算领域SortBenchmark的四项世界纪录,它在不到7分钟的时间内完成了100TB的数据排序,刷新了ApacheSpark的23.4分钟记录; 2017年成为世界上第一个针对大数据计算的100TB Bigbench测试。平台。

与此同时,大数据平台的容量也在增加:2015年的日常数据处理能力为100PB,2016年为180PB,2017年为320PB,2018年的单日处理量超过600PB。群集规模超过100,000单位。成为世界第一。

回顾阿里云的大数据平台的发展路径,我们可以看到,如果没有自主研发的飞行大数据平台,阿里巴巴可能无法与亚马逊和微软竞争成为三大云计算公司。世界。

收集报告投诉

目前,各大企业都特别关注云计算技术的应用,而基于云的解决方案也为企业提供了巨大的价值。云处理大数据的能力为企业带来了更多好处。

在最近召开的2019年阿里云峰会上海站,飞天大数据平台的出现引起了人们的关注。

启动大数据平台的原因

简单易懂,它与淘宝和支付宝等互联网服务的日常使用有关。应该知道,淘宝和支付宝等许多用户在网络上拥有如此多的消费,支付和物流数据,这意味着需要一个非常强大的技术平台(强大的数据处理能力和计算扩展能力等)。根据数据显示,目前的大数据平台具有600PB的单日数据处理能力,并且可以扩展到100,000个计算集群,即使像双11这样的极端交通场景也可以处理它。

飞行数据平台的推出与阿里巴巴电子商务业务的发展密切相关。十年前,由于淘宝流量的爆炸性增长,全行业的Hadoop集群不堪重负。至此,阿里巴巴创始人王健需要拥有一个自主开发的大数据计算平台!因此,他带领团队开始了一场艰苦的战斗,以独立开发飞行大数据平台。

研究和发展之路很难

从零开始,没有前辈的经验,王健和他的团队的飞天大数据平台有着艰难的研发之路。再加上当时国内技术的差距,同行们并不了解内幕并开始质疑。

但一切都在变好。 2013年8月15日,飞天大数据平台取得重大突破,将飞天大数据平台生产集群推向5000台,让阿里云成为世界。第一家提供5K计算能力的科技公司。

飞天大数据平台继续突破并赢得多项第一。

在接下来的几年中,飞行数据平台不断升级和突破。 2015年,打破了计算领域SortBenchmark的四项世界纪录,它在不到7分钟的时间内完成了100TB的数据排序,刷新了ApacheSpark的23.4分钟记录; 2017年成为世界上第一个针对大数据计算的100TB Bigbench测试。平台。

与此同时,大数据平台的容量也在增加:2015年的日常数据处理能力为100PB,2016年为180PB,2017年为320PB,2018年的单日处理量超过600PB。群集规模超过100,000单位。成为世界第一。

回顾阿里云的大数据平台的发展路径,我们可以看到,如果没有自主研发的飞行大数据平台,阿里巴巴可能无法与亚马逊和微软竞争成为三大云计算公司。世界。