简介：神龙大数据加速引擎，针对Spark、Hadoop、Alluxio等大数据常见组件。结合阿里巴巴云神龙架构的特点，优化了软硬件的集成，并形成了独特的性能优势。最后，使复杂SQL查询场景性能相比社区版spark提升2-3倍，使用eRDMA加速Spark性能提升30%. 近日，Benchmark Express-biggbench(简称TPCx-BB)公布了最新的世界排名，阿里云自主研发的神龙大数据加速器荣获TPCx-. BB@3000排名全球第一。 TPCx-BB测试分为业绩和性价比.两个维度其中，在性能维度,阿里巴巴云以41.6%领先第二名，达到2187.42 BBQpm。 性价比领先第二名40%，降至346.53美元/桶/分。
qvj2l q49k 0/400 cf 0 c 43 ace 45d 894 e 35 B9 d 9 aa 3 f 074 / (TPCX-BB @ 3000性价比维度排名) TPCx- BB是TPC发布的基于零售场景的端到端大数据测试基准，支持主流分布式大数据处理引擎，模拟整个线上线下业务流程，有30条查询语句，涉及描述性流程查询、数据挖掘和机器学习算法。 TPCx-BB的测试具有数据量大、特征复杂、来源复杂等特点，与真实业务场景较为接近，对各行业的基础设施选型有着重要参考意义. TPCx- BB测试结果能够全面、准确地反映端到端大数据系统的整体运行性能。测试涵盖结构化、半结构化和非结构化数据，可以从客户实际情况出发，综合评估大数据系统的软硬件性能、性价比,服务和功耗。 阿里云自研的神龙大数据加速引擎MRACC（ApasaraCompute MapReduce Accelerator），是这次荣登世界第一的杀手锏。神龙大数据加速引擎，针对大数据常见组件，如Spark、Hadoop、Alluxio等。结合阿里巴巴云神龙架构的特点，优化软硬件融合，形成独特的性能优势。最后， 使复杂SQL查询场景性能相比社区版spark提升2-3倍，使用eRDMA加速Spark性能提升30%. 具体来说，针对大数据任务IO重的特点，MRACC结合云架构在网络和存储方面的优势，包括软件的SQL引擎优化，采用缓存、文件切割、索引等优化手段，尝试将压缩等操作卸载到异构设备上，从而加速软硬件。eRDMA还用于加速网络，shuffle阶段的数据交换在ERDMA网络中运行，减少了延迟，大大提高了CPU利用率。 MRACC与神龙云服务器的结合，为云上大数据带来了新的想象空间，为用户带来了更高的性能和性价比。 原始链接：301永久移动 本文为阿里巴巴云原创内容，未经许可不得转载。 |
