12月10日，《火山引擎ByteHouse云数仓产物白皮书》在线上发布。

在数字经济富贵发展的今天，企业靠近着数据量爆炸性增长、数据分析需求日益复杂的双重挑战。传统的数据仓库搞定决议一经难以知足企业对数据处理速率和天真性的高条件。为了叮咛这些挑战，火山引擎于2021年崇拜推出ByteHouse——专为云原生环境瞎想的高性能数据仓库产物。早在2022岁首，ByteHouse在抖音集团里面的部署鸿沟已特出1万8000台，最大的集群鸿沟在 2400 余个节点，不竭总额据量特出700PB，况且依然在持续增长，对外也经过游戏、汽车、泛互联网等广漠行业，数百个欺诈场景和数万用户磨练，

本次发布《火山引擎ByteHouse云数仓产物白皮书》从瞎想理念、产物架构、中枢能力、场景上风等多维度先容ByteHouse在OLAP领域的产物和技巧先进性，以及怎样罢了高性能、高雄厚、高安全。不单是聚焦OLAP领域，通过集成向量检索、全文检索、GIS等功能，ByteHouse合手续拓展能力鸿沟，并诞生涵盖集成、斥地、欺诈的高下流生态。除此以外，基于SSB 和 TPC-DS 圭臬测试集，白皮书也公开了ByteHouse在OLAP、ELT等场景下的最新性能效果。在欺诈场景方面，白皮书则从OLAP中台诞生、步履分析、车联网IoT三个场景为企业提供数据分析最好执行参考。

据先容，ByteHouse云数仓版具备“快”“稳”“省”三个中枢性情，不仅能保险高效处理海量数据，即时反馈复杂查询，还能诽谤多系统的各式冗余和复杂度，普及全体雄厚性，并罢了资源、运维老本最优。

有多快？公布圭臬测试集下性能最新效果

在数据处理和分析的领域，普及查询效率长久是一项重要挑战。在遴荐OLAP引擎时，性能是进军推断身分。高性能的OLAP具有快速的数据处理能力，并诽谤反馈时分，提供更好的用户体验，使数据分析和查询愈加流通和浮浅。

SSB 和 TPC-DS 是常用于测试分析型数据库/数据仓库的数据集，被平凡欺诈于数据仓库领域。在白皮书中，通过剿袭以上数据集，ByteHouse展示了OLAP、ELT、湖仓一体场景中，与行业同类产物比较的性能进展。

在OLAP场景中，以TPC-DS数据集测试为例，通过将模拟生成的 1000G 数据导入测试产物，在 99 个查询中，ByteHouse 对比行业某主流开源产物D*，全体查询性能达到该产物 1.16 倍。在ELT场景中，BSP形状下ByteHouse 对比某主流开源产物 S* ，全体查询性能达到该产物 6.05 倍。在湖仓一体场景中，ByteHouse 对比开源产物 S*，Hive Parquet外在查询(冷读)，全体查询性能达到该产物 1.18 倍。

    

TPC-DS 1TiB: ByteHouse云数仓(2.2) 228s, 开源产物D(2.1.1) 264s，超越16%

除此以外，在Vector及GIS分析场景中，ByteHouse对比行业同类产物也有显著性能上风。这意味着，ByteHouse让企业在享受极致性能的同期，无需引入其他架构，就能使用笔墨检索、地舆空间分析、向量检索能力。企业只需用一套架构就能知足多元化分析需求，量入计出企业资源东谈主力老本，普及数据效力。

ByteHouse技巧各人魁伟月也在发布会上揭秘了性能普及的重要技巧。在OLAP性能普及方面，ByteHouse从RBO(基于法规的优化能力)、CBO(基于代价的优化能力)、分散式筹画生成方面推出了自研优化器，好像准确的计较出效率最大化推行旅途，大幅度诽谤用户查询时分。同期，ByteHouse也通过高并发点查搞定索引计较穷苦、点查读放大严重、推行链路冗长、锁竞争强烈等问题，进一步普及数据处理效率。

能多稳？将任务见效率普及至100%

数据在加载参预数据仓库之前，频频要经过复杂的数据清洗和波折过程，由此需要引入外部引擎，导致架构相对复杂，而ByteHouse全面扶助Extract-Load-Transform (ELT)的能力，把数据加工的过程转化到ByteHouse里面，用户只需将数据导入，用自界说SQL语句进行数据波折，诽谤多系统的各式冗余和复杂度，普及用户体验，并进一步增长了系统雄厚性。

据先容，为了简化数据链路、普及任务并行度，ByteHouse在传统的MPP援助模子以外，新增了BSP援助模子(Bulk Synchronous Parallel)，通过各个stage逐层援助、数据写盘，使得每个阶段和任务王人愈加孤立，诽谤了任务失败的概率，并提高了资源使用的效率。除此以外，ByteHouse还在离线任务加工中的任务级重试功能，当功课的某个任务失败时，无需通盘这个词功课重新推行，仅重试失败任务，显耀诽谤了重试的老本，普及了功课的见效率。针对业务数据频频更新的性情，ByteHouse对写入历程进行了大王人优化。通过并行化最耗时的数据写入部分，并在写入过程中标记需要后续去重功课的数据，罢了高效的数据更新。

ByteHouse技巧各人游致远以某数字文娱公司例如，该公司通过引入ByteHouse来构建一体化数仓，从2024年10月15日、16日、17日数据来看，任务的见效率在分手提高了6.6%、4.4%和2.9%，全体见效率为100%。通过对重要大表加多并行度，该公司的离线任务全体内存峰值诽谤了约40%，有用减少了内存溢出的风险，全体普及了数据处理的及时性和雄厚性。

    

怎样省？打造新一代“弹性”云数仓

当下企业的业务流量频频具有很大的不细目性。例如，电商平台在 “618”“双 11” 等促销步履时代，打听量会呈爆发式增长，可能是普通的十倍以致百倍，导致系统无法承载如斯高负载而崩溃。这就条件底层数据库具备“弹性”机制，能凭证流量情况自动伸缩资源，在知足业务波峰需求同期量入计出老本。

而弹性恰是云原生架构的中枢性情。ByteHouse云原生弹性能力允许企业凭证本色需求动态调整资源，只在需要的时候分派资源，罢了随开随用，不使用时自动暂停，暂停时代不收取任何计较层用度，从而诽谤了老本。

    

ByteHouse自动启停政策，匡助用户老本精真金不怕火20%+

在白皮书发布会上，ByteHouse产物司理孔柏林先容到，在存储层面， ByteHouse剿袭 Serverless 架构，具有低老本、无尽推广的能力。在计较层面，ByteHouse则基于PaaS 形状，通过容器化罢了无景况或弱景况，将通盘这个词计较组包装成佃农和欺诈呈现给用户，保证佃农之间不会发生资源征用突破或性能劣化，让计较资源在秒级内罢了弹性拉起和弹性扩缩容。恰是由于剿袭计较资源剿袭PaaS 形势，ByteHouse能让用户有用幸免不方法 SQL 酿成的过多资源铺张，且计价形状剿袭资源用量(CPU)形势，确保用户对账单可预期。

以中国某有名游戏厂商为例，该厂商基于ByteHouse构建了一体化及时数仓平台，具备及时数据接入、及时 ETL 数据加工、及时维表磋商和及时数据办事等能力，不仅能扶助20万+QPS高并发点查，性能提高2倍以上，在资源用量上，比之前架构减少了30%老本。

讲理字节高出数据平台微信公众号尊龙凯时体育，菜单栏「精选内容-白皮书」即可领取《ByteHouse云数仓产物白皮书》白皮书原文。