阿里云服务器
当前位置: 首页 > 科技
科技 香港之窗 2024-12-12 504浏览

StarRocks 2024 数据技术峰会圆满收官,Lakehouse引领数据技术新趋势

i黑马讯 12月7日,StarRocks Summit Asia 2024 于北京圆满落幕。本次峰会以"Lakehouse Is All You Need"为主题,汇聚行业佼佼者和技术专家,共同探讨 Data+AI 的创新与行业实践。

技术引领,构筑湖仓新范式

StarRocks TSC Member,镜舟科技 CTO 张友东分享StarRocks TSC Member,镜舟科技 CTO 张友东分享

StarRocks TSC Member,镜舟科技 CTO 张友东以“Lakehouse Is All You Need”为题开场演讲,深入解读 Lakehouse 的演进趋势以及 StarRocks 在 Lakehouse方向的技术深耕与创新。

“StarRocks 社区正以比较罕见的速度发展,” 张友东展示了一组数据:“在过去三年里,我们在 GitHub 上获得超过 9300 颗 star,活跃贡献者超过 400 人,超过 450+ 市值 10 亿美金以上的企业在生产环境使用 StarRocks,各行业对 StarRocks 的认可与期待与日俱增。”

他详细介绍了 StarRocks 在多个技术方向上的突破:

StarRocks 通过创新的向量化执行引擎和智能查询优化技术,将分析性能提升至行业领先水平,同时,在 3.X 版本中实现了对数据湖的原生支持,使得企业可以在不迁移数据的情况下进行有效分析。

此外,StarRocks 在半结构化、非结构化数据分析方面取得显著进展。Flat JSON 兼顾半结构化数据分析的灵活性与查询性能,性能提升达到数十倍;文本检索、向量检索使得 RAG 应用构建过程简单有效,更好地支撑 AI 应用场景。

“Lakehouse 是未来所有数据分析的基础”,张友东强调,Lakehouse 是一种新的架构范式,结合数据湖和数据仓库的优势,提供统一的数据存储,并基于一份数据同时支持企业 BI 和 AI 的应用场景,实现 One data,all analytics 的业务价值。

通过与 Apache Iceberg、Apache Paimon、Apache Hive 等开放数据湖的深度集成,StarRocks 正在构建完善的数据湖生态,为用户提供极速统一的湖仓分析体验。

商业突破:以终为始的商业选择

镜舟科技 CEO 孙文现在StarRocks峰会分享镜舟科技 CEO 孙文现在StarRocks峰会分享

镜舟科技 CEO 孙文现以《镜舟数据库与 Lakehouse:面向全球,挖掘商业增长新潜力》为题,分享了这两年来的商业化心路历程。

他提到 StarRocks 在业务场景覆盖上的突破性进展:“从最初的固定报表分析,到如今的实时数据分析、数据跑批加工、湖仓一体化分析等全场景支持,StarRocks 展现了强大的技术适应性。截至目前,实时数据分析场景已服务 270 多家企业,湖仓分析能力也获得 50 多家企业的实践验证。”

在商业化道路上,镜舟科技坚持“为客户创造更大的业务成功”的理念,付费客户数已突破 120 家,镜舟科技的 ARR(年经常性收入)连续三年翻倍增长,NRR(净留存率)保持在 130%。2024 年新增中信银行、民生银行、广发证券等多家重量级客户,充分证明了镜舟数据库在企业级市场的竞争力。

谈到增长背后的战略,孙文现阐述了一个商业上的转变:即以终为始的商业选择,以构建一家能够长期经营的商业化公司为目标,打造能够满足致胜场景、带来商业化价值的产品。

孙文现也分享了镜舟的奋斗目标:“以商业成功为伴,面向星辰大海,打造一份长久奋斗的事业。”

生态共融,与行业携手共进

Apache Iceberg PMC member 顾宇飞在StarRocks峰会分享Apache Iceberg PMC member 顾宇飞在StarRocks峰会分享

Apache Iceberg PMC member 顾宇飞带来了《The Evolving Landscape of Iceberg REST Catalog》的精彩分享。“开放的生态系统是推动技术创新的关键。”顾宇飞表示,REST Catalog 的演进为数据湖提供了更灵活、更有效的访问机制。StarRocks 对 Iceberg 的原生支持,不仅提升了查询性能,更为企业构建现代化数据架构提供了坚实基础。

阿里云计算平台开源 OLAP 负责人范振(辰繁)在StarRocks峰会分享阿里云计算平台开源 OLAP 负责人范振(辰繁)在StarRocks峰会分享

“StarRocks 是最适合 Paimon 湖格式的 Lakehouse 开源引擎。”阿里云计算平台开源 OLAP 负责人范振(辰繁)介绍,“在阿里集团的数据湖仓实践分享中,StarRocks 展现了卓越的查询性能和系统稳定性,在与 Paimon 的协同场景中,我们实现了流批一体的数据处理能力,分析性能有 13 倍提升。目前,这一解决方案已在阿里集团内部广泛应用,也正通过阿里云向更多企业客户提供服务。”

他也从云服务商的角度,阐述了对湖仓的理解:“未来的数据架构必将是开放、统一的,StarRocks 在这方面的探索很有前瞻性。选择 StarRocks 作为战略合作伙伴,也是看中其在实时分析领域的技术领先性和商业化潜力。”

应用实践,让价值落地

微众银行大数据工程师,StarRocks 平台负责人林俊锋在StarRocks峰会分享微众银行大数据工程师,StarRocks 平台负责人林俊锋在StarRocks峰会分享

客户代表、微众银行大数据工程师,StarRocks 平台负责人林俊锋分享了其数字化转型实践。“在用户画像、人群圈选等大数据量分析场景中,StarRocks 展现出卓越性能,查询速率相比原有 Trino 方案提升 235%。”林俊锋介绍,“目前 StarRocks 已支持行内 5 个以上部门的 10 多个应用场景,结合自研的 Exchangis 数据交换平台,实现了跨集群数据互通、灵活的权限管理等特性。”

腾讯音乐专家工程师,业务运维中心总监曹凤龙在StarRocks峰会分享腾讯音乐专家工程师,业务运维中心总监曹凤龙在StarRocks峰会分享

腾讯音乐集团(TME)专家工程师,业务运维中心总监曹凤龙详细阐述了其数据仓库的演进历程。“从 2018 年的 Druid 到如今的 StarRocks,StarRocks 的存算分离架构为我们带来了显著收益:组件更精简、维护更便捷,数据存储成本降低 50%,同时支持智能的冷热数据管理。”

在具体业务场景中,通过存储桶打散、表结构优化、物化视图等技术手段,大表查询响应时间从 30.97 秒降至 0.08 秒,查询秒级响应率达到 99%。目前,StarRocks 集群支撑着 QQ 音乐、全民 K 歌等多个音乐平台的数据分析需求。

未来可期

全天共 30 余个演讲议题,汇聚了 7 大行业,包括小红书、腾讯游戏、Shopee、爱奇艺、得物、杭银消费金融、理想汽车、唯品会、微信、西南证券等多家标杆企业。这些企业用自身实践说明,StarRocks 正在通过技术创新推动各行业数字化转型,在降本增效的同时,为企业创造新的业务价值。

通过与合作伙伴和用户的深度互动,StarRocks 社区正在构建一个更开放、更繁荣的数据技术生态。随着数字化转型深入推进,StarRocks 将继续发挥技术引领作用,助力更多企业实现数据价值比较大化。

随着峰会落幕,StarRocks 在湖仓技术领域的愿景更加清晰:以开放、创新的技术理念,携手合作伙伴共建现代化数据分析生态,为企业数字化转型提供强有力的支撑。正如张友东在演讲结束时所说:“Lakehouse 不仅是技术演进的方向,更是释放数据价值的关键,Lakehouse is ALL you need,StarRocks will power your lakehouse!”

数据技术 新浪众测 新浪众测 新浪科技公众号 新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

相关新闻
香港之窗

香港之窗10000+篇文章

站点 微博

本文来源于网络,不代表香港之窗立场,转载请注明出处

返回列表
阿里云服务器

Copyright 2003-2024 by 香港之窗 hk.zjxxinw.cn All Right Reserved.   版权所有