字节跳动开源BitSail,助力企业走好数字化“第一步”
10月26日,字节跳动宣布开源BitSail数据集成引擎。BitSail意为“数据航行”,可支持二十余种异构数据源间的数据同步,提供离线、实时、全量、增量场景下的全域数据集成解决方案,从而打通困扰企业数字化转型的“数据孤岛”,帮助企业用户更有效地发挥数据资产价值。
BitSail开源地址:https://github.com/bytedance/bitsail
据悉,BitSail起源于2018年。当时字节跳动的业务场景日益复杂,数据源越来越多,数据量更是呈爆发式增长。为了支撑公司业务快速发展,字节跳动数据平台团队开始自研数据集成引擎。
数据集成引擎技术架构图
新引擎最初基于Apache Flink实现,历经多年持续改进和创新,现已具备批式集成、流式集成和增量集成三类同步模式,并支持分布式水平扩展和流批一体架构,在各种数据量和各种场景下,一个框架即可解决数据集成需求。此外,BitSail采用插件式架构,支持运行时解耦,从而具备极强的灵活性,企业可以很方便地接入新的数据源。
目前,BitSail不仅服务于抖音、今日头条等字节跳动内部业务,也服务了火山引擎多家企业客户,其稳定性、数据传输质量和运维成本等方面经过“千锤百炼”,已经具备较高的产品成熟度。
数据显示,BitSail在字节跳动内部每天的任务量超过20万,传输的数据行数超过百万亿行,其中单批任务达到千亿行、单流任务达到千万QPS,支持10分钟级延迟SLA。通过在火山引擎的云原生环境和客户专有云环境等不同场景的打磨,在确保数据传输安全性的同时,BitSail的功能细节和性能得到进一步优化,可以满足企业绝大部分使用需求。
自2015年至今,字节跳动已开源了50多个项目,早期大多为工程师个人兴趣驱动。今年5月,字节跳动宣布成立开源委员会,为技术开源引入公司级的策略、规范与流程机制。BitSail项目负责人表示,做好开源的“北极星指标”,在于真实落地,帮助开发者在生产环境或实际业务中创造价值。BitSail会持续夯实基础能力,并结合内外部业务实践输出更多创新的特性,帮助企业用户走好数字化“第一步”。
— 推荐阅读 —
☞汇编语言创始人 Kathleen Booth 去世,享年 100 岁! ☞华为前三季研发费用超1100亿;微软CEO纳德拉获得10%的加薪,年薪近4亿元;PHP 8.1.12 发布|极客头条 ☞蚂蚁规模化平台工程实践一年多,我们学到了什么?
-
【杂谈快报】淘宝首页上线 99 特卖频道;传字节跳动2022年收入增长30% 超800亿美元
| 科 | 技 | 杂 | 谈 |中国通信行业第一自媒体字节跳动2022年收入增长30% 超800亿美元4月3日,据知情人士透露称,字节跳动2022年营收超800亿美元(5514亿元人民币)直逼腾讯,
-
【杂谈快报】美政府要求字节跳动出售TikTok股份;维珍轨道宣布停摆、员工开启无薪休假
| 科 | 技 | 杂 | 谈 |中国通信行业第一自媒体百度正式推出大语言模型“文心一言” 开启首批内测3月16日,百度正式发布新一代AI生成式产品文心一言。这是继OpenAI发布ChatGPT后,
-
【杂谈快报】字节跳动裁员:头条抖音飞书等均有优化名额;抖音上线桌面端聊天软件“抖音聊天”
| 科 | 技 | 杂 | 谈 |中国通信行业第一自媒体字节跳动裁员:头条抖音飞书等均有优化名额,部分员工未得到赔偿近日,多位知情人士表示,字节跳动已开启裁员,公司整体优化规模约10%。各个业务线也已
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- Apache DolphinScheduler和Apache Airflow任务调度系统对比
- 中兴、华为和烽火中标中国移动OTN设备新建部分集采
- 本周大新闻|Meta AI部门重大重组,疑似Cambira CAD图曝光
- 【大公司创新情报】投资29亿元,360成哪吒汽车管理团队外第一大股东
- 7 年前 90% Windows 用户不知道的功能,7 年后的今天呢?
- 【杂谈快报】网易云音乐最快本周寻求上市聆讯 集资约78亿港元
- AT&T要求所有硬件供应商支持Open RAN规范
- 在统信UOS上玩转安卓APP,像使用手机一样使用电脑
- AI 落后要挨打的苹果,5 年疯狂收购 25 家人工智能公司!
- 《美国加速5G》战略报告
- 2020-2021年度药企数字化解决方案创新大赛最后征集!
- 梁孟松提出辞呈,中芯国际和为贵