火山引擎DataLeap:一个易用、高效的数据目录,是如何搭建的?
企业如何找到数据、了解数据以及使用数据?
这离不开数据目录的能力。数据目录有着类似于“字典”的作用,能够帮助数据生产者和使用者快速定位数据、解释数据、找到数据,并从中提取业务价值。
对以研发人员为代表的数据生产者来说,他们利用数据目录来组织、梳理各类元数据。例如,数据生产者会将元数据以目录等形式编排到一起,方便维护,并通过打业务标签、添加应用场景描述、字段解释等丰富业务相关属性。
(资料图片)
对于数据分析师、产品、运营等数据使用者来说,他们通过数据目录来查找和理解数据,例如通过关键字检索,或目录浏览,来查找业务场景数据,并浏览详情介绍、字段描述、产出关系等,进一步理解并利用数据决策。
在字节跳动,也有这么一套被内部广泛使用的数据目录系统。目前,该系统已通过火山引擎DataLeap数据地图平台对外输出。外部用户也可以在DataLeap数据地图平台,收集、组织、访问和补充元数据信息,为自身数据建设和治理提供支持。
火山引擎DataLeap数据地图平台-数据目录
要构建一套扩展性强、易维护且易用的数据目录系统并非易事。在大数据领域,各类计算和存储系统百花齐放,概念和原理又千差万别,对于元数据的采集、组织、理解、信任等,都带来了很大挑战。
在调研各个开源软件及技术体系基础上,火山引擎DataLeap选择基于Apache Atlas改造,而这套数据目录系统主要依赖五大关键技术:
第一,数据模型统一。一方面,DataLeap通过充分复用各种元数据类型间的相似能力,获得数据模型定制灵活性;另一方面,DataLeap将数据源关联的能力进行收敛到一起,以降低后续的维护成本。
第二,数据接入标准化。当用户接入新的元数据时,只需要重新编写Source和Diff Operator,而其他组件可直接复用,以标准化的connector节省接入和运维成本。
第三,搜索优化。在数据目录中,搜索是用户最广泛使用的功能,也是用户找数主要的手段。搜索优化可分为离线部分和在线部分。离线部分负责汇集各类与搜索相关的数据,完成数据清洗或者模型训练,再根据不同的用途,写入不同的存储,供给在线搜索模块使用。在线部分则分为搜索理解、召回、精排三个主要阶段,步骤和概念与通用搜索引擎对齐。
第四,血缘能力。完备的血缘能力,既可以帮助数据生产者梳理、组织元数据,也可以帮助数据消费者找数、理解数据上下文。火山引擎DataLeap在设计上充分考虑血缘链路的多样性和复杂性,并在血缘质量上,通过定义有效的血缘准确率、覆盖率和时效性,确保血缘信息准确、全面和实时性。
第五,存储层优化。当业务中有越来越多的元数据接入数据目录,图存储中的点和边将分别到达百万和千万量级,造成读写性能出现问题。在读优化和写优化层面,火山引擎DataLeap分别通过开启MutilPreFetch 能力、去除Guid全局唯一性检查,最终实现小表性能小于100ms、中表性能2~5s、大表性能0.5~1min。
据介绍,火山引擎DataLeap能帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,其中数据目录能力主要涵盖在数据地图平台,该平台通过提供数据检索、元数据详情查看、数据理解等功能,解决找数难、理解数据难的痛点,同时支持数据专题、血缘图谱、数据发现、库表管理等特色功能。
目前,火山引擎DataLeap的数据地图平台已接入全链路核心元数据,包括LAS、MySQL、ByteHouse CE、ByteHouse CDW、TOS、LasFS、EMR hive等,提供可视化的血缘关系展示能力,帮助用户全面的探查了解数据,支持表、字段级别血缘可视化查询,以及按层级、范围筛选展示,为用户提供灵活、易用的数据服务。(作者:田轩棋)
标签:
为您推荐
广告
- 火山引擎DataLeap:一个易用、高效的数据目录,是如何搭建的?
- 【世界报资讯】爱看头评丨女导游穿“紧身裤”,被质疑色情营销?见心见性!
- 美国圣地亚哥六月节庆祝活动发生枪击事件致一死一伤
- 每天吃1个猕猴桃会发生什么?皮肤会变好?便便会顺畅?
- 全球速看:美记:一直反对湖人为中锋砸钱 但他们可以花2000万签大洛
- 苏州银行与中国建设银行苏州分行党建共建暨全面战略合作签约仪式圆满举行
- 2023金融高质量发展调研“绿色普惠金融调研行”首站走进江南农村商业银行|百事通
- 关于民间艺术的宣传语_关于民间艺术的名言警句
- 电视液晶面板价格持续恢复 电视行业迎订单旺季
- 鼎通科技股价盘中创历史新高 天天热闻
- 聚胶股份:6月16日融资买入431.24万元,融资融券余额1309.7万元-全球热资讯
- 【世界独家】中考遇上“父亲节” 父女俩“并肩战斗”
- 体操亚锦赛中国队8金2银3铜收官 当前热闻
- asp网上订餐系统毕业论文(asp网站建设) 全球短讯
- 双重利好驱动 油价录得六周最大涨幅-环球即时看
- 妆字组词和部首_妆字组词
- 现在还有魔域私服吗_现在还有大航海时代OL私服吗|世界最新
- 每日资讯:无机晶体的结构、组成和性质——晶格能、热膨胀、体模量和硬度_关于无机晶体的结构、组成和性质——晶格能、热膨胀、体模量和硬度介绍
- IPO周报:4家公司撤单,原轼新材高度依赖第一大客户被质疑其独立性|焦点速递
- 波音:将太空和政府卫星视为国防业务增长来源 今日热文
- 1每日讯息!笔记本无线wifi功能怎么开启(笔记本无线wifi)
- 2任务管理器没有菜单栏快捷键(任务管理器没有菜单栏)
- 313岁小朋友喜欢什么礼物
- 4全球球精选!张诗瑶(张梦瑶个人简历
- 5观传统龙舟 赏旖旎风光——“引客入沅”活动引爆沅陵旅游-信息
- 6微速讯:伊藤美诚击败早田希娜,平野美宇打进决赛,张本智和夺冠在望
- 7世界新消息丨“油桃之乡”年销海外万吨助农“桃”金
- 8二字词语大全1000个一年级 二字词语大全1000个 全球报资讯
- 9有你时刻_对于有你时刻简单介绍 世界聚看点
- 10环球微动态丨登陆PC不会远了?《对马岛之鬼》已经发售三年了
- 1京东:未来二十年提供超过100万就业岗位、拥有3家收入过万亿公司|每日热文
- 2天天热推荐:特写:来大陆意味着什么——台胞在海峡论坛大会上分享精彩故事
- 3世界讯息:端午公司发了3颗荔枝 你们的端午福利是什么呢?
- 4ET5 Touring引人瞩目 可蔚来还是更需要一款“Model Y”
- 5牵手张朝阳诠释年轻化理念,联想昭阳“焕新”火力全开_天天动态
- 6比亚迪香港4门店遭破坏,警方拘捕1女和5名有黑社会背景男子_天天播报
- 7长沙智能网联汽车产业 稳居全国第一梯队
- 8有哪些不错的广告电商模式玩法?
- 9澄清石灰水通入二氧化碳_澄清石灰水怎么读 全球快资讯
- 10【早安·常州】中考开考,少年加油!_环球播资讯
广告
- 世界热推荐:烀肉的东北做法?
- 凉拌秋葵,消暑开胃有营养,做法简单到犯规!
- 小香猪能吃吗(小香猪全是假的吗)-焦点快看
- 当前动态:2023首届华山全国抖音大赛开幕
- 梦幻西游乌鸡国5人模式难度(梦幻西游乌鸡国5人模式)
- 2020款沃尔沃V60怎么样及2020款汉兰达怎么样_热讯
- 西安火车南站列车时刻表查询_西安火车南站-头条焦点
- 世界热讯:优质农品直通车 北京农业进社区|天天速讯
- 佛界所有佛的排名图谱 佛界 全球快看
- 观天下!夏天来了,给老公选对帽子,切记不要选错颜色!
- 杭州跳江救人小哥捐出奖金:大家不要再捐钱,把钱给更需要的人 世界观速讯
- 新一代主流代步车!海鸥媒体品鉴暨野奢田园派对·济南站高能来袭
- 每日聚焦:广东水下考古,正探向深海
- 深圳大学成人教育学院国际营销_深圳大学成人教育学院
- 北控下狠手!送走多名球员,闵鹿蕾只留精英,打造全新阵容
- 当前滚动:windows10修改开机密码方法是什么 windows10 修改开机密码
- 蒲草韧如丝_磐石无转移出处 蒲草韧如丝磐石无转移出处简述
- 前沿资讯!以下不属于民生问题的基本内容的是什么_以下不属于民生问题的基本内容的是
- IPO审核要点思维导图,经典! 今日讯
- 柬埔寨专家:借RCEP的“东风”,中柬经贸合作迎来新机遇 当前速看