本方案是基于开放可控数据湖仓构建的大数据/搜索/AI一体化解决方案。通过元数据管理平台DLF管理结构化和半/非结构化数据,提供湖仓数据表和文件的安全访问及IO加速。支持多引擎对接和平权协同计算,通过DataWorks统一开发,并保障大规模任务调度。
总体架构包括:1、统一元服务和存储(Meta Service):数据湖构建(Data Lake Formation)提供了全托管的统一元数据服务,包括元数据管理、权限管理和引擎对接等能力,支持全托管/半托管OSS湖存储、Paimon等多种湖表格式,以及图片/视频和AI模型等文件的统一存储。2、平权的多计算引擎(Multi-Engine):跨数据、搜索和AI...