数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
RAM角色集成企业 OpenLDAP身份认证 最佳实践 业务架构 场景描述 本文介绍阿里云 RAM使用 KeyCloak集成企业 OpenLDAP，管理员工的身份及权限。配置 RAM 解决问题 角色与 KeyCloak 用户或用户组的映射关系，实 快速部署 OpenLDAP及用户创建。现企业员工使用企业 OpenLDAP账号以单点登 录（SSO）的方式访问阿里云控制台。快速...
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS，使用企 业AD对员工的身份认证及管理功能，配置RAM 用户与AD用户的映射关系，实现企业员工使用企 业AD域账号以单点登录（SSO）的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
步骤3 开启用户 SSO 登录功能，并上传上章节保存的元数据 XML 文件 federationmetadata.xml。6.2.获取阿里云SAML服务提供商元数据 接上步，复制保存SAML服务提供商元数据URL备用。文档版本：20200120 69RAM用户集成企业ADFS身份认证 阿里云用户SSO SAML配置 说明：用户SSO设置中，还可以将AD域名设置为辅助域名。当辅助域名...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
它底层的数据流基础设施为 文档版本：20210224 IV 游戏数据运营融合分析 前言 阿里双 11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳 定运行 5年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据 架构。更多信息，请参见：help.aliyun.com/document_detail/26592.html RDS：云数据库 RDS MySQL...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大数据近实时数据投递 MaxCompute 最佳实践 业务架构 最佳实践 解决问题 场景描述 混合云环境下，现有业务系统零改造，打通数据 本文介绍离线大数据场景使用 MaxCompute构建云 上云链路。上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
湖仓一体架构 EMR元数据迁移 DLF最佳实践 业务架构 场景描述 解决的问题 通过 EMR+DLF数据湖方案，可以为企业提供数据 EMR元数据迁移至 DLF 湖内的统一的元数据管理，统一的权限管理，支持多 元数据迁移验证 源数据入湖以及一站式数据探索的能力。本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL ...
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以基 于云存储网关搭建一个海量文件系统的文件存 储服务，实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储，为云上和云下应用提供业界标准的文件 服务（NFS和 SMB）和块...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结论：云数据库 ClickHouse更加适合海量数据分析型业务、大宽表聚合查询分析、数 据 Hash对齐 Join场景、实时日志分析场景等等 文档版本：20201224 6 基于 Flink+ClickHouse构建实时游戏数据分析 架构设计 2.架构设计 2.1.架构图 本实践主要以流处理为主线，搭建实验环境，构建在线用户行为分析平台：2.2.核心模块 游戏服...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源数 据仓库，MPP全并行架构，广泛兼容 PostgreSQL/Oracle的语法生态，新一代向 量引擎性能超越传统数据库引擎 10倍以上，分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索，是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎，...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
一站式交互式填报解决复杂表格数据收集问题将报表展示和填报录入相结合，综合计算填报数据和数据集取数结果，从填报任务下发、数据录入、权限管理、入库审批等多链路确保数据采集和数据分析的顺畅度。产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有...
来自：
云产品
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
就近数据上传下载，配合 OSS 传输加速，提升客户访问体验.同城冗余多中心，为客户提供可靠性和可用性 SLA.应用和数据迁移方案是阿里云在多种应用场景下，方便客户对已有应用系统和数据快速地迁移到阿里云的解决方案.迁移速度慢：生产中心应用向云端迁移速度慢.数据丢失：数据迁移上云过程中增量数据有丢失的风险.业务中断：...
来自：
解决方案
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
在 MaxCompute改造后的任务执行规则如下：在每小时执行完任务 01_将 datahub表记录按小时汇总到 odps_apache_logs表 之 后，将表 datahub_dataconnector_apache_logs中前一个小时的日志记录，处理后的 结果插入到中间表 hbase_intermediate_table_job99_ip_statics中，后续使用数据集 成任务同步到云数据库 Hbase表 99_ip_...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本，方便扩展，满足数 文档版本：20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具，在迁移前就对数据和应用改造的工作量和 风险完全掌握，便于决策并有效降低实施风险。迁移过程中通过专业工具，自动...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
除了 Navigator能够集成的那些数据源之外，Atlas还支持 NiFi和 Kafka元数 据。业务术语表：Atlas提供了一个 Web界面，用于创建和管理业务术语表，这些术 语可以帮助组织通过标准化来识别和使用数据。Data Profiling：“Data Catalog”提供自动数据标记功能，用于列出常见的数据类 型，也允许用户通过正则表达式标记其他数据...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
高效：自动云分层，热数据存放在本地存储空间，确保了数据的高速访问，冷数 据放在云端，充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候，也能利用本地存储空间的缓存功能，为应用提供快速响应。 可靠：阿里云混合云存储阵列采用了全冗余的硬件设计，支持数据加密，集成 AD/LDAP，支持ACL，...
容器计算服务 ACS
容器计算服务 ACS 是以 K8s 为使用界面供给容器算力资源的云计算服务，提供符合容器规范的算力资源。
查看更多探索 ACS 更丰富的产品能力入门与试用快速上手01创建集群1配置集群网络、存储、安全等参数2配置服务发现、网关、监控、日志等功能02按需弹性使用1选择实例类型2上传应用镜像，配置实例规格03创建资源预留（可选）1选择实例类型、配置预留方式2配置资源规格，选择资源释放方式云栖·畅聊开发者如何看待阿里云发布的...
来自：
云产品
云原生AI解决方案
云原生AI解决方案利用容器技术全面支持GPU和CPU异构资源集群统一管理和调度，与阿里云其他资源服务深度整合，支持机器学习计算的完整生命周期，提供低门槛、开放、高效的深度学习解决方案。
数据集转换成Tensorflow推荐的TFRecord格式.支持Tensorflow/MXNet+Jupyter 开发+Tensorboard 训练监控+SSH.支持基于TensorFlow serving 的模型滚动更新、蓝绿发布，负载均衡和弹性伸缩。集成多款产品.按版本导出对应预测程序，并存于OSS，支持基于不同目标进行预测，可随状况及时调整和管控.频道页一级标题组件.谢赟辉,靖鑫...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您