企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
步骤1登录到OSS控制台，清除上传的数据文件 步骤2访问云速搭，查看已部署的应用基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 步骤3点击底部资源清单，可以查看到“释放全部资源”按钮 步骤4确认后，需要点击“确认按钮”：步骤5需要用户再次确认，点击确定后，会触发风控（手机校验等），请按照提示操作。...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
名词解释 Hive Apache Hive是基于 Hadoop的一个数据仓库工具，可以将结构化的数据文件映 射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce任务进行运行。其优点是学习成本低，可以通过类 SQL语句快速实 现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适合数据仓 库的统计分析...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
ￚ.index文件为数据文件提供索引，存储的核心内容是以 tensor name为键以 BundleEntry为值的表格 entries，BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。ￚ.data文件保存所有变量的值，即网络权值。ￚ pb文件则是 graph_def的序列化文件，便于发布和离线预测。说明：关于文件格式转换，TensorFlow官方提供...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
EMR HBase on OSS存算分离集群快速恢复 最佳实践 部署架构 HBase on OSS架构优势 场景描述 简化了数据迁移和恢复 OSS-HDFS服务（JindoFS服务）是一款云原生 HBase 的数据文件和表的元数据持久存储在集群外部的 数据湖存储产品。基于统一的元数据管理能力，OSS上，HBase数据迁移和恢复时无需再使用快照等复杂 在完全兼容 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
说明：若数据库为 MySQL8.0版本，需将数据库参数 local_infile调整为 ON，不然 后续执行 LOAD DATA LOCAL INFILE 导入数据文件会报异常。调整系统参数可 能涉及数据库重启生效，请谨慎操作。步骤1 返回到 CADT 控制台（https://bpstudio.console.aliyun.com/ ），在架构图中双击 ECS实例对象，点击 前往控制台。文档版本：...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
Apache Hive：Apache Hive是基于 Hadoop的一个数据仓库工具，可以将结构化 的数据文件映射为一张数据库表，并提供简单的 SQL查询功能，可以将 SQL语 句转换为 MapReduce任务进行运行。其优点是学习成本低，可以通过类 SQL语 句快速实现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适 合数据仓库的统计分析。...
云原生数据库 PolarDB
阿里云云原生数据库 PolarDB是一款超级MySQL和PostgreSQL分布式云原生数据库，100%兼容MySQL和PostgreSQL，高度兼容Oracle，无论是集中式部署还是分布式架构，都能轻松融入现有系统，助力企业轻松数据迁移上云。
数据安全TDE 加密：对数据文件执行实时 I/O 加密和解密，保证磁盘文件的机密性。备份恢复：PolarDB 提供数据备份和日志备份两种功能，并支持按备份集恢复和按时间点恢复两种恢复方式。数据闪回：支持高效查询集群、数据库、数据表在过去某个时间点的信息。全密态数据库：对数据库表中的敏感数据列进行加密，这些列中的敏感...
来自：
云产品
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
数据安全TDE 加密：对数据文件执行实时 I/O 加密和解密，保证磁盘文件的机密性，远离直接从文件直接访问数据的攻击者。备份回档：RDS 提供数据备份和日志备份两种功能按备份集恢复和按时间点恢复，以及按备份集恢复和按时间点恢复两种恢复功能。容灾安全多可用区实例容灾：通过异步或半同步的数据复制方式和高效的主备切换...
来自：
云产品
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库，100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。
数据安全 TDE 加密：对数据文件执行实时 I/O 加密和解密，保证磁盘文件的机密性，远离直接从文件直接访问数据的攻击者。备份恢复：PolarDB 提供数据备份和日志备份两种功能按备份集恢复和按时间点恢复，以及按备份集恢复和按时间点恢复两种恢复功能。数据闪回：支持高效查询集群、数据库、数据表在过去某个时间点的信息。...
来自：
云产品
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
4.单击 View as XML，并插入capacity-scheduler.xml由转换器工具生成的完整 文 件。5.添加必要的配置属性。6.单击保存更改。7.搜索yarn-site并找到 yarn-site.xml的 YARN 服务高级配置片段（安全阀）。8.单击以 XML 格式查看并以 XML 格式添加所需的配置。（可选）使用+和-来添加和删除属性。9.单击保存更改。10.重新启动 ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 Filebeat时，它会启动一个或多个查找器，查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件，prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件，并将新日志数据发送到 libbeat，后者将聚合事件...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
ssh root@10.0.30.27 可以看到刚刚传输的文件，数据迁移完毕后，可删除云企业网 CEN 的带宽包资源(只支持删除按量后付费模式的)。删除方式见官网文档:https://help.aliyun.com/document_detail/65983.html 4.3. 游戏数据库迁移合并 架构图 文档版本：20220121 84 游戏业务分区合服最佳实践 分区合服业务改造 迁移说明 将...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
–.index文件为数据文件提供索引，存储的核心内容是以tensorname为键以 BundleEntry为值的表格entries，BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。–.data文件保存所有变量的值，即网络权值。 pb文件则是graph_def的序列化文件，便于发布和离线预测。文件格式转换：TensorFlow官方提供了一个freeze_...
- 产品推荐
- 这些文档可能帮助您