CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
hadoop fs-ls/extwarehouse/tpcds/2 文档版本：20211029 66 CDH迁移升级 CDP最佳实践 数据迁移 进一步查看文件中的演示数据，都已正常复制（可以和 CDH中的同一个文件进行对 比）。hadoop fs-cat/extwarehouse/tpcds/2/call_center/data-m-00001 可见，HDFS已经正常复制到了 CDP集群。2.2.Hive/Impala迁移 首先，登录 CDH的...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践 业务架构 背景描述 在互联网、游戏行业中，常常需要对用户行 为日志进行分析，通过数据挖掘，来更好地 支持业务运营，比如用户轨迹，热力图，登 录行为分析，实时业务大屏等。当业务数据 量达到千亿规模时，常常导致分析不实时，平均响应时间长达 10分钟，影响业务的正...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
如 1TB 数据规模的 TPC-DS,MaxCompute 比 Spark 快 28%,比 Hive 快 76%,比 Impala 快 7%。低成本：相比自建降低 30%以上成本。安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。文档版本：20210723 2 自建Hadoop迁移MaxCompute 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：拥有...
自然语言处理NLP
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品，也能够通过合作，定制个性化的解决方案。
适用于医疗行业场景，对医学领域文本内容进行分析，识别文本中的医学术语及属性.手术归一：根据病历待归一手术名称文本，返回归一后的手术编码及名称，可应用于DRGs辅助把控诊疗质量.诊断归一：根据病历待归一诊断结果名称文本，返回归一后的诊断编码及名称，可应用于简历辅助诊疗系统提高诊疗效率和医疗质量.病例查重：...
来自：
云产品
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
本最佳实践重点在于介绍狭义的数据加密 存储安全范畴，即首先使用 SDDP产品进行敏 感数据发现和分级分类，然后对高级别敏感数 据进行按需、不同类型的全链路加密存储。解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别 SDDP 密钥...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
执行案例后，对 比了 GPU加速的 RAPIDS cuml KNN与 CPU实现的 scikit-learn KNN的性 能，可以看到 GPU加速的 KNN向量检索速度为 CPU的近 600倍。3 RAPIDS加速图像搜索 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。说明：您可以登录阿里云控制台，并前往实人认证页面...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
文档版本：20220506（发布日期）24 云上高并发系统改造 RDS数据库初始化 本例生成 20GB测试数据，最大的数据表能到亿级别，能初步对比分库分表前后差 异。对应 20GB数据预计耗时 5分钟以内，全部导入 mysql预计在 30分钟左右，实际测试可根据具体情况适当调整。步骤7 由于 lineitem.tbl 文件太大，导入会出现超时，需要将其...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
为了在控制 台便于识别 ECS的用途，首先将实例名称修改为如下图所示：文档版本：20210714 8 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 步骤8 将 Kafka队列和 FlexGW VPN这两个实例关机，将系统盘更换为云市场的镜像，节 省基础环境部署时间。文档版本：20210714 9 自建Hadoop数据迁移到阿里云 EMR 自建 ...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
Oracle数据库与应用迁移 PolarDB 最佳实践 业务架构图 场景描述 本最佳实践适用于 Oracle数据库及应用迁移到 阿里云 PolarDB数据库（Oracle兼容版）。通过 ADAM将 Oracle数据库迁移到 PolarDB数据 库，可以降低应用升级、运维成本，同时提升系 统弹性，实现数据库及应用全栈上云。解决问题 1.解决 Oracle及其应用迁移上阿里...
通义万相文本绘图与人像美化
利用通义万相AIGC在Web服务中实现图像生成，包括文本到图像、涂鸦转换、人像风格重塑以及人物写真创建等功能，加快创作流程，提高创意效率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读方案介绍方案优势应用场景方案部署方案权益创意加速器：AI 绘画创作本方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。其中包括文本到图像、涂鸦转换、人像风格重塑以及人物写真创建等功能。这些能力可以...
来自：
解决方案
网站文本内容安全检测
通过内容安全API的形式，提供直播场景的文本检测能力。响应时间短、支持类型多、并且可从频次、上下文、内容重复等多维度判断风险行为。
方案介绍网站文本内容安全检测本方案流程如下：用户对直播内容进行评论。业务服务端接收到评论内容，调用阿里云内容安全文本审核API，发起内容安全审核。阿里云内容安全返回审核结果给业务服务端。业务服务端根据返回内容判断是否保留用户评论，处置意见如：保留、拦截、脱敏、仅发送人可见等。解决问题：内容风险文本UGC...
来自：
解决方案
录音文件识别
阿里云录音文件识别可对用户上传的录音文件进行识别，上传完之后24小时内完成识别并返回识别文本。可用于呼叫中心语音质检、庭审数据库录入、会议记录总结、医院病历录入等场景。支持金融、保险、司法、电商、智能家居等多个领域语音识别。
提交录音文件识别请求后，商业用户的转写任务可在3小时之内完成识别并返回识别文本，最新发布极速版支持30分钟以内时长的音频转写完成时间不超过10秒。如有大规模数据转写需求或私有化部署（本地部署软件）需求，及商务问题，请联系：nls_support@service.aliyun.com. 录音文件识别.更多产品与服务.传统质检严重受限于人的...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您