数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
为保障数据的一致性，传统迁移方式要求在数据迁移期间，停止向源数据库写入数据，即需要停机迁移。根据数据量和网络的情况，迁移所耗费的时间可能会持续数小时甚至数天，对业务影响较大。通过数据传输服务可轻松实现数据一键上云，将停机时间降低到分钟级.只需配置迁移的源、目标实例及迁移对象，即可实现业务平滑迁移，...
来自：
云产品
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
并记录下来为kafka-severless的endpoint 步骤4（可选）Endpoint也可以通过控制台获取 文档版本：20240229 21Kafka性能压测快速方案 方案验证 2.2.登录ECS初始化客户端环境并压测 步骤1 双击Perf-SSD的图标，在“资源清单”中点击“远程登录”，密码默认是admin@12345,如果修改了以您修改后的为准 文档版本：20240229 22...
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核，提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力，通过简洁易用的 SDK/API 接口透出，方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
获取collection\ dashvector_client=dashvector.Client(api_key='YOUR_API_KEY',endpoint='YOUR_CLUSTER_ENDPOINT')\ collection=dashvector_client.get('quickstart')\ \#相似向量查询 \ collection.query(\ vector=[0.1,0.2,0.3,0.4]\)\ \#使用过滤条件查询 \ collection.query(\ vector=[0.1,0.2,0.3,0.4],\ topk=100,\ ...
来自：
云产品
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
方法二：endpoint 阿里云 SDK内置了 Endpoint寻址模块，当调用 SDK对一个服务发起请求时，SDK 会自动根据创建Client时指定的地域ID（Region ID）和产品ID确定要使用的Endpoint。默认都会自动寻址使用云产品对应的公网 Endpoint。可以在代码里显示指定 VPC的 endpoint，实现私网访问 API。Python示例代码如下：from ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
步骤4 记录外网访问和传输加速域名 Endpoint备用：文档版本：20211025（发布日期）17 低成本跨境文件传输最佳实践 OSS文件传输 2.OSS文件传输 2.1.生成并上传全量文件 步骤1 分别生成 3个 1M、100M、2G文件,通过 vi命令新建文件 test.sh，粘贴一下命令。mkdir-p/fileTransfer/all&cd/fileTransfer/all dd if=dev/zero of=1M...
终端访问控制系统UEM
阿里云终端访问控制系统UEM是以网络安全准入、终端安全管理、应用管理为基础的远程办公零信任解决方案产品，帮助用户构建安全、高效、易用的远程办公能力，支持基于多因素动态安全分析及准入，支持全终端类型全生命周期的管理能力
终端访问控制系统UEM（Unified Endpoint Management）通过对移动端和PC端办公设备（Windows、macOS、Android、iOS）的统一安全管理，助力企业数字办公转型，为企业员工提供随时、随地、高效、安全的办公体验，高效连接员工设备与企业资源，无论员工身在何处，都是理想办公空间.查看产品文档.终端访问控制系统 UEM.多维环境...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
tunnel_endpoint=xxxxxxxxxxx 建议您根据创建项目时选择的Region信息来配置客户端中的end_point及 tunnel_endpoint参数，否则会出现无法访问等错误。请参见配置Endpoint填写。如果您使用的是DataWorks创建的标准模式下的MaxCompute项目，在填写 project_name时，请注意区分生产环境与开发环境（_dev）项目名称，详情请 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
环境变量介绍（YAML文件中需要修改对应的变量信息）环境变更名称 环境变量说明 注册中心的（替换 的内网地址）nacos_address MSE endpoint MSE 环境标识，灰度环境版本的填gray，基线环境版本的填base gray_env RocketMq的endpoint（替换MQ的VPC网络接入地址）mq_address 1、创建mseconsumer和mseconsumer-gray的deployment...
云速搭部署基于OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署，这里使用ECS的UserData特性自动安装MySQL等组件，减少配置工作量。
您可以在 OSS 控制台需查看 Bucket 名称：https://oss.console.aliyun.com/o verview ENDPOINT 配置 OSS的 endpoint。此处填写 oss-cn-chengdu- 您创建的 OSS Bucket 的 internal.aliyuncs.c endpoint。您可以在 OSS控制台 om 需查看 endpoint：https://oss.console.aliyun.com/o verview 文档版本：20220328 9 云速搭部署...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
mongodb_collection_name=os.environ['mongodb_collection_name']#构建完整的 MongoDB 连接地址 mongodb_endpoint_full='mongodb:/'+mongodb_user+':'+mongodb_password+'@'+mongodb_endpoint#初始化 MongoDB 连接客户端 mongodb_client=MongoClient(mongodb_endpoint_full)mongodb_db=mongodb_client[mongodb_db_name]...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
数据盘：4个 80G ESSD 数据盘 元数据选择 集群内置 MySQL EMR的软件配置项需要做初始化配置：“hbase.rootdir”的配置值为：oss:/${oss_bucket}.${endpoint}/${hbase-root-dir}，HBase 数据存储目录，配置为 OSS 路径，配置格式为 oss:/${oss_bucket}.${endpoint}/${hbase-root-dir}。例 如，oss:/test_bucket....
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
access_key_id=os.getenv('OSS_TEST_ACCESS_KEY_ID','L*d')access_key_secret=os.getenv('OSS_TEST_ACCESS_KEY_SECRET','3*y')bucket_name=os.getenv('OSS_TEST_BUCKET','zhangjiakou-video')endpoint=os.getenv('OSS_TEST_ENDPOINT','oss-cn-zhangjiakou.aliyuncs.com')#确认上面的参数都填写正确了 forparamin(access_key...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
OSS 其中：参数 说明 快照仓库名称 elasticsearch_oss_repo endpoint 阿里云 OSS服务杭州区域的 VPC Endpoint access_key_id 用户的 AccessKeyID，需要该 AccessKeyID具有访问 OSS 的权限。secret_access_key 与 access_key_id对应的 secret。bucket 用于保存快照 Bucket名称，在 1.1节中创建的 Bucket。compress true表示...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
打开部署好的RocketMQ实例获取endpoint.21 2.2.打开部署好的ecs实例获取内网IP地址.22 2.3.登录ECS初始化客户端环境并压测.23 3.一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
ￚ endPoint：DLF的 EndPoint；一般为 dlf-vpc.[region-id].aliyuncs.com。ￚ catalogId：用户阿里云主账号的 UID。注意：Access Key需要有读写 DLF元数据的权限。MySQL元数据库相关信息 ￚ connectionUrl：元数据库 JDBC连接信息。ￚ driver：mysql driver，一般不需要改。ￚ userName：数据库用户名。ￚ password：数据库...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
cd/mnt/bio-projects/./env.sh cd tools/./get-acr-token 用上述用户密码登录 ACR docker login$ACR_VPC_ENDPOINT 上传镜像到仓库 docker tag 50a4f892cd94$ACR_VPC_ENDPOINT/$ACR_NAMESPACE/$ACR_REPOSITORY:v1.0 docker push$ACR_VPC_ENDPOINT/$ACR_NAMESPACE/$ACR_REPOSITORY:v1.0 文档版本：20240204 25 基于云速搭 ...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
构建一个经典的微 服务场景，实现同城容灾的步骤，体现云原生相 关产品在用户上云，高可用同城容灾多活场景下 的能力。应用场景 机房级故障的秒级自动转移：云原生网关对于关 联服务的每个...endpoint value:'mse-7b6ef6d0-nacos-ans.mse.aliyuncs.com:8848' - name: env #所在可用区标识 value:J主可用区 image:'registry....
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
步骤5 在详情页面，找到 kafka的 endpoint地址，复制备用。文档版本：20210806（发布日期）36 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 3.4.4.编写 fc函数 步骤1 现在编写好了模板文件以及安装好了我们需要的 Kafka SDK后，还需要添加我们的代 码文件 index.py，代码内容如下：#-*-coding:utf-8-*-...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
- 产品推荐
- 这些文档可能帮助您