自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.在 master节点执行下面 3个命令，生成密钥对。其中第 1个命令在 master节点本地执行；第 2、3个命令在 master节点通过 SSH 远程登录到 slave1、slave2和 slave3节点远程执行，命令执行过程中提示输入的 地方都直接回车即可。ssh-keygen-t rsa ssh slave1"ssh-keygen-t rsa"ssh slave2"ssh-keygen-t rsa"ssh slave3"ssh-...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
[jinghai@ali login]>ssh-i key-ai.pem root@47.*.*.228 步骤2 检查是否可以 ping同 worker001，其中 worker001的内网地址是 192.168.10.3[root@master001~]#ping 192.168.10.3 PING 192.168.10.3(192.168.10.3)56(84)bytes of data.64 bytes from 192.168.10.3:icmp_seq=1 ttl=64 time=24.1 ms 64 bytes from 192.168.10.3...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
按照所示输入”$oauthtoken”，并输入您在设置 NGC账户时 获取的 NGC API密钥：Username:$oauthtoken Password:完成后，您可以运行 Docker命令并从 VM实例访问 NGC容器注册表。23 RAPIDS加速图像搜索 单机部署图搜应用 5.单机部署图搜应用 5.1.下载镜像并启动 步骤1 下载 rapids加速库镜像，这里我们选择 rapidsai:0.8-cuda...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
密钥必须在控制台手动创建，在创建完后会自动下载密钥到本地，之后不再提供下载 路径。务必保存好密钥文件 文档版本：20240204 6 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 3.3.CADT模板配置 步骤4 访问https://bpstudio.console.aliyun.com/ ，登录云速搭 CADT控制台。说明：如果提示需要开通...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
导入令牌与加密密 钥材料的公钥具有绑定关系，同时一个令牌只能为其生成时指定的主密钥导入密钥材 料；导入令牌的有效期为 24 小时，在有效期内可以重复使用，失效以后需要获取新 的导入令牌和加密公钥。步骤1 之前下载的加密公钥文件 publickey_datasec.txt上传到 ecs服务器上，放到和之前创 建的对称密钥一个目录即可。...
- 产品推荐
- 这些文档可能帮助您