自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys文 件中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本：20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
注意：在用 Windows文件资源管理器访问和使用文件系统模式下，阿里云 SMB文 件系统并没有实际加入用户的 AD域。如果不是通过本地磁盘路径 C:\myshare访问 文件系统，而是通过普通网络路径\ as-mount-point.nas.aliyuncs.com\myshare访 问，在设置 ACL时，会遇到因 RPC服务器不可用而无法确定 NAS挂载点是否已加 入域的情况...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案，满足从海量数据采集到清洗、标注、训练到归档的数据自动化，提供了自动驾驶研发云的统一数据平台，极大提升了研发效率.文件存储 CPFS.对象存储 OSS.网络安全升级支持IPV6.杭州悦数科技有限公司与阿里云计算巢达成合作，NebulaGraph 作为首款图数据库...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，...
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的，基于云原生架构的内存数据库，兼容Redis API，支持内存、持久内存、ESSD三种存储介质，并提供大量扩展型数据结构及企业级能力。
Tair在支持Redis数据结构的同时，内置多种扩展型数据结构，通过这些扩展型数据结构，业务构建时无需再关心存储结构和时效性，极大提升了开发效率。您可通过阿里云数据库 Redis 版提供的“配置变更”功能将Redis社区版升级至Tair，且无需停机.充分兼容Redis，无需停机升级.Tair持久内存型使用持久内存作为存储介质，在充分...
来自：
云产品
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
支持对结构化数据库RDS、DRDS、PolarDB、OceanBase、ECS自建数据库，非结构化数据存储OSS、OTS，大数据平台MaxCompute的数据审计与防护.覆盖各类云上数据源，实现统一数据安全管理.基于云原生能力，提供无代理Agentless模式，开箱即用，秒级接入，即刻防护您的云上数据.无需部署代理agent，不占用租户资源.立即购买（新客户...
来自：
云产品
智能媒体服务 IMS
智能媒体服务IMS（Intelligent Media Services），是围绕直播和点播场景下的媒体采集、媒资管理、内容生产、制作和分发能力的一站式服务集，提供广播级、全智能、灵活多样、可多云接入的专业能力，并面向多云复杂业务流场景提供成熟的低代码终端SDK集成方案。
【窄带高清转码】输出同等画质，文件体积更小，可节省30%存储和带宽成本.节省运营成本.对象存储OSS.视频点播VOD.面向广电新媒体的内容管理场景，为媒体客户的海量广播级高码率的素材（数百Mbps）提供倍速、专业协议、稳定可靠的云端转码和剪辑服务。并基于智能媒资的审核、查重、打标等服务实现内容多模检索能力，有效提高...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
不仅大幅提升数据库资源调配效率和利用率，而且实现了持续降本增效.AnalyticDB通过行列混存、自适应索引，结合向量化的分布式执行引擎实现大部分查询复杂可以在毫秒级完成；同时通过在线化的调度和云原生的弹性扩展能力，可以支持大量商家的在线并发访问.基于AnalyticDB准时实时输出/分析报表，商户运营报表5分钟更新一次；...
来自：
云产品
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
2.修改 withKubeConfig函数参数，这里使用了 kubernetes cli plugin，其参数可以根 据前文创建的客户端 config配置文件内容来配置，也可以通过 jenkins流水线语法 模板来生成：文档版本：20220121 46 基于 K8S多集群隔离环境下的 DevOps实现 持续集成及持续部署 Kubernetes server endpoint、Cluster name、Context name等...
- 产品推荐
- 这些文档可能帮助您