基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
详 见：https://www.aliyun.com/product/developerservices/cadt OSS 阿里云对象存储服务（Object Storage Service，简称 OSS）为您提供基于网 络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图 片、音频和视频等在内的各种非结构化数据文件。ElasticSearch Elasticsearch是一个高度可扩展的开源全文...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
开通如下服务： 对象存储 OSS 云架构设计工具 CADT 容器服务 Kubernetes 版 ACK 容器镜像服务 ACR 2 文档版本：20200525 自建 K8S迁移镜像、应用至阿里云 ACK 测试资源准备 背景信息 在本章中，将以阿里云河源地域模拟线下 IDC，使用云架构设计工具 CADT快速创建 IDC的 K8S集群所需的基础资源。1.1.资源规划...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 离线大数据分析WorkShop 文档版本：20210802（发布日期）离线大数据分析WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 离线大数据分析WorkShop 文档版本 V1.1 版本日期 2021-08-02 文档状态 对外发布 制作人 敬海 审阅人 游士 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
步骤3 查看最新生成的 distcp日志文件，当任务成功完成时，可以查看到相关报告：文档版本：20210425 28 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 Hive数据迁移 cat distcp.log 登录阿里云 OSS文件存储系统/user/hive目录下可以查看到相关的数据。3.2.将自建 Hive元数据库进行转储 在本实践方案中自建 Hive ...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
基于阿里云分布式文件系统和 SSD盘高性能 存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（高度兼容 Oracle）和 MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案。文档版本：20210721 IV 自建Hive数据仓库跨版本迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V ...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业，从他云迁移到 阿里云，方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容；同时在实 践环节，增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库，可提供PB级海量数据在线/离线分析服务，是面向各行各业的有竞争力的数仓方案，真正做到“人人可用的数据分析服务”。
阿里云百炼推荐规格：4C16GB 100GB 新用户免费试用1个月！试用后原实例续费1-3月享6折优惠！企业大模型云上大脑.企业大模型云上大脑.企业大模型云上大脑.谢赟辉,靖鑫,也树.孙慧颖,靖鑫,也树.AnalyticDB PostgreSQL 4C16G 新用户首购1-3个月享6折优惠！AnalyticDB PostgreSQL 7.0版推出高性价比经济版.阿里云百炼xADB-PG推出...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
MaxCompute 对于海量数据的存储、运维、计算能力强大且安全稳定，阿里云 MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成清算，同时减少了本地服务器部署压力，显著提升我们工作效率的同时减少了大量开发成本和人力成本，使我们能更专注于业务发展，为用户提供高品质、高价值的金融服务.大数据技术总监 ...
来自：
云产品
边缘安全加速 ESA 技术解决方案
ESA边缘安全加速基于全球3200+节点，提供边缘加速、边缘安全、边缘计算的产品能力，费用构成简单易懂，提供丰富的监控报表、日志工具，为客户网站提供一流性能体验。
相关产品云服务器ECS对象存储 OSS在线咨询方案优势一键接入方便快捷ESA支持根域名接入加速和防护，提供DNS的托管能力，接入后可设置站点全局配置，也可以自定义子域名配置，提升域名接入和管理的使用效率。自定义加速条件ESA提供各类加速规则，例如回源规则、缓存规则、压缩规则等，可根据自身业务特点，实现按区域回源、...
来自：
云产品
OpenLake大数据&AI一体化解决方案
本方案是基于开放可控数据湖仓构建的大数据/搜索/AI一体化解决方案。通过元数据管理平台DLF管理结构化和半/非结构化数据，提供湖仓数据表和文件的安全访问及IO加速。支持多引擎对接和平权协同计算，通过DataWorks统一开发，并保障大规模任务调度。
架构与部署 OpenLake大数据&AI一体化解决方案 阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上，提供大数据搜索与AI一体化服务。基于OSS的公共湖仓，结合元数据管理平台DLF，支持结构化、半结构化及非结构化数据的管理，确保数据表和文件的安全访问，并具备增删改查与IO加速能力。该方案支持大数据、搜索和AI多...
来自：
技术解决方案
大模型服务平台百炼
阿里云百炼是企业级大模型开发平台，助力企业轻松打造最优落地效果的AI应用，深度聚焦于人工智能与机器学习的前沿技术，它不仅提供了丰富的多模态模型调用服务，还简化了在线模型训练与部署流程，让开发者能够轻松驾驭大模型，加速创新应用的开发，推动AI技术在各行业的广泛应用。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台大模型服务平台百炼产品概述产品功能选型与定价入门与试用技术解决方案相关资源开发者活动控制台文档联系我们立即购买阿里云百炼 通义大模型企业级服务平台，助力企业轻松打造最优落地效果的AI应用立即开通立即咨询开放兼容实现多端...
来自：
云产品
网站静态资源访问加速
本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本。
本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本。网站静态资源访问加速 本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本...
来自：
技术解决方案
精准分析检索，打造商品推荐体验
在电商领域，商品推荐系统是提高用户满意度与销售转化率的关键工具。本文将探讨如何利用Elasticsearch的向量检索能力，打造商品推荐体验，助力电商平台提升用户体验和业务增长。
在线部署 适用客户 需提供更符合客户需求的推荐，提高转化率或参与度 寻求提升产品或服务的体验 方案优势 为什么选择阿里云Elasticsearch实现商品推荐 高可扩展性 阿里云Elasticsearch可以根据业务需求灵活扩展，支持横向扩展以处理大规模数据集。高可用性 提供多区域和多可用区的部署选项，包括自动故障转移和数据备份，...
来自：
技术解决方案
日志安全审计与合规性评估
日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据，确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息，帮助企业优化安全态势，确保业务连续性和数据安全。
如果调整了资源规格，请以控制台显示的实际报价以及最终账单为准）日志服务 云数据库 RDS 文件存储NAS 负载均衡 立即部署 应用场景 技术方案的广泛应用场景 审计日志自动化采集与存储 部分企业客户需要自动化采集存储日志，满足《网络安全等保2.0标准》中的最低要求。多账号审计日志统一管理 跨国企业、大企业以及部分中型...
来自：
技术解决方案
高价值用户挖掘及触达
本方案使用阿里云机器学习平台PAI的强大算法能力，通过对用户数据的计算和预测，辅助客户对人群营销决策的判断，在用户召回，流失预测，高价值用户寻找等多个运营场景，帮助客户降低成本，提高效率，客户可通过短信的方式触达用户，完成营销触达的全链路操作。
架构与部署 高价值用户挖掘及触达方案 本方案架构包含数据支撑、智能用户增长、运营管理与触达三个核心模块，可将业务相关数据存储在阿里云OSS中，并结合数据开发治理平台DataWorks进行数据清洗，生成符合运营要求的训练数据、人群数据等；阿里云PAI为您提供的智能用户增长插件，可智能圈选待运营人群、生成运行策略，并...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您