开源大数据平台 E-MapReduce 技术解决方案
阿里云开源大数据平台 E-MapReduce 技术解决方案，帮助您快速了解如何利用这款弹性伸缩、存算分离的企业级大数据平台服务来提升业务效率，降低成本。
助您轻松低成本大数据上云立即购买免费试用开源大数据平台 E-MapReduce方案详情云原生企业级数据湖对象存储 OSS 作为数据湖统一存储，可以存储来自于不同数据源的各类型数据。通过多种存储类型实现数据冷热分层，可无缝对接 EMR、PAI 等大数据分析和训练引擎。结合高性能文件存储 CPFS，实现 OSS 与 CPFS 数据双向流通，...
来自：
云产品
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
立即部署 55分钟 免费（资源目录、配置审计均为免费产品）资源管理 配置审计 云服务器 ECS 云企业网 Web应用防火墙 对象存储 应用场景 技术方案的广泛应用场景 高效实施企业内控基线 企业为保证经营活动的有序运行，保障IT服务的稳定性和合规性，通常会对IT服务制定相关管控措施，来进行监督和审计。法规及行业标准预检 ...
来自：
技术解决方案
通过PAI-灵骏分布式训练和部署Llama 2模型
灵骏支持业界各类流行的开源大语言模型，包括Llama2系列、Bloom系列、Falcon系列、GLM/ChatGLM系列，以及领域大模型galactica等的高效训练和部署。本方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
涉及的阿里云产品包括机器学习平台PAI、对象存储OSS。步骤包含：资源准备、模型及数据等准备、模型训练、模型离线推理及上传和模型部署这五个阶段。用户在规划好网络和资源、完成资源部署后，可通过Huggingface 或 ModelScope等社区渠道下载Llama2模型，并可在灵骏智算平台的DSW实例中，完成准备预训练数据准备；训练阶段...
来自：
技术解决方案
创意加速器：AI 绘画创作
本方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。其中包括文本到图像、涂鸦转换、人像风格重塑以及人物写真创建等功能。这些能力可以加快艺术家和设计师的创作流程，提高创意效率。
对象存储OSS则用于存储某些场景中用户上传的图片，并通过签名的方式使得通义万相可以下载该图片，模型服务通过提供基于HTTP接口的API，实现应用程序的调用。立即部署 30分钟 10元（假设您选择本文示例规格资源，且资源运行时间不超过60分钟。实际情况中可能会因您操作过程中实际使用的流量差异，会导致费用有所变化，请以...
来自：
技术解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，白屏配置任务数据共享存储和下载，并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效，提高GPU资源利用率。
实际情况可能会因您操作过程中使用的资源规格和流量差异，而导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）专有网络VPC 容器服务Kubernetes版 文件存储NAS 应用背景 技术解决方案的广泛应用背景 持续优化异构资源效率 对云上各种异构计算资源（如CPU、GPU、NPU、VPU、FPGA）、存储（OSS、NAS、CPFS、HDFS）...
来自：
技术解决方案
开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
本篇文章对阿里云EMR Serverless StarRocks OLAP 数据分析场景进行解析、存算分离架构升级以及 Trino 兼容，无缝替换介绍。EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，...
来自：
云产品
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎，为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接，为AI应用场景的数据工程提供便利。
业务数据安全：阿里云向量检索服务Milvus版专注于提供高效的向量检索能力，本身并不负责存储用户的业务数据，具体业务数据安全交由阿里云对象存储OSS保证，该系统提供同城多副本冗余机制，保障业务数据正常访问。鉴权认证账号认证：管控服务接口与阿里云账号体系的集成，并且Milvus遵循基于角色的访问控制（RBAC）认证机制...
来自：
云产品
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
配置 OSS Bucket 步骤1 登录阿里云控制台（https://console.aliyun.com/）步骤2 通过产品与服务导航，定位到对象存储 OSS，单击进入对象存储管理控制台。步骤3 找到基于 CADT创建的 OSS bucket。步骤4 查看 OSS的 endpoint和 bucket的访问域名并记录。文档版本：20211213 27 基于 MaxCompute的大数据 BI分析 日志数据采集 ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 55 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤9 新建作业，作业名称：flink_uv_job，作业类型：FLINK_STREAM/DATASTREAM，存 储位置：/作业开发/新手任务 文档版本：20201224 56 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤10 更新作业的主要信息，比如完整主类名、...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
专有网络 VPC 云数据库 RDS MySQL版 分析型数据库 MySQL版 解决问题 消息队列 Kafka 对象存储 OSS 1.如何搭建实时数仓。NAT网关 2.通过实时计算 Flink实现实时 ETL和数据流。DataV数据可视化 3.通过实时计算 Flink实现实时数据分析。4.通过实时计算 Flink实现事件触发。最佳实践频道 阿里云最佳实践分享群 云服务器 ECS...
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案，帮助企业快速构建高质量的移动应用，阿里云快速开发平台提升企业产品生态发展。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台移动开发平台 mPaaS产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题移动开发平台 mPaaS为 App 开发、测试、运营及运维提供云到端的一站式解决方案，实现移动应用的快速搭建。立即购买免费试用快捷...
来自：
云产品
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 专有网络 VPC 云服务器 ECS API网关 表格存储 OTS 数据传输服务 DTS 函数计算 FC 如二维码过期，云速搭 CADT 请搜索群号：31852400 新零售商超基于 Serverless服务化改造 文档版本信息 阿里云 新零售商超 基于 Serverless服务化改造 最佳实践 文档版本：20210519（发布日期...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
MSE云原生网关解析 body内容进行路由转发 业务架构 场景描述 MSE云原生网关中通过自定义插件 transformer 解析body内容，并用以路由转发规则判断 应用场景 一些场景下，请求 header头中没有可用来做路 由转发的业务信息，或者请求 header头中的信 息是加密的，这时需要网关能够对 body内容进 行解析处理。解决问题 解决应用...
- 产品推荐
- 这些文档可能帮助您