开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
API提供全方位的API查询、文档和调用等，助您快速通过API使用开源大数据平台E-MapReduce，便捷完成二次开发。SDK为开源大数据平台E-MapReduce的每种开发语言提供专业的在线调试、部署指南和丰富的场景化示例，帮助您简化OpenAPI的使用过程。镜像站170+开源软件镜像查看更多资源编排 ROSIaC 自动部署云资源查看更多WebIDE云...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
这里需要注意，如果通过 CADT创建的 VPC、VSWITCH中人工通过其他方式添加了资源，如通过控制台或者 API 等购买了 ECS，释放时因为这些非 CADT 部署的资源会依赖 VSWITCH和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
这里需要注意，如果通过CADT创建的VPC、VSWITCH中人工通过其他方式添加了 资源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资源会 依赖VSWITCH和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源 清理后，在CADT中再次释放资源即可。步骤1 需要手动清理配置的好的4个函数 步骤2 OSS数据清理，...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
阿里云微服务引擎（MSE）解决问题 阿里云容器服务（ACK） 安全组 因为K8s的HPA设置相对复杂，默认提供 云速搭CADT 的CPU和内存不能满足实际需求（尤其是 Java技术栈），所以可以将弹性波动大的服 务部署在SAE，借助SAE更丰富的HPA规 则应对流量脉冲。 K8s架构向Serverless架构迁移的平滑过 渡。最佳实践...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
创建函数前必须先创建服务，服务就像函数的集合，9 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置等。l 服务名称：根据实际业务自行填写。l 服务角色：默认选择 AliyunFcDefaultRole，如果下拉框...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
57 企业上云实践 虚拟桌面架构的高性能云上部署|异地VPC和应用创建 类别 配置项 说明 基础配置 专有宿主机 选择关联宿主机（ECS实例在重启之后会依然部 署在当前宿主机；若不关联，重启后可能会被 调度到账号下的其他宿主机）。计费方式 按量付费 地域 新加坡 可用区 B 实例 计算型 c5 ecs.c5.large（2 vCPU,4 GiB）购买...
服务网格
阿里云服务网格（简称ASM）是一个统一管理微服务应用流量的托管式平台，兼容Istio。通过流量控制、网格观测以及服务间通信安全等功能，可以全方位地简化您的服务治理。它为运行在异构计算基础设施上的服务提供统一的能力，适用于Kubernetes集群、Serverless Kubernetes集群、ECS虚拟机以及自建集群。
线下环境有存量应用需要迁移上云，通过部署和配置服务网格，可以将流量动态路由到线下旧版环境或线上新版环境，较好地处理无状态服务迁移.用户在搬站或上云过程中，涉及到测试、灰度、投产等多个阶段，应用流量控制的策略繁杂，可利用ASM简化整个过程.对于有多云或混合云战略的用户，ASM为应用服务提供了全局负载均衡能力，...
来自：
云产品
分布式身份服务
分布式身份服务 DIS 通过蚂蚁区块链，安全的存储个人和企业用户的身份信息，并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互，使得企业和机构可以更合规的使用和管理用户身份信息及数据授权，而身份信息的真实性得到了极大的保障。
是企业级区块链平台服务，支持Hyperledger Fabric、蚂蚁金服自研区块链技术、以及企业以太坊Quorum，为您构建更安全稳定的区块链环境，简化部署运维及开发流程，实现业务快速上链.可信计算服务 C3S.为上链应用提供链上链下数据交叉核验，保证链上流转数据可信扩展，并提供通用的、隐私保护的数据分析能力，支持多方业务数据...
来自：
云产品
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
业务逻辑可以在区块链编程层可以实现，通过跨链合约API进行数据调用和合约交互，完成多条区块链的协作，达到区块链的横向应用拓展.默认色值为#ededed,添加后将覆盖默认色值.默认色值为#fafafa,添加后将覆盖默认色值.标题-copy-copy.唐家哲,靖鑫,也树.可信存证是目前大量落地推广的区块链场景，但是每条链也形成了数据的孤岛...
来自：
云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
—— 日钢集团数据服务研发部 沈部长“为了解决众多系统建成后使用率低，无法与业务有效结合，导致数字化成果无法充分发挥这一痛点，公司采取了一系列措施，首先将线下业务通过智慧水务系统建设转为线上运营，然后调整架构流程以服务新系统，最后在集团的统一部署下使用 Quick BI。—— 深圳光明环水公司董事长 李先生常见...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
Funcraft Funcraft 是一个用于支持 Serverless 应用部署的命令行工具，能帮助我们便捷地管 理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件（template.yml），协助我们进行开发、构建、部署操作。所以第二个函数我们需要使用 Fun来进行操作，整个操作分为四个步骤：1.安装 fun工具 2.编写 template.yml模板...
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术，具有高稳定高可用性弹性扩展的容器化技术架构，实现安全，稳定，智能、高效的企业邮箱应用，方案具有公有云SaaS服务、本地独立部署，全栈国产化部署等多种构建方式，与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
本方案可支持公有云 SaaS 服务、本地独立部署多种服务方式，亦满足办公国产化自主可控要求，与钉钉无缝集成，实现便捷、互通、高效的统一协同办公体验.谢赟辉,靖鑫,也树.阿里邮箱协同办公解决方案.阿里企业邮箱提供公有云 SaaS 服务、本地独立部署、国产化部署等多种构建方式；采用云原生技术架构，实现全方位安全防护、高...
来自：
解决方案
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
扬流 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-06-26 弦望 隐林 创建 V1.1 2019-07-24 筱晖-文档优化、验证 V1.2 2019-10-10 弦望-新增最佳实践概述 V1.3 2019-12-04 弦望-新增git下载democode V1.4 2020-01-13 弦望-对齐大数据产品最新功 能 V1.5 2020-02-03 弦望-新增数据服务API开发 的HTTPS说明 V1.6 ...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20220209 27 异地双活场景下的数据双向同步 服务部署 文档版本：20220209 28 异地双活场景下的数据双向同步 服务部署 步骤5 在容器服务中使用路由访问应用。步骤6 进行多次访问，可以看到数据成功写入。文档版本：20220209 29 异地双活场景下的数据双向同步 服务部署 步骤7 为了避免数据干扰，暂时先清空数据。...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
类别 明细项 说明 一块ENI用于hostoverlay使用 VMware网络部署支持VLAN和ovlerlay两种方式，本例采用overlay部 署方式 IP地址 ENI的IP和公网IP为阿里云系统分配，每次分配的IP 不同，因此实际操作中需使用实际IP替换本例中的IP。文档版本：20191121 4 VMwareon弹性裸金属 搭建网络环境 1.搭建网络环境 1.1.创建专有网络 ...
医学NLP
对医学领域文本内容进行分析，识别文本中的医学术语及属性。目前支持16种核心医学实体、6种医学属性的抽取。 医疗大数据是医疗前沿重要的发展方向，大数据与医疗结合，不仅会提升临床诊疗效果，还会对保险、药品研发等多个医疗健康领域产生深远影响。 但医疗大数据面临严重的质量问题，主要体现在数据统一性、完整度、准确性三个方面。因此，要想将大数据与医疗深度结合，底层数据和上层应用能力都必不可少。
在近百项目中落地应用，实战经验丰富.标准化接口封装，大大降低研发人力投入.更多产品与服务.服务于医生、医院和卫计委的电子病案质控解决方案，辅助医生及时发现病历书写中的缺陷，全面提病历质量.服务于医生、医院、卫计委和患者端的全链接辅助诊疗解决方案。辅助诊疗系统可帮助医院优化诊疗流程、提高诊疗效率和全面提高...
来自：
云产品
钉钉音视频会议解决方案
钉钉音视频会议解决方案，打通通信录、语音、会议、消息及会场管理系统，提供一站式全场景会议的能力，有效提升客户办公协同效率。通过硬件终端+软件客户端+SDK/API+云服务，突破空间、网络限制，将原有只能在会议室对会议室或者只能纯软件线上会议扩展为全场景随时随地入会、全球覆盖的云会议服务。
基于阿里巴巴集团数年视频会议技术及应用积累、全球部署的网络节点及先进的 AI 技术，可随时与其他与会者沟通.谢赟辉,靖鑫,也树.钉钉音视频会议解决方案适用于公司内部远程会议、培训；公司外部与客户、供应商、合作伙伴原创会议协作沟通。通过云端一体的钉钉音视频会议解决方案将客户会议室硬件、办公通信软件、电话融合...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您