SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所 有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的 许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志 和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统，但又要求实时 处理的...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云平台内部操作透明化
场景描述 云平台基于用户的请求或监管要求等，进行的内 部操作对用户如果不可见，用户可能会担心自己 的数据是否收到了影响或者是否被触碰了，影响 用户对平台的信任。 解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS 日志服务SLS
云平台内部操作透明化 最佳实践 业务逻辑图 场景描述 云平台基于用户的请求或监管要求等，进行 的内部操作对用户如果不可见，用户可能会 担心自己的数据是否收到了影响或者是否被 触碰了，影响用户对平台的信任。解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS ...
大数据workshop
大数据workshop
创 建 数 据 订 阅中创建并记录的 { dwd_paid_order_detail_subID_1 }的订阅值。ￚ accessid、accesskey、startTime：同表 log_info配置 步骤3 作业上线运行。步骤4 启动作业：文档版本：20210628（发布日期）51 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 3.3.7.创建产品关联作业 步骤1 新建 join_ads_sku_stat作业...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云速搭部署 Elasticsearch 应用
本实践通过云速搭实现一个 DTS+Elasticsearch 的搜索引擎架构，构建一个快速分析和检索 业务数据的系统。
云速搭部署 Elasticsearch应用 文档版本信息 云速搭 部署 Elasticsearch应用 最佳实践 文档版本：20211029（发布日期）云速搭部署 Elasticsearch应用 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 Elasticsearch应用 文档编号 250 文档版本 V1.0 版本日期 2021-10-29 文档状态 对外发布 制作人 衾影 ...
移动网关
移动网关服务，源于阿里云移动开发平台。移动网关 MGS，连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议，从而显著提升开发效率和网络通讯效率。移动网关 MGS，为网络隔离的系统间提供高性能、高安全、高可靠的通信，同时保障内部系统的安全性，并发峰值高达“百亿次/分钟”，业务仍可平稳运行。
移动网关 MGS 简化了客户端与服务端的数据协议和通讯协议，从而显著提升开发效率和网络通讯效率.借助移动网关 MGS，无需额外工作，即可形成移动服务能力，将吸纳有成熟的后端服务开放出去.开放移动服务能力.业务需要支持多样化的终端设备（手机/loT 等等），往往增加了系统复杂性，企业只需在移动网关 MGS 中定义服务，便能...
来自：
云产品
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
它是一种集数据管理、结构管理、用户授权、安全审计、数 据趋势、数据追踪于一体的数据管理服务。您可以使用数据管理服务实现易用的数据 库管理入口，让数据更安全、管理更高效、数据价值更清晰。DMS的主要功能包括：提供研发从线下环境结构设计到 SQLreview到生产发布的完整数据库研发流程。提供字段级别细粒度操作权限...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中 的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过 处理日志和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统，但又要求实时...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
使用 SLS告警具有更低的成本，无订 云服务器 ECS 阅费，免运维，渠道收费低。专有网络 VPC 3.告警全链路降噪及管理。云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 阿里云 企业上云实践 基于 SLS实现统一告警 最佳实践 文档版本：20211021 文档版本：20150122（发布日期）II 基于 SLS实现统一告警最佳实践 文档版本...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
流式数据发布(Publish)和订阅(Subscribe).查看全部日志.智能数据建模.数据建模-单独收费.全域数据集成.高效数据开发.数据治理中心.动态质量阈值.自定义数据质量报告.主动数据治理.数据分类分级.数据安全风险态势.敏感数据血缘图谱.数据操作行为审计.动静态数据脱敏管理.全面数据安全.数据结果分享.数据查询下载.快速分析...
来自：
云产品
云监控
云监控（CloudMonitor）是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，帮助客户第一时间发现和定位问题构建完善的监控运维体系。
支持匹配阈值报警规则产生的报警数据和云产品方发布的系统事件作为可订阅的事件源。支持合并降噪、通知策略和通知模板的灵活配置.企业云监控大盘.不限于阿里云产品指标数据，所有存储在企业云监控指标仓库中的数据均可通过PromQL语法以更丰富和灵活的图表组件创建各种复杂的仪表盘.基于机器学习算法动态识别历史数据模式...
来自：
云产品
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
发布/订阅（Pub/Sub）.支持Pub/Sub消息模型，提供一对多的消息分发方式.点对点（P2P）.独家支持P2P消息模型，点对点传递模式，高效低成本.小型传输，开销小，协议交换最小化，以降低网络流量.设计开放，协议简单，平台支持丰富，可连接所有移动互联网以及物联网设备.MQTT 物联网标准协议.At-Most-Once 允许消息少量丢失，...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...
云速搭部署 DTS 应用
通过云速搭实现 通过云速搭实现一个 DTS 和两个 RDS 实例的创建，并通过配置同步策略，将源 RDS数据库库中的数据同步到目标 RDS 数据库中。
云速搭部署DTS应用 文档版本信息 云速搭 部署 DTS应用 最佳实践 文档版本：20220104（发布日期）云速搭部署DTS应用 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 DTS应用 文档编号 282 文档版本 V1.1 版本日期 2022-01-04 文档状态 对外发布 制作人 衾影 审阅人 文档变更记录 版本编号 日期 作者 ...
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
云原生应用需要队列服务或者发布/订阅服务，简单的消息通讯和服务解耦.无需管理基础设施，与云服务提供商的其他服务集成良好.云应用解耦、消息通知、移动应用后台等.消息服务 MNS.阿里云消息系列公开课vol.1 ——《RocketMQ 的可观测性工具在线上生产环境的最佳实践》.阿里云消息系列公开课vol.2 ——《基于 EventBridge ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您