SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
详见下图：应用将通用镜像自定义拉取。消息使用消息队列MQ。初始化时系统会自动创建：topic：xl-test，group：xl-test-group、xl-test-group_gray 2.2.核心模块 MSE云原生网关：目前支持SpringCloudGateway、Zuul和Kong三种引擎类型，本实 践选择MSE云原生网关。以下列举MSE云原生网关的一些优势： 服务发现：支持ACK...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.平台管理后台：运营人员对内容进行管理，监控并分析 APP核心业务指标。a)文章内容审核，对有争议文章进行人工审核 b)违规内容下架。c)业务指标查看。2.2.业务目标 业务部门需要实时计算出以下的核心业务指标，对每天的运营工作进行数据支撑。1.当天的实时 UV/PV。2.当天各类目的实时 PV/UV。3.当天各类目的实时曝光、点击...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
注意：在资源组范围内的授权只作用于资源组内，比如 app-1RAM用户被授权应用 1 组的 AdministratorAccess权限只针对资源 1组内的资源有效，app-1RAM用户无 权访问应用 1组之外的其他资源。步骤9 单击资源组应用 2 组的管理权限，新增授权，选择 RAM 用户 app-2，并赋予 AdministratorAccess权限。操作同步骤 8。步骤10 登录...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
更多信息，请参见：www.aliyun.com/product/rds/mysql Elasticsearch：阿里云 Elasticsearch兼容开源 ELK功能，提供免运维全托管服务 的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监 控等场景服务；独有的云原生高性能内核、达摩院 NLP分词、向量检索、智能运 维、免费 X-Pack高级商业特性等...
云原生网关解决方案
云原生网关是阿里云提供的下一代网关解决方案，将流量网关 Nignx、微服务网关和安全网关三合一，解决了三层网关架构独立设计、独立运维导致的资源消耗大、性能损耗大、稳定性难控、安全防护复杂等难题。
容器服务 ACK.Serverless 应用引擎 SAE（Serverless App Engine）是一个全托管、免运维、高弹性的通用 PaaS 平台，提供了开源侧诸多增强能力和企业级高级特性.Serverless 应用引擎.应用实时监控服务 ARMS 作为一款云原生可观测产品平台，包含前端监控、应用监控、云拨测、Prometheus 监控、Grafana 服务等子产品.应用实时...
来自：
解决方案
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署，通 过 ARMS监控发现微服务应用的容错能力是否 健壮，容器编排配置是否合理，以及节点故障引 发的问题等，方案通过 AHAS故障注入模拟生 产环境产生的故障，通过 ARMS及时发现问题、定位问题，并结合 ARMS的告警功能快速...
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写，压缩存储，实时计算能力为一体的数据库服务，可广泛应用于物联网和互联网领域，实现对设备及业务服务的实时监控，实时预测告警。
设备通过无线网关进行数据传输上云，经MQTT集群进行SSL终结和消息路由，Kafka进行消息数据解析和服务对接，应用系统将设备指标全量实时写入到 TSDB，监控系统访问TSDB 进行可视化监控，C端APP通过TSDB 获取实时指标进行业务告警.推荐搭配使用.思岚科技是服务机器人自主定位导航解决方案的领航者。阿里云时序时空数据库TSDB...
来自：
云产品
人工智能-自然语言处理-词性标注
通过词性标注服务，用户可以快速的为每一个词附上对应的词性，结合分词服务，可以快速进行更深层次的文本挖掘处理，无需担心新词发现、歧义消除等问题。
结合分词，能帮助各类APP应用、网站社区等对文本内容搜索有需求的用户，快速搭建搜索模块，提升搜索准确性.结合分词，使机器更好的理解指令内容，快速完成指定任务，可用于语音助手、智能硬件等场景.快速发现文本中的关键词，提炼出有价值的信息，节省阅读时间.包含基本语义粒度，更小的检索粒度以及扩展检索粒度.基于阿里...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
名词解释 HDFS：Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分 布式文件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统，适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上 的应用。...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
“终端”是各类实现数据采集、输入和使用的用户交互用设备，如APP、网页、应用程序等.数据安全中的“云管端”.安全能力“云、管、端”.数据采集阶段是组织内部系统中新产生数据，以及从外部系统收集数据的阶段。如何保证海量数据的安全可治理，是这一阶段的重点.数据采集阶段.数据安全中心服务.数据传输阶段是数据从一个...
来自：
解决方案
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本：20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景，通过Nginx和Pythonflask 搭建WebServer，模拟应用中的关键页面，比如登录、课程内容等，之后构造若干用 户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。...
- 产品推荐
- 这些文档可能帮助您