SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提 供大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。 云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
一站式交互式填报解决复杂表格数据收集问题将报表展示和填报录入相结合，综合计算填报数据和数据集取数结果，从填报任务下发、数据录入、权限管理、入库审批等多链路确保数据采集和数据分析的顺畅度。产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有...
来自：
云产品
容器计算服务 ACS
容器计算服务 ACS 是以 K8s 为使用界面供给容器算力资源的云计算服务，提供符合容器规范的算力资源。
进一步了解 ACS 带来的用云新范式 产品优势极简易用，快速上手解决 K8s 上手难的问题容器与资源一体化，无需关注底层节点和集群，极简产品设计，通过控制台或 Yaml 轻松配置即可创建应用，易用性提升50%，降低 K8s 和用云门槛。按需弹性，按量付费解决 Pod 资源配置灵活度和弹性问题业内首创灵活申请 Pod 的计算资源，支持1...
来自：
云产品
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks，是阿里云提供的全托管服务，内核100%兼容StarRocks，性能比传统OLAP引擎提升3-10倍，助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
分钟级别的监控报表，针对 StarRocks 核心数十项 metrics 无间断采集，提供准确的实时监控告警。对集群概览、计算、存储及查询、导入等提供诊断分析报告，以优化集群到更加的健康状态.全托管分析平台.可视化的 StarRocks 实例管理控制台，使得实例的整体运维和管理更方便.易用的数据查询分析.支持可视化 SQL Editor 编辑器...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本章从数据采集、数据加工、数据分析到业务系统，全链路的介绍如何搭建实时数仓。注意：本章 FLink SQL脚本请使用前进行变量替换。4.1.数据采集 原始日志字段设计见下表：字段名 字段说明 event_time 事件产生时间 imei 移动设备国际身份码的缩写 device_model 移动设备机型 client_ip 设备 IP category_id 文章所属类目...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详 见：https://www.aliyun.com/product/sls 抢占式实例 Spot：不是一种实例类型，而是一种付费方式，旨在为您降低部分场 景下使用 ECS实例的成本。如果使用得当，相对于按量付费实例，有较深的折扣 文档版本：...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
同时日志 服务还一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功 能，全面提升您在研发、运维、运营、安全等场景的数字化能力。详见：https://www.aliyun.com/product/sls 容器服务(ACK)：提供高性能可伸缩的容器应用管理能力，支持企业级 Kubernetes 容器化应用的全生命周期管理。容器服务 ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
部署用户模型.61 发布日期：20220320 IV 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 最佳实践概述 AI数据处理流程 场景描述 通常 AI数据处理分为，数据采集，数据清洗，数据标注，模型训练，模型部署，推理等场景。本方案 适用于 AI推理场景，在推理之前，模型已经训练完成。例如,刷脸支付中，我们在刷脸的...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
更多 信息，请参考：https://www.aliyun.com/product/developerservices/cadt 日志服务(LOG)：LogService，简称 LOG/原 SLS是针对实时数据一站式服务，在 阿里集团经历大量大数据场景锤炼而成，提供日志类数据采集、消费、投递及查询 分析功能，全面提升海量日志处理/分析能力，服务智能研发/运维/运营/安全等场 景。...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
运行推理任务.62 V 混合云使用飞天AI加速工具 最佳实践概述 最佳实践概述 AI数据处理流程 AI数据处理一般分为三个步骤，数据采集，清洗标注，模型训练，模型部署与推 理。方案场景描述 在混合云场景中，可以自建 Kubernetes服务，线下集群+云上弹性扩展阿里云 GPU 服务实例+飞天 AI加速工具加速框架，并采用阿里云 CPFS存储...
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
通用：大容量数据存储.海量存储，支持上百TB级别数据.PolarDB采用计算和存储分离架构，支持数据库服务器的CPU、内存能够快速扩容，最快可增加15个只读节点，支持并行查询、读写分离等功能，使查询耗时指数级下降，解决计算量较大的查询、多表连接查询、日常报表查询等轻分析类业务需求.PolarDB MySQL 8.0重磅推出并行查询...
来自：
云产品
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
“终端”是各类实现数据采集、输入和使用的用户交互用设备，如APP、网页、应用程序等.数据安全中的“云管端”.安全能力“云、管、端”.数据采集阶段是组织内部系统中新产生数据，以及从外部系统收集数据的阶段。如何保证海量数据的安全可治理，是这一阶段的重点.数据采集阶段.数据安全中心服务.数据传输阶段是数据从一个...
来自：
解决方案
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
越来越多的客户把PostgreSQL的timescaledb作为物联网实时数据采集和存储的首选.空间/时空/时序多引擎.云数据库RDS PostgreSQL兼容SQL:2011，JSON，JSONB，XML，HStore原生支持，支持NoSQL数据库的外部数据包装器。支持全SQL在PostgreSQL中进行JSON数据操作，NoSQL+SQL的有机整合，实现NewSQL的处理模型。适用于游戏、直播类...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
- 产品推荐
- 这些文档可能帮助您