SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品列表 总聚合，进行统一的数据查询分析处理。 专有网络VPC 日志服务SLS 云消息队列KAFKA 最佳实践频道 Serverless应用引擎SAE http://bp.aliyun.com 云虚拟机ECS 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号31852400入群 ARMS免费试用群 钉钉...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20200127 120 部署云防火墙 企业上云 workshop-IDC业务迁移上云 步骤3 在新增外-内策略对话框中，参考下表，配置相关参数，放行目的 80端口的访问。配置项 说明 源类型 IP 访问源 0.0.0.0/0 目的类型 IP 目的 0.0.0.0/0 协议类型 TCP 端口类型 端口 端口 80/80 应用 ANY 动作 放行 描述 放行 80端口 优先级 最前 ...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
在 MaxCompute改造后的任务执行规则如下：在每小时执行完任务 01_将 datahub表记录按小时汇总到 odps_apache_logs表 之 后，将表 datahub_dataconnector_apache_logs中前一个小时的日志记录，处理后的 结果插入到中间表 hbase_intermediate_table_job99_ip_statics中，后续使用数据集 成任务同步到云数据库 Hbase表 99_ip_...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
后记 1.DRDS 作为数据库拆分的解决方案，在实际使用场景中还有很多的需求，如对 于一个实体需要按照两个完全不同维度进行查询的场景（如订单表既要按照买 家 ID进行汇总，又要按照卖家场景进行汇总），还有全局事务场景等，本文并 未进行探讨，在后续最佳实践中将进行讨论。总之分库分表是一个复杂的工程，需要进行严密的...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
资源分组出账 资源分组管理之后，通过创建对应的财务单元，将资源组对应到财务单元实现按资源 组汇总账单。比如某公司多个项目使用阿里云资源，财务希望按照项目进行出账，以 解决财务成本分摊的问题。4.3.1.创建资源组 按照项目创建资源组，并将资源移动到对应的资源组内。参考 2.1 章节完成 文档版本：2021-07-12 50 资源...
- 产品推荐
- 这些文档可能帮助您