云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
更多信息,请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版:云数据库 RDS MySQL 版是全球最受欢迎的开源 据库之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。更多信息,请参见 www.aliyun.com/product/rds/mysql 文档版本:20210416 IV 云 ...
来自: 最佳实践 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用.云数据库 MongoDB版.云原生数据库 PolarDB 是阿里云自研产品,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库...
来自: 云产品
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
预置近百种图表组件与十种看板模板,支持不同数据类型展示与分析,满足不同场景需求.预置可视化插件与看板模板.打通阿里云账号 SSO 与自建账号体系,保障数据安全同时,实现数据源与大盘的精细化管理.数据与账号安全性强化.打通钉钉、飞书、企业微信等协同工具,并提供低代码事件预处理流程工具,轻松实现去重、降噪.增强...
来自: 云产品
云上持续审计合规最佳实践
云上持续<em>审计</em>合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
配置审计和操作审计 为更好的理解配置审计和操作审计的作用,我们首先对比下这两个产品:文档日期:20210726 2 云上持续审计合规最佳实践 云上 IT系统持续合规 操作审计和配置审计结合起来在企业云管的整个过程中实现持续审计合规。企业的云管 可以简单理解为人对云上 IT资源进行管控操作。操作审计是从操作角度进行审计,...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
云上日志集中审计
云上日志集中<em>审计</em>
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
日志审计功能.5 2.2.开通日志审计.5 2.3.产品审计示例.9 3.搭建云上经典网站.12 3.1.通过 ROS方式部署.12 3.1.1.通过 ROS直接创建资源栈.13 3.1.2.配置 wordpress.17 3.2.通过控制台方式部署.19 3.2.1.创建环境.19 3.2.2.配置 wordpress.20 4.WEB服务日志采集.21 4.1.创建 Web服务日志的 logstore.21 4.2.通过 logtail采集...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费,是互联网、IoT、车联网、广告、社交等场景首选数据库,也是为阿里核心业务提供支撑的数据库之一。
海量采测点数据高通量、高并发、低延迟写入,内高效数据统计、计算、处理等分析任务执行.工业数据云IT&OT融合存储分析.使用Lindorm存储广告营销中的画像特征、用户事件、点击流、广告物料等重要数据,提供高并发、低延迟、灵活可靠的能力,帮助您构建高效的实时竞价、广告定位投放等系统服务.千万并发下,仍可保持单个...
来自: 云产品
企业构建统一CMDB数据源
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
获取ECS网络信息 本章节,我们以ECS资源的网络配置数据为例,使用 python脚本模拟将资源配置 导入企业自有系统。用到了配置审计的 API,在使用前需要导入阿里云 SDK 核心:aliyun-python-sdk-core:在多账号情况下,列出主账号下指定账号 组的所有资源数据:在多账号情况下,查询指定资源的详细数据 注意:上述两个...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
MyBase具备 RDS一切特性,包括全生命周期管理(备份、恢复、监控、优化、 、容灾、加密等),同时开放 OS权限,可以结合用户自己的运维体系,满足用户定 制化需求。MyBase 既可以灵活部署,又满足企业对数据库合规性、高性能和安全 性的要求。3.1.查看 Mybase集群和主机 步骤1 登录云数据库专属集群 MyBase控制台。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
云平台内部操作透明化
云平台内部操作透明化
场景描述 云平台基于用户的请求或监管要求等,进行的内 部操作对用户如果不可见,用户可能会担心自己 的数据是否收到了影响或者是否被触碰了,影响 用户对平台的信任。 解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS 日志服务SLS
数据安全服务:阿里云还为客户提供非常丰富的数据安全类服务,帮助客户建立自己 的数据安全保护体系,比如用于客户内部运维管控的堡垒机、数据库审计服务,用于 数据加密的加密服务和证书服务。客户如果使用了第三方提供的加密服务把数据加密 后放阿里云上,那么阿里云也没有任何办法看到客户数据。大量的部委和金融机构...
来自: 最佳实践 | 相关产品:对象存储 OSS,日志服务(SLS),操作审计
云迁移中心
云迁移中心,为应用程序上阿里云提供迁云成本分析,网络拓扑图自动生成,一站式应用程序迁移监控,同时支持IDC和他云环境,加速和简化应用迁移。
提供关系型数据库、非关系型数据库、大数据系统等多种生产数据的元信息调研能力,统计表字段等明细结构,辅助用户快速完成上云分析和配置.集成阿里云主流大数据迁移产品,一站式数据上云任务总览和管理能力.大数据开发治理平台.智能数据构建与管理.推荐搭配使用.大数据上云与数据中台建设.大数据上云与数据中台建设.针对...
来自: 云产品
云防火墙
阿里云云防火墙可提供统一的互联网边界、内网VPC边界、主机边界流量管控防护,包括结合情报的实时入侵防护能力,是您的网络边界防护和等保合规利器。
云防火墙的所有流量会在日志审计分析记录,包括如流量日志、事件日志和操作日志,帮助您实时审计您的网络流量,如攻击防御payload日志和访问控制命中日志,帮助您实现审计和溯源.专业的云上网络安全防护产品.精细化访问控制.可统一管理互联网到业务的访问控制策略(南北向)和业务与业务之间的微隔离策略(东西向),提供4-...
来自: 云产品
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
对 PaaS 调用如数据库,NoSQL,MQ 等调用进行追踪.支持根据如应用、服务等各粒度进行汇总统计.支持汇总结果实时计算,延迟在一分钟以内.拓扑结果,可根据链路上报信息实时绘制而出,结果准确,真实反应情况.监控数据支持对接云监控进行报警.数据可对接 MaxCompute 进行数据挖掘.下游对接场景.系统层指标观测.如 CPU、内存...
来自: 云产品
专有云云盾
专有云云盾是阿里云面向大中型私有云企业用户,提供的一揽子云原生安全产品系列,覆盖主机安全、应用安全、网络安全、数据安全、运维审计等租户级和平台级安全,构建专有云纵深防御安全体系,全力保障您专有云业务的安全平稳运行,并满足合规要求。
专有云云盾涵盖网络安全(Beaver、云防火墙、Aliguard)、主机安全(安骑士)、应用安全(WAF)、数据安全(数据库审计、敏感数据保护等)、运维审计(安全审计、堡垒机等)等多层次的安全防护模块组成,在云边界、云网络中、云服务器上形成一套纵深的防御体系,多点联动,精准防御.纵深防御的安全体系架构.云盾的各安全产品...
来自: 云产品
企业级云灾备解决方案
阿里云企业级云灾备解决方案是一个为企业级应用提供云上容灾保护与备份恢复的服务。它可以支持服务器镜像、文件、应用和数据库等不同保护粒度,确保数据安全性和业务连续性。
灾备存储带冗余电源、冗余网口、RAID控制器等硬件加固功能,经阿里云公共云级压力测试,提供了安全稳定的本地灾备空间来独 立保存备份数据,并且可以根据策略加密压缩后上传至云端,实现全自动云备份。更可以配合云上服务将数据在云 上恢复,实现云灾备闭环.阿里云混合云灾备存储.阿里云企业级云灾备解决方案为企业级应用...
来自: 解决方案
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
转换规则 可以被迁移的 Navigator数据 Navigator 业务元数据,包括:标签,自定义属性,实体名称和描述,Navigator Managed元数据 Navigator技术元数据,包括:Hive,Impala,Spark,引用到的 HDFS/S3 不被迁移的 Navigator数据 Navigator审计数据,原来的 Navigator实例会变成“只读”模式,以便查到历史 信息 实体...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0,修 改 连 接 语 句 为:db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名,用户名以及密码),往 finance表中插入一条数据,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
云速搭 CADT
阿里云云速搭 CADT是一款自助式云架构管理的产品,它可提供丰富的预制应用架构模板,用户可方便的对云架构方案的成本、部署、运维、回收进行全生命周期的管理。
利用阿里云配置审计服务提供的资源数据(需先开通配置审计功能),采用交互式自动化探查应用拓扑,快速生成云上架构图,并导入为CADT应用,便于用户管理应用架构,提高运维效率.资源探查生成云上架构.CADT通过配置审计获取用户的云上资源及资源间关联关系(需用户授权确认).资源信息获取.用户勾选属于云上应用的资源,CADT...
来自: 云产品
专有宿主机DDH
专有宿主机提供基于阿里云虚拟化托管、物理主机独享的单租户环境、通过独享硬件资源方式可以满足安全、合规、自定义部署、自带许可证(BYOL)需求,在专有宿主机上可以创建多种规格的ECS实例,继承了ECS实例的规格选择灵活、性能稳定的优点和特性。
核心功能对比.查看全部日志.<查看全部产品.专有宿主机(Dedicated Host,简称DDH)是阿里云专为企业用户定制优化的解决方案。具有物理资源独享、部署更灵活、配置更丰富、性价比更高等特点。专有宿主机为单租户独享物理资源,同时宿主机上可以灵活创建ECS云服务器,并和其他ECS云服务器一样,可以挂载云盘,可以通过VPC联通...
来自: 云产品
日志服务sls
日志服务(Log Service,简称Log)是针对实时数据一站式服务,在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立DT时代海量日志处理能力。
数据库 PolarDB.推荐搭配使用.全球采集,高弹性场景.全球采集,高弹性场景.近几年直播业务逐渐成为教育,游戏,电商等行业的重点业务,而视频直播实时性的特点,往往要求平台需要具备快速排查直播异常的能力,在出现故障时可以快速定位和解决,避免出现直播事故.采集难:不同端数据格式,来源不同,难以实现统一采集.性能...
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本:20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务 、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态,增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用