自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
系统架构设计 下图为所设计的系统架构设计,主要包括数据源(两类业务数据:用户行为日志和业 务后台数据库)、日志采集、日志传输、实时计算、数据存储和同步、数据展现这几 大模块共同构成实时大数据数据仓库。注:对于DIM(维度层)的维度数据可以主要使用MySQL、HBase、Hologres三种存储 引擎。对于维表数据比较少的...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上日志集中审计
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本:20200630(发布日期)25 云上日志集中审计 WEB服务日志采集 步骤6 logtail配置:APACHE配置字段参数:LogFormat"%h%l%u%t \"%r\"%>s%b \"%{Referer}i\"文档版本:20200630(发布日期)26 云上日志集中审计 WEB服务日志采集 \"%{User-Agent}i\"%D%f%k%p%q%R%T%I%O"customized 如果是其他如 Nginx 等,配 置 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
自建ELK迁移阿里云日志服务
自建ELK迁移阿里云日志服务
场景描述 ELK Stack(Elastic/Logstash/Kibana) 通常 被用于日志实时分析, 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSec VPN  云服务器
阿里云日志服务是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里 云在研发飞天操作系统过程中用来监控+问题诊断的产物,但随着用户增长与产品发 展,慢慢开始向面向Ops(DevOps,AIOps,SecOps,FinOps)日志分析领域发 展,期间经历双十一、蚂蚁双十二、新春红包、国际业务等场景挑战,成为同时服务 国内外的...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS)
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构图 场景描述 在量化交易场景下,量化策略的构建流程一般包 括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量 据的分析和处理,如何快速、高效和低成本的进 行批量任务的调度,并快速获取结果是量化领域 遇到的普遍挑战,这也是...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
在CPFS文件 处于运行状态时,禁止对该安全组进行修改、删除等操作,否则会影响CPFS的IO业务。3.3.挂载文件系统 参考 https://help.aliyun.com/document_detail/185156.html 步骤1 查询挂载点对应的管理节点安全组信息  登录云服务器ECS控制台。 在左侧导航栏,单击网络与安全>安全组。 在安全组列表页面,在顶部...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
弹性计算OOS审批流程自动化运维最佳实践 业务架构图 场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB 为例,介绍如何利用OOS在运维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。2.运维...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
Serverless 应用引擎SAE
Serverless 应用引擎 SAE(Serverless App Engine)是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s,秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用(如 Web /微服务 /Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。
系统监控(适用于所有应用类型)提供系统级别的监控能力,如 CPU、内存、网络等.应用监控(支持 Java 和 PHP,其他语言补充中).提供面向应用的实时监控,如 QPS、RT、接口调用量、错误等;帮助您快速定位出错接口和慢接口、重现调用参数、检测内存泄漏、发现系统瓶颈,大幅提升诊断问题的效率.丰富的云产品生态,自动...
来自: 云产品
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
同城多可用区、异地容灾与数据自动备份 灵活YML/GC配置与场景化配置参数模板 20+系统插件及自定义插件灵活安装 支持上传同义词/分词,支持OSS词库动态加载 各类集群日志与云监控、高级监控的细粒度指标大盘 提供20+诊断项的健康检测,探测潜在风险 VPC访问及白名单配置,支持HTTPS访问协议 静态数据存储加密及SSL/TLS节点...
来自: 云产品
故障演练Chaos
故障演练(Chaos)是阿里云打造的云原生混沌工程平台,场景丰富、简单易用、安全可控、高效可靠,提供一站式架构分析、故障巡检等功能,帮助系统平稳上云。
演练过程实施监控系统资源,无缝对接Arms,云监控等监控系统,支持钉钉告警.支持制定保护策略,自动触发并终止演练,避免系统因演练而引发的预期外故障;支持机器、应用、集群级别的范围选择;支持固定和随机范围注入.支持主子账号和Ram权限管控,覆盖机器、应用、演练等资源;支持根据不同的namespace来进行环境隔离,比如...
来自: 云产品
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
预置近百种图表组件与十种看板模板,支持不同数据类型展示与分析,满足不同场景需求.数据与账号安全性强化.打通阿里云账号 SSO 与自建账号体系,保障数据安全同时,实现数据源与大盘的精细化管理.增强告警准确度与组织协同性.打通钉钉、飞书、企业微信等协同工具,并提供低代码事件预处理流程工具,轻松实现去重、降噪.孙...
来自: 云产品
光伏行业解决方案
光伏行业解决方案覆盖光伏生产到应用整条产业链路,通过图像识别光伏切片表面瑕疵来辅助人工决策;通过分析组建工艺优化参数;通过分析气象数据和历史功率数据,科学预测光伏发电功率。
通过对光伏电池片生产的物料数据、设备参数、MES 系统数据等的分析,识别影响电池片质量的关键因素,从而对设备参数进行优化推荐,并在产线的对比测试中不断调优,最终提升电池片质量(即提升A品率).蔡伟杰,靖鑫,也树.从生产各个环节采集的众多参数中,定位出对质量指标影响最大若干参数,并对这些参数提供下钻分析,辅助...
来自: 解决方案
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控,通过阿里云大数据处理和计算的能力,结合人工智能算法,机器学习的能力,为企业提供高效的性能评估与整定,更方便、快捷地完成回路控制性能的批量评估和整定优化工作,为企业提供最佳的控制性能优化解决方案。
同时系统支持交互式参数整定模式,用户通过自定义模型参数进行控制器整定并将整定结果同系统提供的结果相比较,从而选择最优整定参数.定制化多尺度厂级回路分析报告.根据客户的不同需求可以生成面向生产管理人员、工程师人员、系统维护人员、生产操作人员等不同目标群体的详细厂级回路分析报告并进行定期推送,以满足不同...
来自: 解决方案
中小企业基于SAG APP实现云上移动办公
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
可以在自定义的一个或多个专有网络中快速构建 DNS ,实 现 私 有 域 名 映 射 到 IP 资源地址。详见:https://www.aliyun.com/product/pvtz 文档版本:20211008 III 中小企业基于 SAG APP实现云上移动办公最佳实践 目录 目录 文档版本信息.I 法律声明.II 名词解释.III 目录.1 最佳实践概述.2 前置条件.3 1.环境构建.4 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
提供的场景编排、API 调试、流量定制、流量录制等功能,可快速创建业务压测脚本,精准模拟不同量级用户访问业务系统,帮助业务快速提升系统性能和稳定性.参与性能测试 PTS 实践训练营,快速上手如何进行容量规划与服务压测.基础版限时 59.9 元.PTS 限时促销.86A_首页banner.产品详情页二级页面锚点导航.唐家哲,靖鑫,也树....
来自: 云产品
快速接入AT命令WiFi模组解决方案
通过AT命令快速实现MCU+模组场景的快速设备改造,为用户带来更高的设备价值。
通过在既有自动监护床系统中加入AT固件WiFi模组,用户3天内完成了设备接入改造,实现了监护床角度,温度,病人是否卧床等多项参数的实时上报,和医疗管理系统打通,实现联动相应.越来越多的民用太阳逆变设备为了给用户提供更好的服务,同时统计发电情况,需要给逆变器增加远程运行状态和数据上报能力。而采用用户家中的WiFi...
来自: 解决方案
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
文档版本:2021-07-12 24 资源管理 资源目录 步骤5 在系统配置页面,参考下表示例说明,配置相关参数。配置项 说明 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明:记录下设置的登录密码,后续登录要用到。确认密码 再次输入设置的登录密码进行确认。配置完成,单击确认订单。步骤6 在确认订单页面,确认各项参数...
来自: 最佳实践 | 相关产品:资源管理
应用诊断分析平台
应用诊断分析平台ATP它可以帮助您高效定位Java应用性能问题、Java异常行为、Java内存泄漏、Java GC异常、程序崩溃等问题。
应用诊断分析平台 ATP.应用诊断分析平台...应用诊断分析平台联动ECS Workbench,支持ECS Workbench到ATP一键分析能力.Alibaba Cloud Linux是基于龙蜥操作系统(Anolis OS)打造的操作系统发行版,全面兼容RHEL/CentOS生态.标题-copy-copy.唐家哲,靖鑫,也树.查看ATP所有文档.详细的ATP分析器使用帮助.使用ATP常见的问题.
来自: 云产品
化工行业解决方案
化工行业解决方案借助工业大脑算法平台与知识图谱技术为客户建立大数据分析平台,实现:生产/控制参数优化,关键机组设备预防性维护,长输管线泄露预警,装置/全厂能源优化,产业链协同/供应链优化,产品质量预测,市场/消费者行为画像分析等。
2.轮胎质检自身难度大,系统反应滞后影响生产效率无法实现全流程监控与联动.减少漏检率和误报率.实现量化考核自动标记所有缺陷,降低复审难度,缩短时间.AI模型自动优化迭代,识别经验系统化沉淀.系统集成,实现过程控制自动化.频道页一级标题组件.谢赟辉,靖鑫,也树.唐家哲,靖鑫,也树.基于数据驱动的工业三维“超拟真”数字...
来自: 解决方案
云速搭 CADT
阿里云云速搭 CADT是一款自助式云架构管理的产品,它可提供丰富的预制应用架构模板,用户可方便的对云架构方案的成本、部署、运维、回收进行全生命周期的管理。
资源监控系统化问题定位.云速搭提供对部署资源的统一监控能力,实现对云服务统一监控和问题定位.通用icon文字列表.标题-copy-copy-copy.云速搭提供丰富的预制应用架构模板,同时也支持自助拖拽方式定义应用云上架构,显著地降低应用云上管理的难度和时间成本.提供完整可直接部署的资源配置,减少用户操作,用户可根据官方...
来自: 云产品
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用