基于DataWorks的大数据一站式开发及数据治理
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
无框 弦望、川、场景迭代新版本发布,新 V1.1 2020-10-20 戎天、背包 增数据治理和 HIVE分析 迭代 CADT 及使用云 V1.2 2020-02-01 弦望、川 kafka V1.3 2020-02-07 弦望 注意事项更新 文档版本:20201020 I 基于 Dataworks的大数据一站式开发及数据治理 前言 前言 概述 基于 DataWorks做大数据一站式开发,包含数据实时...
来自: 最佳实践 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
名词解释 云服务器 ECS:云服务器 ECS(Elastic Compute Service)是阿里云提供的性能 卓越、稳定可靠、弹性扩展的 IaaS(Infrastructure as a Service)级别云计算 。云服务器 ECS免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气 等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
媒体处理MPS
阿里云媒体处理(ApsaraVideo for Media Processing,原MTS)是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法,将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习,对媒体的内容、文字、语音、场景多模态分析,实现智能审核、内容理解、智能编辑。
可通过API快速同已有媒资系统和内容管理系统进行对接.窄带高清技术,比普通转码节省30%的流量费用.利用视频AI能力为泛娱乐平台的数据、运营及整个内容生态赋能.82A_行业实战场景.82A_【标题】产品动态.产品动态时间线组件.82A_【标题】更多产品与服务.唐家哲,靖鑫,也树.视频直播 Live.基于先进的内容接入与分发网络和大...
来自: 云产品
云原生可观测运维解决方案
阿里云云原生可观测运维解决方案基于SLS云原生可观测平台实现,以大数据源为支撑,兼容开源标准,可实现多场景适配AI算法,进行大规模数据处理分析。是阿里云针对企业级大数据运维场景推出的解决方案,帮助企业在日常运维工作中轻松实现异常检测、根因分析、秒级响应以及实时预测。
本方案以阿里云日志服务 SLS 为核心,基于日志服务 SLS 一站式的数据采集加工查询分析可视化告警能力,并结合大数据与机器学习,为用户实现对业务系统的智能可观测.数据关联难:运维系统多,形成数据孤岛,无法关联分析.异常发现晚:系统发生异常后才去排查修复,充当救火队员.故障恢复慢:故障定位和排查没有头绪,排查...
来自: 解决方案
交通智能客服解决方案
阿里云交通智能客服解决方案帮助客户解决客诉进线率低投诉无门、问题解决时效低、工单积压量大、客户满意度低等业务问题,实现线上线下无缝衔接,逐步建成综合化、智能化、价值化的智能客服中心。
辽宁高速APP智能在线客服极大提升了服务效率,降低了人工客服培训成本,提升了客户服务满意度.通过ASR、TTS、NLP等AI技术,实现ETC投诉场景从工单自动生成,自动判决到自动通知的全链路智能服务流程.通过ASR、TTS、NLP等AI技术,实现ETC投诉场景从工单自动生成,自动判决到自动通知的全链路智能服务流程.频道页一级标题...
来自: 解决方案
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
最新产品动态洞悉前沿技术趋势洞悉前沿技术趋势获取更多阿里云产品和功能更新,加速业务创新与技术升级获取更多阿里云产品和功能更新,加速业务创新与技术升级WAF3.0日志服务功能优化日志服务支持不同防护对象配置不同投递字段,新增全量请求头部字段投递功能优化智能推荐 PAI Rec在弗吉尼亚、硅谷和香港开推荐系统开发...
来自: 云产品
CDN
阿里云内容分发网络CDN(全称Content Delivery Network)将源站内容分发至全国所有的节点,缩短用户查看资源的延迟,提高用户访问网站的响应速度与网站的可用性,解决源站带宽小、用户访问量大、网点分布不均等问题。
提供云备源、IP变更通知等关键能力,提升服务效率.提供自助化服务的控制台,同时提供OpenAPI、Terraform、可编程CDN等能力,定制加速逻辑.控制台自助接入,提供数据监控、告警、计量查询等功能,提高使用效率.DevOps运维管理.提供完备的OpenAPI,支持通过Terraform对CDN进行服务编排,实现云资源的高效运维.EdgeScript边缘...
来自: 云产品
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
服务IP:有2个地址,每个控制器上都有一个服务地址,服务IP 地址提供对每 个节点控制器上服务接口的访问权。 以太网端口IP:主要用于数据传输,iSCSI连接、主机连接和远程复制等。文档版本:20191223 11 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 2.4.初始化系统 本节介绍如何通过技术员管理端口连接SA...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
前言 前言 概述 本文简介了使用传统的 Gitlab+jenkins的组合实现持续集成,并对接阿里云的容器 ACK,实现应用的自动化部署、升级,同时满足测试与生产环境的高度隔离。本文 以第三方开源项目 Piggymetrics为例,提供了从源码编译、镜像构建、应用测试、生 产上线的全流程,同时也介绍了如何通过 ACK管理自有 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
步骤2 Tasks中添加审批的任务,需要修改的地方有:钉钉服务地址中的accessToken、钉 钉通知内容、审批人的钉钉手机号码。文档版本:20191122 9 弹性计算OOS审批流程自动化运维 配置钉钉 2.配置钉钉 2.1.钉钉简介 本方案需要使用钉钉机器人作为消息通知工具,钉钉的下载和使用可以参考以下链接。 员工使用手册:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品,覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景;通过对 MQTT、WebSocket 等协议的全面支持,连接端云之间的双向通信,实现 C2C、C2B、B2C 等业务场景之间的消息通信,可支撑千万级设备与消息并发。
采用 HTTP RESTful 标准,方便易用,快速接入,跨网络能力强,轻松实现消息的推送与事件通知.59A_更多产品与服务.59A_【标题】文档与工具.唐家哲,靖鑫,也树.云消息队列 MQTT 版产品介绍.下载 Demo,快速体验微消息队列 MQTT.云消息队列 MQTT 入门与开发指南.59A_文档与工具.59A_【标题】产品动态.产品动态时间线组件.微消息...
来自: 云产品
弹性裸金属自建ORACLE数据库双机
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造:由于历史原因,客户业务系统只支持 ORACLE数据库,客户没有技术/时间去做技术栈 改造。 2.高性能:希望拥有比虚拟机更高的性能和稳定 性,以保障数据库高性能,支撑高并发的业务系 统。 3.高可用:追求数据库服务的高可用,在某一台数 据库服务器宕机时快速切换备机,实现对业务应 用的最小影响。 4.数据安全性:极端情况下能找回数据,数据备份 和恢复更方便。
conn sys/Test112233@orcl_pd as sysdba 步骤3 在主库配置一个 TAF的 service,此服务在数据库出现故障时会发送通知给客户端,允许查询语句在故障转移发生后继续运行。begin DBMS_SERVICE.CREATE_SERVICE(service_name=>'orcldbtaf',network_name=>'orcldbtaf',aq_ha_notifications=>TRUE,failover_method=>'BASIC',...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,弹性公网IP,弹性裸金属服务器(神龙),云速搭
智能客服解决方案
智能客服解决方案依托达摩院核心自然语言理解、语音、知识图谱等技术,提供包括云呼叫中心、智能对话机器人、客服工作台等能力平台及智能语音导航、智能语音机器人、智能对话分析、智能辅助、策略中心等产品,覆盖全链路智能客服场景。
为电商平台、企业店铺、团购、零售 IT 服务商等客户提供企业服务系统智能化转型方案,覆盖店铺助理、活动通知/提醒、商品推广、冷潜客激活、老客关怀等场景,赋能电商零售客户搭建与千万用户互动沟通的桥梁.图文卡片(支持一行2、3、4).频道页一级标题组件.谢赟辉,靖鑫,也树.谢赟辉,靖鑫,也树.深圳市明源云科技有限公司....
来自: 解决方案
云效代码管理 Codeup
云效代码管理 Codeup,10万企业都在用的代码管理平台,提供代码托管、代码评审、代码扫描、质量检测、持续集成等功能,全方位保护企业代码资产,帮助企业实现安全、稳定、高效的研发管理。
基于多层风控模型监测异常行为进行事前防控,完备的 IP 白名单、安全通知、日志审计实现访问控制、安全预警及事后追溯,同时提供代码回收站功能避免意外删除代码数据造成的企业损失.完善的配置能力支持丰富的代码评审场景,自动化代码扫描提高评审效率。基于 WebIDE 的评审工具给你带来全新的评审体验.内置敏感信息检测、...
来自: 云产品
内容安全
阿里云内容安全基于深度学习技术,提供图片、视频、语音、文字、网页等多媒体的内容风险智能识别和审核服务,帮助用户发现色情、暴恐、政治敏感等风险内容,大幅度降低人工审核成本。
通过简单的配置操作完成授权,自动扫描增量上传至阿里云OSS服务中的图片、视频、音频文件,识别出风险内容并通知用户.通过一键式的配置对阿里云OSS服务中指定bucket中的图像、视频、音频文件进行一次性的风险扫描,并通知给用户.提供图片、视频、文本、语音、文档等形式内容审核API,覆盖暴恐、涉黄、广告、辱骂、不良场景...
来自: 云产品
号码隐私保护
阿里云号码隐私保护是一款基于运营商通信能力的软件产品,为用户在不插入SIM的情况下,增加手机号码作为隐私号码,隐藏真实号码。阿里通信拥有三网多平台容灾能力,号码覆盖180+地市,具有行业优势。
号码隐私保护(Phone Number Protection)是一款基于运营商通信网络能力的软件产品,企业客户根据其不同的业务场景,可以为用户或员工在不插入SIM的情况下,增加隐私号码,使其既能享受优质的通话和短信等服务,又能隐藏真实号码,保护个人及企业数据安全,客户可通过通话记录、录音等功能管控服务质量.号码隐私保护新客户...
来自: 云产品
邮件推送
邮件推送是阿里云为企业和个人提供的一款简单高效的邮件群发服务,构建在阿里云基础之上,它历经阿里双11消息群发的考验,助力企业或个人快速、精准地实现事务邮件、通知邮件和批量邮件的发送,以及业务的邮件营销,是一款高性价比的邮件营销工具。
邮件推送(DirectMail)是款简单高效的电子邮件群发服务,构建在阿里云基础之上,帮您快速、精准地实现事务邮件、通知邮件和批量邮件的发送。它历经双11考验,在发送速度、系统稳定性和到达率上表现优异;提供丰富的接口和灵活的使用方式,无需自建邮件服务器,开通即可享受阿里云优质的邮件服务,是企业做邮件营销的优选....
来自: 云产品
云原生企业级应急响应解决方案
基于ARMS构建企业级应急响应体系的最佳实践。核心步骤包括构建有效的全栈监控体系、合理配置有效的告警规则和快速接手,分析和处置告警
配置通知规则,对事件合并后再发送告警通知,减少运维人员出现通知疲劳的情况。\ 2.根据告警的紧急程度选择邮件、短信、电话、钉钉等不同的通知方式,来提醒联系人处理告警。\ 3.通过升级通知对长时间没有处理的告警进行多次提醒,保证告警及时解决。\.事件全生命周期管理.1.联系人能通过钉钉等IM平台随时处理告警。2.使用...
来自: 解决方案
云效流水线
云效流水线是一款企业级、自动化的研发交付流水线, 提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务。
完整的权限管控体系和消息触达体系 \ 完整的流水线、发布资源、阿里云服务的权限管控体系钉钉、Webhook、邮件等多种消息通知模式,打通企业协作平台 \ 流水线高度自定义、支持流水线批量管理 \ 支持自定义流水线模板、任务组,帮助企业成员快速创建流水线,流水线分组和批量升级功能,降低流水线管理成本.全面对接多种...
来自: 云产品
威胁情报
威胁情报服务是阿里云提供的安全服务,可自动对威胁指标(例如IP地址、域名和文件)进行分级、威胁信息上下文关联和数据分析,支持相关人员读取威胁情报并对其进行处置,帮助您快速评估企业中存在的威胁风险并提供处置建议。
威胁情报服务将7*24小时威胁监控工具与大数据结合使用,及时通知您有关威胁领域的最新动态,例如新兴威胁和增长中的威胁,帮助您及时制定和落地安全应对策略.支持通过控制台搜索页面进行安全性分析和风险影响评估,操作便捷。还可以将威胁情报API集成到云安全中心相关模块中,例如:主机的入侵防御、网络入侵防御或日志分析...
来自: 云产品
< 1 2 3 4 ... 19 >
共有19页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用