大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
数据信息示例：为简化操作流程，本实践已经预打包好了数据信息发生及投递的程序包。下载数据信息发生及投递程序包。yum install-y git git clone https://best-practice:Abcd123456@codeup.aliyun.com/best- practice/bp/166.git cd 166 ll 启动程序包。文档版本：20240419 14 大数据近实时数据投递 MaxCompute 该程序包的...
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
—— 完美日记技术负责人常见问题方案规划资源计费集群开通Q：ACK 中使用容器运行应用的大致流程是什么？A：从开发代码到运行容器化应用，大致需要以下四个阶段：编写代码、使用 Dockerfile 构建镜像、上传镜像至镜像仓库、运行容器化应用。查看详情Q：ECS 服务器怎么选型？A：集群选择节点时，节点规格优先于节点数量。在...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
六稻，阿瑟 制作人 审阅人 扬流 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-02-05 毕役-创建 V1.1 2021-02-07 厉博 孟硕 修改 增加产品特性，更新初始 扬流 V1.2 2024-04-22 六稻，阿瑟 化CADT模版 I 文档版本：20240422基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 目录 目录 文档版本信息.I 法律声明...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
scp 您的日志发生器本机安装包保存路径 root@112.*.*.*:/root/本机执行 例如日志发生器本机安装包路径是/xx/nginx-log-generator-master.tar.gz，那么命 令为 scp/xx/nginx-log-generator-master.tar.gz root@112.*.*.*.*:/root tar zxvf nginx-log-generator-master.tar.gz 步骤3 启动日志发生器。文档版本：20211203 22 ...
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
提供的应用托管服务是一站式白屏化的应用生命周期管理能力和配置管理的操作，简化运维.提供从创建到运行的应用全生命周期管理服务，包括应用的创建、部署、启停、扩缩等.支持多种发布策略（分批&灰度），快速实现新版本的小规模验证，支持应用快速迭代，异常时一键回滚.一键启停开发测试环境.一键启停开发测试环境的应用，...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
传统方案是将备份集拷贝到本机其他盘、其他机器，这些都无法抵御地震、台风等自 然灾害；如果要做到异地容灾，需要用户在其他地区自行搭建备份机房，前期投入成 本很大。为了解决数据库异地灾备问题，阿里云 DBS提供多种环境的数据库备份服务，对于云 下 IDC数据库、其他云数据库、ECS自建数据库和 RDS数据库，可以将其数据...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
在衡量了投入产出比后，我们选择了阿里云 MaxCompute 作为快狗打车离线数据处理平台，不仅机器成本节约30%以上，MaxCompute 配套的调度与数据开发流程使得数据开发效率提升了100%，同时，阿里云的24小时运维服务保证了集群稳定，实现了零故障.大数据负责人 郭璐.MaxCompute承担了唱吧全部的离线计算工作。每天有近千个任务...
来自：
云产品
云速搭部署风险识别SAF
通过云速搭 CADT 实现风险识别服务的部署，并可以基于已有的应用，多次部署，方 便快捷。
云速搭部署风险识别SAF最佳实践 文档版本信息 云速搭 部署风险识别 SAF 最佳实践 文档版本：20220113（发布日期）云速搭部署风险识别SAF最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署风险识别 SAF最佳实践 文档编号 289 文档版本 V1.0 版本日期 2022-01-13 文档状态 对外发布 制作人 七凌 ...
智能语音交互
阿里云智能语音交互（Intelligent Speech Interaction），提供语音识别、语音合成、自然语言理解等基础技术，应用于智能客服、智能质检、庭审实时记录、实时演讲字幕、访谈录音转写等场景。提供自学习平台等应用工具，辅助实现语音识别效果的定制优化。语音交互产品可进行公共云和私有化部署，在金融、保险、司法、电商等多个领域均有成功应用案例。
公共服务设施（如，地铁售票），需要为残障人士等无法直接操作机器设备的用户提供语音交互，正常享用公共服务。通过智能语音交互能力在用户到达线下消费场所时，进行咨询答疑、业务引导，帮助用户获得更好的消费体验；同时提高了商家的服务效率、为商家节约人工服务成本.在嘈杂的公共环境中，为用户提供多模态语音交互方式...
来自：
云产品
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
文档编号 192 文档版本 V1.0 版本日期 2021-01-28 文档状态 对外发布 制作人 天裵、天凯、南园、潘婷 审阅人 阿瑟、七凌 文档变更记录 版本编号 日期 作者 审核人 说明 天裵、天凯、南园、V1.0 2021-01-28 阿瑟、七凌 创建 潘婷 联系我们 如果您在使用本最佳实践时遇到问题，欢迎通过钉钉扫描二维码联系我们获取进一步 帮助...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
用户可以用顺序、分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS）:行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
全面的操作审计记录所有生产变更.实时计算Flink版(开箱即用).首月 ¥99.省 ¥2061/首月.开源 Apache Flink.唐家哲,靖鑫,也树.阿里云实时计算Flink版与检索分析服务 Elasticsearch版相结合，提供全链路集群性能管控，助力企业快速定位集群问题，做出优化决策.阿里云实时计算Flink版与实时数仓Hologres相结合，构建实时数仓...
来自：
云产品
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS加速图像搜索 最佳实践 部署架构 场景描述 本方案适用于使用 RAPIDS加速平台+GPU云服务器来对图像搜索任务进行加 速的场景。相比 CPU，利用 GPU+RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。解决问题 1....54 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 剩余操作，参考之前的操作步骤。55
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
钉 钉 机 器 人 的 请 求 地 址可参考 WebHook-钉 钉 机 器 人（https://help.aliyun.com/document_detail/91785.html）进行获取。本示例以邮件 为例。步骤3 设置告警。首次使用，需要选择一个区域存放全局的相关告警等信息，该日志库的数据写入、查 询与存储免费，也可以之后切换到其他区域。文档版本：20210329 41 云上...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
混合云使用飞天 AI加速工具 最佳实践 场景描述 部署架构 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云 GPU服务实例+飞天 AI加速工 具，并采用阿里云 CPFS存储，运行 AI训 练+AI推理作业的操作步骤。解决问题 1.利用云企业网打通两个地域的 VPC，自建 Kubernetes集群 阿里云最佳实践分享群 ...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
为简化本机远程操作流程，本方案中在购买部分服务器时勾选分配公网 IP地址选项做为 临时访问方式，实际业务场景建议您使用堡垒机、VPN等方式操作，保障云上系统安全。若有数据迁移相关需求，请参考其他搬站和数据迁移相关方案。本最佳实践中使用的脚本可以使用 https://code.aliyun.com/best-practice/065.git 进行下 载。...
- 产品推荐
- 这些文档可能帮助您