EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
提供 用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案。详 情 请 查 看 www.aliyun.com/product/emapreduce Kerberos：Kerberos是一种网络身份验证协议，它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
大数据团队通过阿里云大数据服务MaxCompute来对餐厅或零售店的进、销、存等数据进行H+1/T+1统计，并利用交互式分析Hologres满足对百亿级离线数据进行高并发、秒级的分析处理，提供近80多种不同类型的报表，包括：营业、订单、菜品、会员等报表，为店铺发展提供多维度分析透视和业务探索.58快狗大数据实时计算负责人 陶王飞...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
美甲帮的主营业务在商城方面，截至目前已经拥有百万级别的用户，积累了大量的用户数据，如何更好的服务用户并提升客户体验是美甲帮进行大数据探索的出发点.第一阶段通过DataX和Tunnel向MaxCompute同步数据.第二阶段通过内部产品打通在Data IDE进行同步和数据清洗.Data IDE进行ETL和OLAP的数据通过Quick BI进行产出报表.在...
来自：
云产品
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储，拥有丰富的产品类型，多元的存储特性，适用于自建数据库加速，快照数据保护等场景，ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力，有效提升存储性能，大大降低成本。
使用场景：在线数据库、数据分析系统.ELK 日志分析系统.ESSD PL0/1/2/3 规格.微秒级时延、高可靠、多种企业级特性.单盘容量：40~32768 GiB.最大 IOPS：100万.最大吞吐：4GB/s.使用场景：多种产品规格，满足不同负载需求.￥0.5元～4元/GB/月.高性价比的临时数据存储.高性能，容量与实例规格解耦合.单盘最大容量：64～8192 ...
来自：
云产品
智能视觉
智能视觉是一款面向线上图片和视频计算场景的AI计算产品。智能视觉（IntelligenceVision）为零算法基础的开发者和企业提供AI视觉计算能力，包括图像分类、物体检测、事件检测、视频检测、视频识别等能力，可以应用于家庭监控、明厨亮灶、智慧工地等各种场景，通过API支撑开发各类业务应用。
阿里云智能视觉产品将于2024年9月20...支持将不涉密的向量数据存入数据库，进行后续的对比搜索.支持将事件检测结果数据输出到多种类型的消息队列，方便获取分析结果.支持多种高级数据获取和分析方式.79A_标题-copy.唐家哲,靖鑫,也树.查看智能视觉产品的简介.了解智能视觉的使用流程.了解智能视觉的常见问题.79A_通用引导卡片.
来自：
云产品
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构图 场景描述 在量化交易场景下，量化策略的构建流程一般包 括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数 据的分析和处理，如何快速、高效和低成本的进 行批量任务的调度，并快速获取结果是量化领域 遇到的普遍挑战，这也是...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
具备超高性价比 强大的混合搜索 基于文本、稠密向量、稀疏向量三路进行混合检索，支持多路召回、RRF融合排序，相比单路检索效果提升20%开箱即用的语义搜索 通过Elastic Inference API灵活的注册及使用模型，无需关心模型的部署、调优及运维，使用原生语法即可搭建AI搜索链路产品功能 阿里云 Elasticsearch 广泛应用于运维可...
来自：
云产品
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
– 基因组学研究 文档版本：20210906 III 使用 FPGA云服务器加速图片和视频转码 前言 – 数据库加速 – 图片转码，例如 JPEG转 WebP – 实时视频处理，例如 H.265视频压缩 – 加解密 – 大数据过滤、大数据分析 FPGA计算型实例规格族 f1◆f1的特点如下：– I/O优化实例 – 支持 IPv6 – 仅支持 SSD云盘和高效云盘 – 采用 ...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
按量单价形式 包年包月形式 稳 适用：总算力明确，但各 定 适用：各业务稳定的 业务波动性较大，采用 业务 资源 资 包年包月场景 按量场景 源 每台/每台/数 年消费预算 年消费预算 时 月 常规业务 ecs.c5.xlarge 10 1.24 ¥108,624.00 358 ¥42,960.00（ECS）大数据业 ecs.c5.4xlarge 10 4.97 ¥435,372.00 1432 ¥171,840....
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
该公司在将在线业务系统和大数据业务从自建 IDC机房迁移到阿里云后，今年大 数据集群经历过多次因为资源不足导致弹性扩容失败的故障，运维负责人非常苦恼。由于该公司从事互联网金融的借贷业务，白天的催收非常依赖晚上大数据计算的结果，若因为资源不足导致计算结果失败则意味着白天催收业务员无事可做，会对公司业务 造成...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
- 产品推荐
- 这些文档可能帮助您