基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
云消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。 云服务器ECS（ElasticComputeService）：是阿里云提供的性能卓越、稳定可靠、弹性扩 展的IaaS（InfrastructureasaService）级别云计算服务。云服务器ECS免去了您采购IT 硬件的前期准备...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
apiVersion:apps/v1 kind:Deployment metadata:labels:app:jwt-demo name:jwt-demo namespace:default spec:replicas:1 selector:matchLabels:app:jwt-demo template:metadata:labels:app:jwt-demo spec:containers:env:name:private_key value:>-LwiKz79Mpc2zOm7yEi5+dB15/DPGhDwCPsqO+i9cL8JeGbXDVF/eZrbn9W8hFsLiNoNLiQG...
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
Prometheus 相关课程 Kubernetes监控公开课Vol.1-探索应用架构，发现预期外的网络流量 Kubernetes监控 Kubernetes监控公开课Vol.2-如何发现Kubernetes中服务和工作负载的异常 Kubernetes监控 Kubernetes监控公开课Vol.3-使用Kubernetes监控发现资源使用，流量分布不均匀的问题 Kubernetes监控 Kubernetes监控公开课Vol.4-...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.平台管理后台：运营人员对内容进行管理，监控并分析 APP核心业务指标。a)文章内容审核，对有争议文章进行人工审核 b)违规内容下架。c)业务指标查看。2.2.业务目标 业务部门需要实时计算出以下的核心业务指标，对每天的运营工作进行数据支撑。1.当天的实时 UV/PV。2.当天各类目的实时 PV/UV。3.当天各类目的实时曝光、点击...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
ssh app002"mkdir-p/makeDocker"ssh app003"mkdir-p/makeDocker"ssh app004"mkdir-p/makeDocker"scp/makeDocker/magento2-v1.1.tar root@app002:/makeDocker/magento2-v1.1.tar scp/makeDocker/magento2-v1.1.tar root@app003:/makeDocker/magento2-v1.1.tar scp/makeDocker/magento2-v1.1.tar root@app004:/makeDocker/...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
小迈科技是一家围绕高质量APP、用户增长和商业化变现的数字化广告公司，通过大数据技术搭建了10+应用系统来赋能业务数字化运营。但随着用户量指数级增长，业务团队对数据实时化、精细化的要求提升，大数据系统开始备受挑战。小迈科技通过引入Hologres搭建的实时数仓，支撑了百亿级的业务数据复杂多维分析秒级响应，提升了...
来自：
云产品
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX，Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
JupyterLab application directory is/conda/envs/rapids/share/jupyter/lab[W 10:20:48.259 LabApp]JupyterLab server extension not enabled,manually loading.[I 10:20:48.261 LabApp]JupyterLab extension loaded from/conda/envs/rapids/lib/python3.6/site-packages/jupyterlab[I 10:20:48.261 LabApp]JupyterLab ...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
云监控插件 勾选在 ECS节点上安装云监控插件。配置完成，单击创建集群。36 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 37 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 步骤6 阅读、同意并勾选阿里云容器服务 Kubernetes版服务条款和免责声明，并单击确 定。38 RAPIDS加速图像搜索 使用容器服务 ACK部署 ...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
audio=false 27.28.#find-window-class=SDL_app 29.30.enable-server-rate-control=Y 31.server-token-fill-interval=20000 32.server-num-token-to-fill=1 33.server-max-tokens=2 步骤4 创建 run.bat文件，输入以下内容保存。1.cd C:\gaminganywhere-0.8.0\bin 2.ga-server-event-driven.exe config/server.usf.conf 3....
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
'$.site_channelid')assite_channelid,get_json_object(message,'$.ad_type')asad_type,get_json_object(message,'$.app_id')asapp_id,get_json_object(message,'$.app_name1')asapp_name1,get_json_object(message,'$.app_name')asapp_name,get_json_object(message,'$.app_ver')asapp_ver,get_json_object(message,'$.tag...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
注意：在资源组范围内的授权只作用于资源组内，比如 app-1RAM用户被授权应用 1 组的 AdministratorAccess权限只针对资源 1组内的资源有效，app-1RAM用户无 权访问应用 1组之外的其他资源。步骤9 单击资源组应用 2 组的管理权限，新增授权，选择 RAM 用户 app-2，并赋予 AdministratorAccess权限。操作同步骤 8。步骤10 登录...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
'warn','debug','error','fatal')product=('geekSDKLog','heekSDKLog','webLog','appLog')def generate_log(count=10):f=open("/var/log/gen.log","w+")文档版本：20201020 18 基于 Dataworks的大数据一站式开发及数据治理 日志采集 while count>=1:now=int(round(time.time()*1000))cs=now-random.randint(20,50)rg=now-...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
秒级实时分析：依托 ADB计算密集型 实例，秒级监控 DAU等数据，为广告 投放效果提供有力的在线决策支撑。2.高效数据融合分析：打通结构化和非 结构化数据，支撑产品体验分析；广 告买量投放效果实时（分钟级）分 析，渠道的评估更准确。3.低成本：DLA融合冷数据分析+ADB 存储密集型温数据分析+ADB计算密 集型热数据分析，在...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
至此，两个API业务流程已经完成创建 步骤14记录API调用的Appkey和AppSecret 选择API调用>>服务管理，记录对应的Appkey和AppSecret3.DataV大屏展示 3.1.DataV创建项目 步骤1 在CADT架构图中，双击DataV图标（图中datav），在底部滑出栏点击前往控制 台。步骤2 在DataV控制台首页，单击创建PC端看板。步骤3 通过浏览器搜索...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本：20200630（发布日期）52 云上日志集中审计 日志审计示例 步骤4 通过查询 web访问日志，可以看到 APP001服务器上报的日志。文档版本：20200630（发布日期）53 云上日志集中审计 跨账号的日志采集 7.跨账号的日志采集 跨账号的日志采集，与跨 project日志迁移类似，同样可以采用数据加工的方式。在创 建数据加工...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
更多信息，请参见：www.aliyun.com/product/rds/mysql Elasticsearch：阿里云 Elasticsearch兼容开源 ELK功能，提供免运维全托管服务 的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监 控等场景服务；独有的云原生高性能内核、达摩院 NLP分词、向量检索、智能运 维、免费 X-Pack高级商业特性等...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
对结果进行可视化展示 例如用户通过手机APP购买基金，金融公司可以通过后台的大数据分析平台达到如下的 大屏分析效果：文档版本：20210803（发布日期）4阿里云最佳实践大数据WorkShop 最佳实践方案设计 文档版本：20210803（发布日期）5阿里云最佳实践大数据WorkShop 最佳实践方案设计 2.2.2.项目架构 2.2.2.1.阿里云技术...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS 支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容 文档版本：20220506（发布日期）III 云上高并发系统改造 前言 灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的 烦恼。更多信息，请参见：...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
在进行下一个步骤之前，先删除之前部署的应用：1.#helm list 2.NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION 3.piggymetrics default 1 2020-03-05 23:28:31.99822231+0800 CSTdeployed piggymetrics-0.0.1 4.#helm uninstall piggymetrics 5.release"piggymetrics"uninstalled 本文展示了将 PiggyMetrics ...
- 产品推荐
- 这些文档可能帮助您