基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
CREATE TEMPORARY VIEW output_view_temp AS select a.event_time,SUBSTRING(a.event_time,1,10)as event_date,-将 event_time 字段切分，方便后续 PV/UV聚合操作 SUBSTRING(a.event_time,12,2)as event_hour,SUBSTRING(a.event_time,15,2)as event_min,a.imei,a.device_model,d.os,d.os_version,d.device_brand,a.client_...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
步骤2 设置查询的时间范围（本例为 4小时，可以根据实际需求灵活调整），在搜索框中输入 查询代码，点击查询/分析：*and event.serviceName:OSS and event.eventName:GetBucketLocation 说明：查询代码格式为：*and event.serviceName:and event.eventName:本例中将 替换为 OSS，替换为 GetBucketLocation。步骤3 单击统计...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
event_str=json.loads(event)event_obj=json.loads(event_str)action=event_obj["action"]articleTitle=event_obj["articleTitle"]articleAuthorId=event_obj["articleAuthorId"]articleAuthorName=event_obj["articleAuthorName"]ts=event_obj["ts"]#向 Kafka发送消息 global producer producer.send('dataCollector_fun02...
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
文档版本：20200120 7 Serverless图片分类和身份证过滤 图片自动分类 2.2.Python代码解读 步骤1 函数计算的入口函数定义为 handler，OSS触发器触发的事件会通过 event传递给函 数计算，这里对 event进行 json解析，拿到 OSS bucket的 endpoint，另外从 context中拿到相关的鉴权信息。步骤2 初始化两个 bucket，原始文件上次...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
添加event_log数据投递 步骤1 event_log 通过flume投递到kafka中,查看日志是否流入，ssh登录到kafka集群 master，执行以下命令：/usr/lib/kafka-current/bin/kafka-console-consumer.sh-bootstrap-server emr-header-1:9092-topicapp1-eventlog-topic-from-beginning 文档版本：20200331 47数据湖-在线学习场景数据分析 ...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
upload_video_2_oss(event,index):evt=json.loads(event)evt=evt["events"]oss_bucket_name=evt[0]["oss"]["bucket"]["name"]object_key=evt[0]["oss"]["object"]["key"]client=AcsClient(AK_ID,AK_SECRET,REGION)input={"oss_bucket_name":oss_bucket_name,"video_key":object_key,"output_prefix":os.path.join(OUTPUT_...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
object(bucket_name,json.dumps(object))return resp.status=200 def handler(event,context):logger.info('Receive kafka whole message:'+bytes.decode(event))#Parse the json eventArray=json.loads(event)logger.info('message:'+str(eventArray[0]))ossWriter=OSSWriter(context)result=[]for ele in eventArray:...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
1.#configuration for the usf game 2.#work with ga-server-event driven 3.4.[core]5.include=common/server-common.conf 6.include=common/controller.conf 文档版本：20220211 34 轻量级 GPU部署云游戏 番外篇-街头霸王 7.include=common/video-x264.conf 8.include=common/video-x264-param.conf 9.include=common/...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
collection mongodb_collection=mongodb_db[mongodb_collection_name]def handler(event,context):evt=json.loads(event)logger=logging.getLogger()logger.info(evt)global mongodb_collection#如果是攒批消费，event 是会包含多条消息的，所以这里循环处理每条消息 for message in evt:#从 event 中获取消息的各个信息 ...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
Alertmanager configuration alerting:alertmanagers:path_prefix:/event/webhook/RAMAK_{ACCESS_KEY_ID}/{WEBHOOK_APP_ID} api_version:v2 static_configs:targets:{ALIYUN_SLS_ENDPOINT} 说明：➢ path_prefix：配置路径信息，此处配置为您在日志服务中创建开放告警服务和应用 后生成的接口信息（子路径部分）。...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
例如让通义灵码解释以下代码：defhandler(event,context):logger=logging.getLogger()value=os.environ.get('BUCKET_NAME')logger.info('BUCKET_NAME:{}'.format(value))value=os.environ.get('TABLE_NAME')文档版本：20240513 15通义灵码助力函数计算FC实现函数编写 通义灵码助力函数计算FC实现函数编写 logger.info('...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择...目前已经在线上部署了对应的 demo，运行与 ACK容器 服务之上，其中 Demo的 Log存放在 Logstore，同时也可以通过 Trace服务查看 Trace 数据，并能够通过事件中心查看 Event数据。文档版本：20210616 35
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
INDEX,ALTER,CREATE 恢复 VIEW,SHOW VIEW,CREATE ROUTINE,ALTER ROUTINE,EVENT,TRIGGER 文档版本：20210812 9 DBS通过 IPSec VPN备份自建数据库 搭建客户 IDC的 VPN网关和 Magento业务系统 文档版本：20210812 10 DBS通过 IPSec VPN备份自建数据库 创建 IPSec VPN隧道 2.创建 IPSec VPN隧道 2.1.创建杭州区域的 VPN网关 ...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
从日志里，可以快速看到 accountId在 eventTime执行了 eventName操作：文档版本：20210909（发布日期）55 云上 IT治理 Workshop 单账号管理篇#单账号管理篇#如果您的企业目前只有一个阿里云账号，可以直接使用 RAM（访问控制）来管理用户 和权限：假设企业只有轿车生产线一个阿里云账号：1.在账号中创建管理员 RAM账号，...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
如何安装 Jenkins插件，详情可以参考官方文档：https://www.jenkins.io/doc/book/managing/plugins/ 5.1.2. 配置 Gitlab hook 当 push code之后，Gitlab通过 webhook来通知 jenkins push event，所以首先需要 配置 Gitlab hook。步骤1 创建新项目。1.单击新建 Item。2.设置任务名称、选择流水线类型：文档版本：20220121 38...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
8001 for gRPC requests[2019-09-20 08:49:43.005418]localhost:8000 for HTTP requests [warn]getaddrinfo:address family for nodename not supported[evhttp_server.cc:237]RAW:Entering the event loop.2019-09-20 08:49:43.008792:I/root/perseus_model_server/tensorflow_serving/model_servers/server_core.cc:461]...
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务，支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。
5分钟部署一个微服务电商商城，领社区好礼！云原生重磅产品组合！5分钟部署一个微服务电商商城，领社区好礼！支持多种访问方式，包括控制台、API、SDK;支持接入多种应用程序，包括阿里云服务、自定义应用、合作伙伴SaaS应用（即将支持）.服务可用性 99.95%，Region 化、多可用区、分布式集群化部署，部分节点异常甚至可用区...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您