通过PAI-灵骏分布式训练和部署Llama 2模型
灵骏支持业界各类流行的开源大语言模型，包括Llama2系列、Bloom系列、Falcon系列、GLM/ChatGLM系列，以及领域大模型galactica等的高效训练和部署。本方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
涉及的阿里云产品包括机器学习平台PAI、对象存储OSS。步骤包含：资源准备、模型及数据等准备、模型训练、模型离线推理及上传和模型部署这五个阶段。用户在规划好网络和资源、完成资源部署后，可通过Huggingface 或 ModelScope等社区渠道下载Llama2模型，并可在灵骏智算平台的DSW实例中，完成准备预训练数据准备；训练阶段...
来自：
技术解决方案
日志安全审计与合规性评估
日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据，确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息，帮助企业优化安全态势，确保业务连续性和数据安全。
日志审计服务覆盖基础（ActionTrail、容器服务Kubernetes版）、存储（OSS、NAS）、网络（SLB、ALB、API网关、VPC）、数据库（关系型数据库RDS、云原生分布式数据库PolarDB-X 1.0、云原生数据库PolarDB）、安全（WAF、DDoS防护、云防火墙、云安全中心）等产品，并支持自由对接其他生态产品或自有SOC中心。10元（假设您选择...
来自：
技术解决方案
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎，为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接，为AI应用场景的数据工程提供便利。
业务数据安全：阿里云向量检索服务Milvus版专注于提供高效的向量检索能力，本身并不负责存储用户的业务数据，具体业务数据安全交由阿里云对象存储OSS保证，该系统提供同城多副本冗余机制，保障业务数据正常访问。鉴权认证账号认证：管控服务接口与阿里云账号体系的集成，并且Milvus遵循基于角色的访问控制（RBAC）认证机制...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
阿里云对象存储OSS（ObjectStorageService）：是一款海量、安全、低成本、高可靠的云 存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种 存储类型供选择，全面优化存储成本。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
阿里云对象存储 OSS（Object Storage Service）：是一款海量、安全、低成本、高可靠的 云存储服务，可提供 99.9999999999%（12个 9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。阿里云消息服务 MNS（Message Service）：是一种高效、可靠、安全、便捷、可弹性扩展 文档版本：20240422 5 ...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
分布式任务调度 SchedulerX
SchedulerX 是阿里巴巴自研的基于 Akka 架构的分布式任务调度平台（兼容开源 XXL-JOB/ElasticJob/K8s Job/Spring Schedule），支持 Cron 定时、一次性任务、任务编排、分布式数据处理，具有高可用、可视化、可运维、低延时等能力。
分布式任务调度 SchedulerX SchedulerX 是阿里巴巴自研的分布式任务调度平台（兼容开源 XXL-JOB/ElasticJob/Spring Schedule/K8s Job），支持 Cron 定时、一次性任务、工作流任务编排、分布式跑批，具有高可用、可视化、低延时等能力。最新变更公告>>管理控制台 产品文档 客户交流群>产品优势产品核心功能典型应用场景产品...
来自：
云产品
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
分布式云容器平台ACKOne：是阿里云面向混合云、多集群、分布式计算、容 灾等场景推出的企业级云原生平台，ACKOne可以连接并管理您任何地域、任 何基础设施上的Kubernetes集群，并提供一致的管理和社区兼容的API，支持 对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管 控。 日志服务SLS：是云...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
云企业网CEN：云企业网（CloudEnterpriseNetwork，简称CEN）是阿里云提 供的一款能够快速构建混合云和分布式业务系统的全球网络服务，为用户提供优 质、高效、稳定的网络传输环境，帮助用户打造一张具有企业级规模和通信能力 的云上网络。适用于集团企业、全球网络等场景。 转发路由器TR（TransitRouter）：提供连接...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
阿里云账号下已开通以下阿里云服务：ￚ EHPC服务 ￚ 文件存储 NAS服务 ￚ 对象存储 OSS ￚ 云服务器 ECS ￚ 云速搭 CADT 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/230.git 其中，samplecode.sh包含了所有使用的命令。如果你是 windows主机，...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
表结构说明：步骤2 创建分布式表，分布式表本身并不存储数据，它基于本地表里面的数据，提供一个分 布式访问数据的框架，比如这里的分布式表 d_user_behavior_uv，它基于本地表 user_behavior_uv_local，选择 Distrubted表引擎，它后面的参数，依次是集群名、库 名、表名、数据分配方式。说明：创建分布式表的 SQL语句，...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
通过 MaxCompute与数据湖构建 DLF和对象存储 OSS构建湖仓一体：数据湖的 元数据（Schema）全部位于 DLF中。MaxCompute可以利用 DLF对 OSS元数 据管理能力，提升对 OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。2.通过 MaxCompute与 Hadoop构建湖仓一体：该方式包括本地机房搭建、...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
联合云企业网访问 OSS等云服务 云服务指使用阿里云云服务地址段 100.64.0.0/10 提供服务的云产品，例如对象存储（OSS）、日志服务（SLS）、数据传输服务（DTS）等。本地终端通过 SAG接入阿里 云之后，就可以通过云企业网内网访问云服务。内网访问指的是阿里云同地域产品之 间的内部通信网络。OSS是阿里云提供的对象存储服务...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
配置 OSS Bucket 步骤1 登录阿里云控制台（https://console.aliyun.com/）步骤2 通过产品与服务导航，定位到对象存储 OSS，单击进入对象存储管理控制台。步骤3 找到基于 CADT创建的 OSS bucket。步骤4 查看 OSS的 endpoint和 bucket的访问域名并记录。文档版本：20211213 27 基于 MaxCompute的大数据 BI分析 日志数据采集 ...
- 产品推荐
- 这些文档可能帮助您