基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
（物理上不 同 Topic的消息分开存储，逻辑上一个 Topic的消息虽然保存于一个或多个 broker 上但用户只需指定消息的 Topic即可生产或消费数据而不必关心数据存于何处）。Partition Partition是物理上的概念，每个 Topic包含一个或多个 Partition。Producer 负责发布消息到 Kafka broker。Consumer 消息消费者，向 Kafka ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基于 Elasticsearch的订单检索加速最佳实践 业务架构 场景描述 随着企业信息化程度越来越高，核心业 务数据存储在传统关系型数据库中不可避 免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊 查询（建立普通索引完全不起作用）。虽然 数据库自身在不断完善，但效果有限且没办 法灵活扩展，...
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS，并将 NAS 文件系统挂载到 ECS 的目录上。
已开通以下服务：ￚ 专有网络 VPC ￚ 云速搭 CADT ￚ 云服务器 ECS ￚ 文件存储 NAS 文档版本：20211027 2 云速搭部署 NAS文件系统 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
开通以下服务：ￚ 云速搭 CADT ￚ 对象存储 OSS ￚ 文件存储 NAS ￚ 数据迁移服务 遇到问题，请扫钉钉二维码联系我们获取支持。文档版本：20220505 2 企业用户多账号合并之存储迁移集中部署 基础环境准备 1.基础环境准备 本章介绍如何开通产品及服务，并利用云速搭 CADT快速部署整个 demo系统。1.1.开通产品及服务 步骤1 ...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本：20240204（发布日期）基于云速搭 CADT部署药物筛选批量...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本：20211025（发布日期）15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 文 件。initMultipartUpload，uploadParts，completeMultipartUpload 函数负责处理超大文件。项目详细流程图和处理逻辑参考：https://github.com/awesome-fnf/oss-copy 步骤1 下载 oss-copy源码 cd/opt yum install-y git git...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
阿里云账号下已开通以下阿里云服务：ￚ 容器服务 ￚ 文件存储 NAS服务 ￚ 资源编排（ROS）服务 ￚ 访问控制（RAM）服务 ￚ 日志服务（SLS）ￚ 弹性伸缩服务（ESS）ￚ 文件存储 NAS服务 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/061.git 遇到...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
同时结合阿里云原生的文件存储 HDFS/对象存储 OSS等存储产品，将大数据分析作业运行在 Kubernetes集群上采用 Spark on ACK+ECI的方案架构，同时利用 Spark Operator方式做到轻松完成在计 算与存储分离架构的云原生平台上运行大数据分析作业。文档版本：20200409 2 Spark on ECI大数据分析 环境准备 1.环境准备 1.1.创建容器...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
开通如下服务：ￚ 对象存储 OSS ￚ 文件存储 NAS ￚ 云速搭 CADT 3 文档版本：20201013 数据迁移上云最佳实践 测试资源准备 1.测试资源准备 背景信息 在本章中，将以阿里云杭州地域模拟线下 IDC，使用云架构设计工具 CADT快速创建 IDC集群所需的基础资源。1.1.资源规划列表 类别 配置项 说明 杭州 VPC IPv4网段 推荐网段 ...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
详见：https://help.aliyun.com/product/61789.html NAS：阿里云文件存储（NetworkAttachedStorage，简称 NAS）是面向阿里云 ECS实例、E-HPC和容器服务等计算节点的文件存储服务。详见：https://help.aliyun.com/document_detail/27518.html III 文档版本：20191230 利用低成本链路完成业务数据迁移上云 目录 目录 文档...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys文 件中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本：20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
基因计算工作流 最佳实践 架构图 场景...阿里云账号下已开通以下阿里云服务：ￚ 容器服务 Kubernetes版 ￚ 文件存储 NAS服务 ￚ 资源编排（ROS）服务 ￚ 访问控制（RAM）服务 ￚ 日志服务（SLS）ￚ 弹性伸缩服务（ESS）ￚ 文件存储 NAS服务 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone ...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
详见 https://cn.aliyun.com/product/fc NAS: 阿里云文件存储（NAS）Network Attached Storage是一种分布式的网络文 件存储，为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
EHPC分子动力学 最佳实践 部署架构图 场景描述 本实践适用于使用弹性高性能计算 EHPC+文件存储 NAS+ECS弹性供应在阿里云上低 成本构建分子模拟 MDaaS（Molecular Dynamics as a Service）超算集群。解决问题 1.使用 EHPC运行分子动力学软件 CP2K 2.使用文件存储 NAS存储数据和代码 3.使用 ECS弹性伸缩组构建集群弹性 产品...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
1fkn_rgd.pdbqt 是受体的文件，配体文 件在 test 目录下，有 30 个：这里会计算1fkn与每一个配体的亲和度，这个例子只用来demo，并不具有实际意义。vina-ehpcarrayjob.tar.gz 这个文件可以从本方案提供的代码里获取。[root@login0~]#tar xzvf vina-ehpcarrayjob.tar.gz[root@login0~]#cd vina-ehpcarrayjob[root@login0 ...
- 产品推荐
- 这些文档可能帮助您