BatchIndexFileMeta 批量文件元信息建立索引 批量索引文件元信息，对输入的文件进行数据处理如标签识别、人脸检测、地点检测等，并将文件元信息索引到数据集内，支持多样化的数据检索。UpdateFileMeta 更新文件元数据 更新数据集内已索引的...
schema.json 索引配置文件。主要记录fields，index,attribute 和summary等信息。引擎通过该文件来加载索引。version.0 version文件。主要记录当前partition中引擎需要加载的segment和最新doc的时间戳。在实时build中，引擎会根据增量...
自治服务提供索引使用率查询功能，用户可以查询表中已经存在的索引的使用率情况，以及索引的碎片率。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，...
性能与稳定性 在RDS PostgreSQL中，单个数据库（DB）对应底层文件系统中的一个文件夹，数据库中的表、分区、索引对应文件夹中的文件，如果数据库对应文件夹中的文件数量超过2000万，将可能出现磁盘空间满的报错。建议适当拆分数据库或合并...
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
在创建CPFS文件系统后，您需要开启协议服务并创建导出目录生成挂载点，然后在ECS实例中安装CPFS-NFS客户端并执行mount命令挂载，从而实现访问CPFS文件系统。导出目录的挂载点不依赖POSIX挂载点，如果您只需要通过NFS协议访问CPFS文件系统，...
本文介绍如何为Ubuntu操作系统或CentOS操作系统安装CPFS-POSIX客户端并挂载访问CPFS文件系统。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。已添加POSIX挂载点。具体操作，请参见 添加POSIX客户端挂载点。已创建一个或多个ECS...
创建数据集（Dataset）和对象存储（OSS）Bucket的绑定关系，自动同步全量和增量文件并为其索引。接口说明 请确保在使用该接口前，已充分了解 IMM 产品的收费方式和 价格。在创建绑定关系前，请确保已经创建对应的项目和数据集。创建项目 ...
本文介绍如何为Alibaba Cloud Linux 2操作系统安装CPFS-POSIX客户端并挂载访问CPFS文件系统。背景信息 本文提及的目标ECS均指代挂载访问CPFS文件系统的计算节点。文件存储CPFS兼容POSIX接口，通过安装CPFS-POSIX客户端、挂载文件系统使用。...
数据索引是OSS对外提供的文件（Object）元数据索引能力。您可以利用Object的元数据自定义索引的条件，从而快速获取Object列表。数据索引可以帮助您更好地管理与了解数据结构，方便您后续查询、统计和管理Object。使用场景 基于数据审计或者...
如果 hadoop fs 命令可以成功运行，但是无法执行分析任务，请确认YARN等任务执行框架在安装完 文件存储 HDFS 版 文件系统SDK后进行了重启。例如：您可以执行以下命令重启YARN：${HADOOP_HOME}/sbin/stop-yarn.sh${HADOOP_HOME}/sbin/start-...
aliyun-codec插件是阿里云自主开发的索引压缩插件，可以对Elasticsearch（ES）底层多种索引文件进行压缩，同时支持source_reuse_doc_values特性。适用于写入量大、索引存储成本高的场景，例如日志场景、时序分析场景等，可以大幅降低索引的...
开启物理复制功能后，Elasticsearch主分片写入机制与原生Elasticsearch一样，既写索引文件也写translog，而副本分片只写translog以保证数据的可靠性和一致性。主分片在每次refresh时，通过网络将增量的索引文件拷贝到副本分片，在主副分片...
全部 安装、卸载 repository-hdfs Hadoop分布式文件系统HDFS（Hadoop Distributed File System）存储库插件，提供了对HDFS存储库的支持。全部 安装、卸载 sql SQL查询插件。5.5.3 安装、卸载 x-pack Elasticsearch的一个商业版扩展包，将...
安装依赖并初始化SDK。安装依赖。pip install-U aliyun-log-python-sdk 初始化SDK。from aliyun.log import LogClient from alibabacloud_credentials.client import Client as CredClient#华东 1(杭州)Region region='cn-hangzhou' # 日志...
本文介绍Curator的使用方法，包括安装Curator、单命令行接口、crontab定时执行、冷热数据分离实践以及跨节点迁移索引。安装Curator 前提条件 创建阿里云Elasticsearch实例。详情请参见 创建阿里云Elasticsearch实例。创建阿里云ECS实例，并...
安装Apple描述文件 在iOS场景下，用于将provisioning文件安装到Library。选项 说明 mobileprovision文件 用于选择mobileprovision文件。mobileprovision文件须预先设置，具体操作参见 配置证书（iOS）。安装Apple证书 在iOS场景下，用于...
配置 详细配置说明 相关文档 集群配置 配置同义词 配置垃圾回收器 配置YML文件 配置场景化模板 上传同义词文件 配置垃圾回收器 配置YML参数 修改场景化配置模板 索引管理中心配置 创建数据流 索引管理 创建及修改索引模板 数据流管理 索引...
已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，具体操作请参见 通过开源客户端访问并使用搜索索引。创建列映射 执行以下命令创建宽表和索引表的列映射：alter_external_index 'testTable','schema.json' 说明 宽表名称...
Proxima的基本模型 分为索引构建和在线检索两部分：索引构建：索引构建从原始向量数据中构建出相关索引文件，并传予在线检索模块加载使用。支持Brute Force、KD-Tree、Product Quantization、KNN Graph、LSH 等。在线检索：在线检索加载完...
已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，具体操作请参见 通过开源客户端使用搜索索引。Lindorm实例的LTS引擎为3.6.10及以上版本。查看全量数据同步任务 进入Shell访问环境，具体操作请参见 通过Lindorm Shell...
注意事项 建议使用dynamicField功能，不单独定义每个索引列，避免频繁修改 managed-schema 文件。每个索引需要有自己的配置集，不建议多个索引共享配置集。如果需要自己定义配置，请下载_indexer_default 配置集后，在此基础上进行修改。...
Lucene：修复Lucene Merge引用的DV update索引文件，被并发flush操作删除的问题。更多信息，请参见 Lucene。1.9.0内核版本发布说明 新增、优化特性 内核增强版并发查询框架重构和优化：优化并发框架，降低查询耗时。实现了内存复用，优化...
自治服务帮助用户发现RDS实例中缺失的索引信息，导出创建缺失索引的脚本文件，然后在业务低峰期自行创建这些缺失的索引，以解决前面提到的性能问题。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方...
安装Apple描述文件 在iOS场景下，用于将provisioning文件安装到Library。选项 说明 mobileprovision文件 用于选择mobileprovision文件。mobileprovision文件须预先设置，具体操作参见 配置证书（iOS）。Bash 用于运行自定义Shell脚本。选项...
安装Apple描述文件 在iOS场景下，用于将provisioning文件安装到Library。选项 说明 mobileprovision文件 用于选择mobileprovision文件。mobileprovision文件须预先设置，具体操作参见 配置证书（iOS）。安装p12证书 在iOS场景下，用于安装p...
操作流程 准备工作 创建同一专有网络下的阿里云Elasticsearch和E-MapReduce（以下简称EMR）实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。步骤一：上传ES-Hadoop...
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
同时，由于在向量索引的查询过程中，会把索引文件全部加载到系统内存，因此建议在业务查询期间，不要同时进行大批量的写入，避免因节点内存紧张导致分片重启的情况。说明 以上均为预估，以业务实际的应用情况为准，建议提前进行压测，并...
Hologres中的向量计算功能可以应用于相似度搜索、...对于不带过滤条件的向量检索，最极致的状态就是一个Shard上只有一个向量索引文件，这样查询就能直接落在一个Shard上。因此对于不带过滤条件的查询场景通常建表如下。BEGIN;CREATE TABLE ...
高级配置 使用OSS元数据索引 当OSS文件数量超过百万时，强烈建议开启，否则发现新文件的效率很低。采用OSS元数据索引后，可以在秒级内发现OSS Bucket中的新文件，实现近实时导入Bucket中新写入文件的数据。在使用OSS元数据索引前，需先在...
元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量文件建立元数据索引。注意事项 权限说明 阿里云账号默认拥有开启元数据管理功能的权限。如果您希望通过RAM用户开启元数据管理功能，需确保RAM用户...
索引表配置介绍 索引表配置是向量检索版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
索引表配置介绍 索引表配置是召回引擎版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
开通列存索引将收取文件引擎和计算引擎费用。如何开通，请参见 前提条件。列存索引的索引键必须包含所有主键列。Lindorm实例对列存索引的构建任务数无限制。索引键表达式（index_key_expression）您可以将一个列或多个列定义为索引键，由多...
IndexVideo-对视频进行自动截帧、分组、识别操作 BatchIndexFileMeta-批量文件元信息建立索引 无 GetFileMeta-获取文件元数据 GetImage-从媒体集中获取一张图片的信息 新版支持获取数据集中所有类型的文件信息。GetVideo-获取一个视频的...
由于虚拟索引实际上并不真正存在于任何物理文件中，因此hypopg保证了虚拟索引只会被一个简单的 EXPLAIN 语句（不包括 ANALYZE 选项）使用。虚拟索引并不是真实存在的索引，因此不耗费CPU、磁盘或其他资源。说明 hypopg插件支持的索引类型...
由于虚拟索引实际上并不真正存在于任何物理文件中，因此hypopg保证了虚拟索引只会被一个简单的 EXPLAIN 语句（不包括 ANALYZE 选项）使用。虚拟索引并不是真实存在的索引，因此不耗费CPU、磁盘或其他资源。说明 hypopg插件支持的索引类型...