优化 Milvus 集合中的数据插入效率：用最少的数据集解决延迟问题

Question

当向 Milvus 集合中插入最少的数据时，会消耗大量的时间，并且这种延迟的原因尚不清楚。您能否提供解决此问题的建议？

我的收藏详情：

fields = [FieldSchema(name='id', dtype=DataType.INT64, description='ids', max_length=200, is_primary=True, auto_id=False),
FieldSchema(name='human_id', dtype=DataType.INT64, description='human_ids', max_length=2000, is_primary=False, auto_id=False),
FieldSchema(name='human_name', dtype=DataType.VARCHAR, description='names of human classes', max_length=1000, auto_id=False),
            FieldSchema(name='vector', dtype=DataType.FLOAT_VECTOR, description='embedding vectors', dim=embedding_dimensions),]

schema = CollectionSchema(fields=fields, description='classification')
collection = Collection(name=collection_name, schema=schema)
index_params = {
 'metric_type': metric_type,
 'index_type': index_type,
 'params':  {"nlist": parameter_number}}
collection.create_index(field_name="vector", index_params=index_params)

METRIC_TYPE = "COSINE"
INDEX_TYPE = "IVF_FLAT"
PARAMETER_NUMBER = 128

collection = Collection(collection_name)
collection.insert(data)`

调整共享号码重数以提高集合管理的加载效率

Answer 1

我们这里讨论的是多少秒？您的插入批量大小如何？一般来说，TPS的瓶颈在于MQ（pulsar？）而不是milvs组件。请在 Milvus 社区分享更多信息或提出问题 https://github.com/milvus-io/milvus/issues