Zilliz社区

社区简介：  

Zilliz专注于AI非结构化数据处理和分析技术，借助异构计算提供的强劲算力和高效的AI算法，使用高维度数据和模型（特征向量、Embedding）来进行数据处理。Zilliz专注于研发基于异构众核加速的新一代数据库系统，产品和解决方案在金融、电信、医疗、智慧城市和电子商务等领域有着广泛应用前景；提供使用异构众核加速数据ETL，到加速数据仓库，再到加速AI模型训练，最后到加速数据可视化的端到端数据智能整体解决方案。

技术概要：

Milvus 向量相似度搜索引擎可以对接包括图片识别，视频处理，声音识别，自然语言处理等深度学习模型，为向量化后的非结构数据提供搜索分析服务。通过深度学习模型将非结构化数据转化为特征向量导入 Milvus 库，Milvus 对特征向量进行存储并建立索引，然后在 Milvus 中进行搜索，Milvus 将返回检索向量的相似结果。

1.   通过深度学习模型将非结构化数据转化为特征向量，并导入 Milvus 库。

2.   对特征向量进行存储并建立索引。

3.   接收到用户的向量搜索请求后，返回与输入向量相似的结果。

数据提取：按照一定的语义规则，提取文本等需要的数据内容。

模型训练与向量提取：采用 tf2.0、Transformer 结构的 Bert 的语言模型；通过微调、对数据进行二次学习和迭代训练，形成新的应用模型。然后使用训练好的模型将上述经过数据提取得到的文本内容转化成向量。

向量查询：通过比较各工具的稳定性、易用性、查询性能等多个方面，使用 Milvus 作为向量查询工具。通过模型提取出向量并将其导入 Milvus。

结构化数据：利用 ElasticSearch、Mysql 将上一个步骤得到的向量对应的结构化数据查询出来，通过后端的微服务和使用 Vue 实现的前端，将结果展现给用户。