Vertex AI 特征存储与 BigQuery

Question

我试图找出使用 GCP Vertex AI 特征存储和将预处理特征保存到 BigQuery 并在需要时加载之间的主要区别。

我仍然不明白为什么选择第一个选项，而不是第二个选项，后者似乎更容易且更容易访问。

是否有任何充分的理由在 Vertex AI 中使用特征存储，而不是以 BigQuery 表格式存储特征？

Answer 1

Vertex AI Feature Store和BigQuery，都可以用来存储你提到的特征。但 Vertex AI Feature Store 比 BigQuery 有几个优势，使其有利于存储特征。

Vertex AI Feature Store 相对于 BigQuery 的优势：

• Vertex AI Feature Store 旨在创建和管理特征存储、实体类型和特征，而 BigQuery 是一个数据仓库，您可以在其中对数据执行分析。
• Vertex AI Feature Store 可用于批量和在线存储，但 BigQuery 不是存储解决方案。
• Vertex AI Feature Store 可用于在整个组织范围内共享 BigQuery 不提供的中央存储库中的功能。
• Vertex AI Feature Store 是一种用于在线要素服务的托管解决方案，BigQuery 不支持。 欲了解更多信息，您可以查看此链接。

Answer 2

我有同样的疑问，我认为接受的答案没有解决这里的问题。首先，为什么 Bigquery 不是存储解决方案？基于此https://cloud.google.com/bigquery/docs/storage_overview#:~:text=BigQuery%20storage%20is%20a%20完全，of%20storage%20that%20you%20use。 Bigquery是一个很好的存储解决方案；它可以处理保留和冷热服务。我见过很多案例，人们认为他们不需要 bigquery，而只需要 GCS 来存储数据，并最终得到在其上创建外部表的要求。然后获得性能和数据管理方面的成果。尤其是现在，除了非常原始的数据外，大部分数据将用于分析和洞察生成。因此它们将被存储为 BQ 表。那为什么我们还需要在它上面多一层呢？特征存储提供而 BQ 表不提供的是训练数据的描述性统计和冻结时间戳。但这可以由数据科学家使用简单的 SQL 查询、Python 轻松完成，我不认为我们必须使用特征存储的关键点。别说数据工程师不关心 vertexAI，使用特征存储只会使 ML 管道的整体架构比仅使用 BQ 更复杂。 在节省成本方面，您需要支付 bigquery 的摄取成本来实现离线服务，在线服务需要额外费用，而如果对于批量 ML 管道，您可以容忍一些延迟，仅 BQ 就足够了，对于实时 ML 管道、顶点在线预测也不够快，需要使用 bigtable 进行专门的实现。说到功能共享，那就是数据共享，你可以用BQ做同样的事情。我从未见过多个机器学习应用程序使用相同的功能和相同的功能转换。如果他们需要不同的特征转换，那么为什么还要从特征存储中读取而不是从 BQ 中读取呢？话虽这么说，使用 vertexAI 特征存储只是为了帮助 Google 赚更多钱。