Google搜索引擎体系结构-如此多的并发用户对其进行搜索

Question

随着数以百万计的用户在google，yahoo等网站上搜索了如此多的内容。服务器如何处理这么多并发搜索？我对他们如何使其具有可扩展性一无所知。任何对其架构的见识都将受到欢迎。

Answer 1

一个元素，DNS load balancing。

[google架构上有很多资源，此站点有一个不错的列表：

• http://highscalability.com/google-architecture

Answer 2

DNS负载平衡是正确的，但实际上并不是该问题的完整答案。 Google使用了多种技术，包括但不限于以下技术：

• DNS负载平衡（建议）
• 群集-根据建议，但请注意以下几点
  • 集群数据库（数据库的存储和检索分布在许多机器上）
  • 群集的Web服务（类似于此处的DNSLB）
  • 内部开发的群集/分布式归档系统
• 高度优化的搜索索引和算法，可提高存储效率并在整个集群中快速检索
• 缓存请求（squid），响应（squid），数据库（在内存中，请参阅上面文章中的分片）

Answer 3

我最近一直在搜索有关此主题的信息，Wikipedia's Google Platform article是有关Google运作方式的最佳信息来源。但是，High Scalability博客几乎每天都有关于可伸缩性的出色文章。一定也要检查一下他们的Google architecture article。

Answer 4

[在大多数高度可扩展的应用程序中，主要概念是clustering。

一些有关不同搜索引擎的群集体系结构的资源。

• http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/googlecluster-ieee.pdf
• https://opencirrus.org/system/files/OpenCirrusHadoop2009.ppt

您还可以在Google Research和Yahoo Research上阅读有趣的研究文章。