Další odhalení firmy Google
Urs Hölzle prozradil pár dalších zajímavých informací ze zákulisí inovátorského vyhledávače Google. Na konferenci aplikačních programátorů EclipseCon mluvil o filosofii a přístupu firmy Google k vytváření nových aplikací.
Konkurenční výhody Googlu
Jak jsem již psal v minulosti, firma Google čerpá z několika výhod:
- provozování služeb na levném hardware
- GoogleFS - souborový systém odolný proti výpadkům s trojnásobnou duplikací dat (používá bloky o velikosti 64 MB)
- MapReduce - speciální technika usnadňující paralelní programování
Novinkou, o které jsem ještě nevěděl je operační systém, který Google používá. Jedná se o ořezanou distribuci Red Hat linux s upraveným kernelem. Úpravy jsou pravděpodobně důležité hlavně pro fungování souborového systému.
Zrcadlení internetu
Další zajímavou informací je rozdělování internetu na maličké kousíčky a ukládání jednotlivých serverů do datového úložiště Google. Zrcadleny jsou tak všechny stránky, které si Google stahuje do indexu svého vyhledávače.
Samozřejmostí pro vyhledávání je i existence indexu všech slov, které se na internetu vyskytují (které si Google stáhnul). A pro ukládání používají samozřejmě vlastní GmailFS.
Jednoduché paralelní programování
Další podstatnou výhodou Google je vlastní programovací framework MapReduce, který používá pro rychlý vývoj nových aplikací běžících na mnoha počítačích najednou.
V souvislosti s tím byl vytvořen i plánovač (Global Work Queue), který spouští hotové aplikace na několika počítačových systémech. Úloha je rozdělena na malé části a prováděna paralelně.
Krizové situace
Během prezentace byla ukázána fotografie, kde šest požárních vozů reaguje na stav nouze u jednoho z datových center. Kromě "To nebyl pád jednoho stroje." k tomu nebyl uveden žádný podrobnější komentář.
Elektřina jako palivo
Nakonec mluvil Urs Hölzle o spotřebě elektrické energie. Pokud vynecháme cenu zaměstnanců, vztahuje se cena jedné provedené operace úměrně k ceně elektrické energie. Elektrická energie se stává jedním z podstatných faktorů, podle kterých se hodnotí cena provozu celého datového centra. Nejde pouze o levné počítačové komponenty, ale také o provozní náklady. A ty jsou při množství statisíců počítačů znát i v elektřině.
Tip: Krátké zprávy a zajímavosti (rychlý přístup https://kryl.info/kratce)
Související
- 60 minut s Googlem (11. 01. 2005 08:11)
- Google: Magie stojící v pozadí (02. 12. 2004 00:10)
- MapReduce - paralelní výpočty odolné proti výpadkům (24. 10. 2004 22:24)