Milan Kryl

Kryl Blog - RSS

Google: Magie stojící v pozadí

02. 12. 2004 - 00:10

Víceprezident výzkumu mluvil v Londýně k potencionálním zájemcům o práci v Google. ZDNet UK bylo u toho a přináší podrobný článek, který shrnuje všechny informace o Google dosud známé a přidává i několik dalších zajímavých detailů.

  • 8 miliard stránek v indexu, každá v průměru kolem 10 kB a vše kompletně naindexované (dohromady něco kolem 40 TB dat)
  • až 2000 počítačů v jednom clusteru
  • přes 30 clusterů
  • datový přenos v clusteru okolo 2 Gbps (každý počítač 2Mbps)
  • očekávání, že v každém velkém clusteru denně havarují 2 počítače
  • každý počítač je kvůli bezpečnosti kopírován na 50 dalších
  • od ledna 2000 žádná kompletní systémová chyba
  • GoogleFS s velikostí bloku 64MB (místo obvyklých 64kB)

Kromě zajímavých čísel a nových technologií přináší tak velký systém i nemálo problémů, které je třeba řešit. A řešit se musí za provozu, protože celý systém nelze jednoduše na chvilku vypnout a za nějakou dobu zase zapnout.

  • ladění - v reálném provozu se projevují situace, kterých v při testování nelze nikdy dosáhnout
  • chyby čtení - na tolika discích se musí počítat i s chybou, která není zachycena hardwarem
  • oprava překlepů - vlastní systém, který zabírá nezanedbatelný čas mnoha procesorů
  • napájení - typické data centrum nabízí 50 - 100 W na čtverečnou stopu. 80 středních PC, které se běžně nachází v jednom racku data centra firmy Google, má odběr přes 500 W

Na závěr víceprezident Urs Hölzle dodává: "Před nějakou dobou jsme přemýšleli, že bychom měli tlačítko 'zobraz méně komerční výsledky', ale teď se toho již firma bojí."

ZDNet UK - The magic that makes Google tick

 

Tip: Krátké zprávy a zajímavosti (rychlý přístup https://kryl.info/kratce)

Související