Es increible la cantidad de datos que Google tiene de nosotros. Sabe nuestros nombres y lo que pensamos (blogger), sabe dónde estamos en cada momento ( Google Latitude), lo que nos interesa(Goooooogle), lo que compramos, lo que vendemos, lee nuestros mails y guarda los datos de nuestros trabajos/empresas (Google Docs). A medida que pasa el tiempo la conspiranoia suma y somos más vulnerables ante él. Ahora… dónde guarda todos estos datos?. (:-D)
Google no usa servidores convencionales, tiene clones armados por ellos unidos en un G-Cluster dónde almacena toooooodo. Ahora… lo loco no es esta minimalista y a la vez gigante forma de servidor sino como almacena los datos dentro de ella. Llegamos a… «The Big Table». Que es esto?, es el GFS (Google File System). G tiene su propio sistema de archivo. Esto encontré en la Wiki:
BigTable es un motor de bases de datos creado por Google con las características de ser: distribuido, de alta eficiencia y propietario. Está construído sobre GFS (Google File System), Chubby Lock Service, y algunos otros servicios y programas de Google, y funciona sobre ‘commodity hardware’ (sencillos y baratos PCs con procesadores Intel).
BigTable comenzó a ser desarrollado a principios de 2004.
BigTable almacena la información en tablas multidimensionales cuyas celdas están, en su mayoría, sin utilizar. Además, estas celdas disponen de versiones temporales de sus valores, con lo que se puede hacer un seguimiento de los valores que han tomado históricamente.
Para poder manejar la información, las tablas se dividen por columnas, y son almacenadas como ‘tabletas’ de unos 100-200 Mbytes cada una. Cada máquina almacena 100 tabletas, mediante el sistema ‘Google File System’. La disposición permite un sistema de balanceo de carga (si una tableta está recibiendo un montón de peticiones, la máquina puede desprenderse del resto de las tabletas o trasladar la tableta en cuestión a otra máquina) y una rápida recomposición del sistema si una máquina ‘se cae’.
Me encantó!. Muy muy sencillo, eficiente y práctico. The Big table es un modelo no relacional (NO SQL) y almacena la información de la forma Clave->Valor (Casi como el wrt de Nokia. Chan! [comparación burda Jojo!]).
La verdad… no esperaba otra cosa. Demasiado excéntrico pero funcional.
Les dejo un video del datacenter. Está en inglés pero explica bien los sistemas de refrigeración y el «cómo» de todo.
Acá como es una Clon de estos que forman el cluster.
Fuentes:
http://es.wikipedia.org/wiki/BigTable
Para seguir investigando:
http://es.wikipedia.org/wiki/Apache_Cassandra