¿Alguna vez te haz preguntado como hace YouTube para almacenar tantos videos?

Primero te mostrare una serie de imágenes con una breve descripción y luego la explicación mas completa.

Todo los archivos se suben a un disco duro como este:

• 4 TB de almacenamiento (hay discos duros de 12 TB)

A su vez ese disco duro entra en paneles como este:

• 28 discos duros entran ahí, o 56 discos duros de 2.5
• Estos paneles se llaman unidad rack
• 4x28~100TB por unidad rack

Que a su vez esos paneles o unidades rack encajan en estos cajones:

• 28 unidades rack caben en cada "armario"

Y se acumulan en lugares como éste:

• Centros de datos "server farm"

Con esta imágenes llegamos a la conclusión de que cada armario o cajon de la tercera foto hacen 2800TB de almacenamiento. Así que llegamos a un petabyte en un rack. Incluso suponiendo que tenga que hacer redundancias, lo que reducirá la capacidad de un rack en un 20%, también debe mantener la copia de seguridad separada desde el punto de vista físico, o 2 racks como este, en dos servidores diferentes para un total de 2PB de datos protegidos.

YouTube genera alrededor de 400h de videos por minuto y subiendo a medida que pasa el tiempo, lo que significa que lo es:

30 GB/h de películas (todas las resoluciones convertidas, basándose en la suposición de que todo el mundo carga un contenido de 4k) esto ofrece una increíble velocidad de 12 TB/minuto. 720 TB/h y 17 PB/día o 3 GB/h (sólo Full HD, convertida a resoluciones más bajas como siempre), lo que la reduce a 2 PB/día.

Si el porcentaje de reparto de carga de 4k aumenta a 100%, YouTube necesitará hasta 20 rack por día. Mientras Full HD siga siendo el más popular, puede "limitarse" a 3-4 rack por día.

Así que... comprarán más espacio de almacenamiento, preferiblemente creando sus propias "server farm" en todo el mundo.

La compañía planifica por adelantado los requisitos de almacenamiento previstos; y tratan de ganar suficiente dinero con sus servicios o anuncios para poder cubrir los costes.

También tienen como objetivo reducir la competencia entre los estándares de compresión y mejorar los métodos de compresión: antes había una competencia entre el vídeo flash y HTML5; ahora la competencia es entre H.264 y VP8/VP9. Esto significa que YouTube se convierte tanto a H.264 como a VP8/VP9, lo que se traduce en duplicar el espacio de almacenamiento necesario.

Por supuesto que hay un problema: los nuevos códecs suelen sacrificar la calidad para ahorrar espacio. Es por eso que cualquier plataforma de streaming, incluso con contenido 4k, ofrece una peor calidad de contenido FullHD que el disco BluRay. En el mejor de los casos, el stream 4k será tan bueno como un FullHD BluRay. Compromisos.

¿Cuánta capacidad de almacenamiento tiene YouTube?

Ilimitada, en tanto la característica principal del clouding, o "nube" es la posibilidad de escalar a las necesidades de la aplicación web o sistema que esté alojado bajo ésta. La nube no es un concepto, del otro lado se encuentra infraestructura física, pero las compañías que compiten por hostear sistemas se han convertido en oligopólicas y concentradas, con lo cual sus instalaciones de infraestructura y su capacidad de escala no tienen mayores límites. Si necesitan más, invierten en mayor infraestructura y la disponibilizan. Esto se refleja en flexibilidad para el cliente, que puede multiplicar por "x" los recursos disponibles para su sistema en poco tiempo. Las más importantes son 3, Amazon Web Services, Microsoft Azure y Google Cloud Platform.

Basicamente, si tu aplicación requiere 100 gigas de almacenamiento, puedes tenerlo, y si requieres 100 teras, también. En el caso de YouTube, apalancada en Google, o mejor dicho Alphabet, simplemente va creciendo en storage y procesamiento instalado diariamente. Se habla que cada minutos se suben 400 horas de video a YouTube. Google dispone de "Google Data Centers" o centros de datos, donde se estima, ya que no hay datos oficiales, que disponen de alrededor de 4 millones de servidores y cada día se suman nuevos. Estos centros de datos los tienen dispuestos por varios lugares del mundo, incluyendo uno en Chile. Inclusive, para ahorrar en enfriamiento (uno de los costos que incide en estas infraestructuras), patentó tecnología y puso en funcionamiento un data center flotante sobre el mar cercano a la costa de california.

Netflix, otro gigante del streaming de video, comenzó en sus primeros años con infraestructura propia, y luego migró hacia AWS (Amazon Web Services). Ahora la totalidad de su servicio está basado en AWS.

Finalmente, como dato, el "storage" o almacentamiento tiene un costo muy bajo ya que la tecnología ha crecido permitiendo un buen ratio de Gigas/USD.

¿Dónde almacena YouTube tantos videos?

YouTube utiliza el sistema de base de datos patentado de Google que llaman Bigtable.

Es el mismo sistema de base de datos que también impulsa a Google en el motor de búsqueda y muchos otros productos de Google.

Es muy estable y con un rendimiento muy eficiente. Además, se distribuye. Por lo tanto, la base de datos se almacena en miles de servidores en todo el mundo. También tiene redundancia, lo que significa que si algún servidor se cae, hay muchas copias de seguridad flotando.

YouTube sería lo más costoso en cuestión de servidores en mantener para Google.

¿Dónde y cómo almacena Youtube toda la información y archivos que subimos todos los días?

Tienes sus propios servidores dispersos en diferentes puntos del mundo, pero en su página Data center locations Google explica dónde tiene sus centros de datos:

América

• Condado de Berkeley, Carolina del Sur
• Council Bluffs, Iowa
• Condado de Douglas, Georgia
• Condado de Jackson (Alabama)
• Lenoir, Carolina del Norte
• Condado de Mayes, Oklahoma
• Condado de Montgomery (Tennessee)
• Quilicura, Chile
• The Dalles, Oregón

Asia

• Condado de Changhua, Taiwán
• Singapur

Europa

• Dublín (Irlanda)
• Eemshaven (Países Bajos)
• Hamina, Finlandia
• Saint-Ghislain, Bélgica

¿Se quedará YouTube alguna vez sin espacio de almacenamiento?

YouTube puede acumular videos siempre que la Ley de Moore pueda sostener los costos de espacio en disco.

La interpretación tradicional de la Ley de Moore se relaciona con las microarquitecturas de la CPU: "El número de transistores que puede caber en 1 cm cuadrado de placa se duplica cada 18 meses"

La memoria y el disco son componentes y podemos hacer que el espacio de almacenamiento sea más económico al empacar más bits en el mismo centímetro cuadrado del disco, como hicieron con los transistores en una CPU.

El almacenamiento que se puede comprar con 100 dólares ha crecido exponencialmente o, de manera equivalente, el costo de almacenar 1 GB de videos de gatos ha disminuido exponencialmente (Edición: esta mejora exponencial en la capacidad del disco frente a su costo también se conoce como la Ley de Kryder).

Suponiendo que las horas de video subidas a YouTube anualmente crecen linealmente, o al menos, que les lleve más un año y medio en doblarse, los videos heredados nunca dominarán los costos de almacenamiento de YouTube, y no habrá un incentivo real para comenzar a eliminar videos viejos.

Sin embargo, si la Ley de Moore se rompe para el espacio HDD / SSD en los próximos 10 años, podemos comenzar a ver ventanas de retención de contenido para las cargas de YouTube.

Para terminar te dejo un breve video en donde se muestra el centro de datos de Google (dueño de YouTube):

Fuente: Quora