NetApp Tech OnTap
     

Kilo-Client 3G de NetApp

Desde 2006, Tech OnTap ha ido narrando la evolución de Kilo-Client de NetApp: el entorno de pruebas de ingeniería a gran escala de NetApp. Para la elaboración de este artículo, Tech OnTap le solicitó a Brad Flanary, del equipo de sistemas de asistencia de ingeniería de NetApp situado en RTP, que describiera los objetivos y las tecnologías que subyacen en la siguiente versión de esta importante e innovadora instalación. [Editor de Tech OnTap.]

Kilo-Client de NetApp® es un entorno de pruebas que permite a NetApp configurar y arrancar rápidamente un gran número de clientes físicos y/o virtuales para ejecutar pruebas con el hardware y el software de almacenamiento de NetApp. La primera versión de Kilo-Client se implementó en 2005 (tal y como se describe en un artículo anterior de TOT). Inicialmente, esa versión ofrecía 1.120 clientes físicos que se arrancaban a través de iSCSI y no desde el disco local.

A mediados de 2007, Kilo-Client había evolucionado hasta incluir 1.700 clientes físicos que podían arrancar a través de iSCSI, FC o NFS, y se podían instalar como clientes físicos con Windows® o Linux® o en entornos VMware® virtualizados. En un artículo de Tech OnTap publicado en esa época el tema central eran las técnicas usadas para provisionar rápidamente servidores físicos y entornos virtuales mediante FlexClone® de NetApp y otras tecnologías de NetApp.

Esta configuración ha resultado muy útil para NetApp (se agregaron unos cuantos servidores más desde la publicación del último artículo para permitir una virtualización intensiva) pero ahora, casi tres años después y con el período de arrendamiento del equipo de servidor original a punto de vencer, es el momento de una nueva evolución en la configuración para que incorpore las tecnologías y los desarrollos más recientes de Cloud Computing.

Este artículo se centra en la tercera generación del diseño de Kilo-Client que, una vez creado, nos permitirá:

  • Realizar pruebas con hasta 75.000 clientes virtuales al mismo tiempo (lo que hace que el nombre Kilo-Client sea cada vez menos preciso).
  • Probar una amplia gama de configuraciones de red, incluidos Ethernet de 10 GB y Fibre Channel sobre Ethernet (FCoE).
  • Instalar cientos o miles de clientes en cuestión de horas.

Comenzaremos describiendo los nuevos requisitos a los que nos enfrentamos, hablaremos de la evaluación del hardware y, a continuación, describiremos el diseño del Kilo-Client 3G, que saldrá a la luz durante la primera mitad de este año. También trataremos el diseño exclusivo de la instalación de centro de datos de NetApp donde se aloja el Kilo-Client.

Requisitos

Basándonos en las reuniones mantenidas con nuestros clientes y en las peticiones que la configuración actual no puede atender, comenzamos a hacernos una idea de lo que era necesario en la siguiente generación de Kilo-Client. Sin embargo, para estar seguros, iniciamos el proceso de actualización con una encuesta detallada de nuestros clientes existentes y de otros posibles clientes de Kilo-Client dentro de NetApp. Para ver la encuesta que utilizamos, consulte el documento que se muestra en la figura 1. Observará que algunas preguntas están orientadas hacia la virtualización porque, concretamente, queríamos conocer las necesidades de nuestros clientes que podríamos satisfacer mediante clientes virtuales en lugar de clientes físicos.

Encuesta sobre Kilo-Client y resultados.

Figura 1) Encuesta sobre Kilo-Client       
y resultados.

Estas son algunas de las principales conclusiones:

  • Podíamos prestar servicio a la mayoría de nuestros clientes mediante hardware virtual en lugar de hardware físico.
  • Existía una gran demanda de Ethernet de 10 GB.
  • Existía una demanda de FCoE en un futuro próximo (debido a que la encuesta se llevó a cabo hace algunos meses, esa demanda ya se está produciendo).

El proceso de encuesta fue de gran valor. Se confirmaron nuestras sospechas de que la mayoría de nuestros clientes podían ser atendidos mediante hardware virtual en lugar de hardware físico. No cabe duda de que esto está en línea con la tendencia actual del sector de TI hacia una virtualización y Cloud Computing mayores. También es acorde con una reciente tendencia hacia una mayor virtualización de servidores en NetApp. (En un artículo de Tech OnTap de abril de 2009 se describía la migración de físico a virtual en el laboratorio de ingeniería de NetApp en Bangalore, India.)

Evaluación del hardware

Una vez conocidos los requisitos para el nuevo Kilo-Client, el paso siguiente era evaluar el hardware de servidor. Enviamos una solicitud de propuesta a diversos proveedores de servidores a fin de obtener productos para su evaluación. Nuestro proceso de pruebas se centró en varios aspectos:

  • Compatibilidad con adaptadores de red convergentes (CNA), compatibilidad con FCoE y Ethernet de 10 GBE (para obtener más información sobre CNA, consulte este artículo reciente de Tech OnTap)
  • Compatibilidad con virtualización
  • Rendimiento
  • Posibilidad de ampliarlo o reducirlo según las necesidades

En todos los servidores se evaluó el rendimiento que podrían ofrecer desde un CNA y su grado de compatibilidad con equipos virtuales a gran escala, así como sus resultados en una serie de pruebas estándar.

No pasó mucho tiempo antes de que descubriéramos que, para nuestras necesidades, el rendimiento de los servidores basados en procesadores de microarquitectura Intel® Nehalem era notablemente mayor que el de los anteriores procesadores de microarquitectura Intel Core™ (Dunnington). Los dos modelos de servidor que seleccionamos utilizan procesadores Nehalem.

En cuanto a la red, hace poco tiempo instalamos una infraestructura Cisco Nexus en nuestro laboratorio dinámico global (GDL). Esa infraestructura de red se seguirá utilizando para satisfacer las necesidades de FCoE e IP de Kilo-Client. Se usarán switches de Brocade para Fibre Channel.

Implementación prevista de Kilo-Client 3G

Servidores

  • 468 Fujitsu RX200 S5, 48 GB, 2 CPU: procesador Intel Xeon E5520 (Nehalem) a 2,26 GHz; (procesadores de 4 núcleos y 8 subprocesos que proporcionan 8 núcleos y 16 subprocesos por sistema)
  • 160 servidores Cisco UCS (la misma configuración de procesador que Fujitsu):
    • 48 con 48 GB de memoria
    • 112 con 24 GB de memoria

En total, se dispondrá de 628 clientes con 5.024 núcleos, que reemplazarán tres pods del Kilo-Client original o 728 clientes físicos con 1.456 núcleos. Todos estos clientes pueden ejecutarse principalmente como servidores virtuales o bien instalarse como clientes físicos. Con una densidad posible de 120 equipos virtuales por servidor físico, podremos disponer de hasta 75.360 equipos virtuales de Kilo-Client.

Se conservarán los 1.000 clientes que quedan aproximadamente de la generación anterior de Kilo-Client y se continuarán usando para pruebas. Se dejarán de usar según se vaya agotando el período de arrendamiento y, después, se devolverán.

Redes

  • Básica: Nexus 7018 (16 módulos de E/S, backplane escalable hasta 15 Tbps)
  • Agregación: Nexus 5010 y 5020
  • Acceso: Nexus 2148T (FEX)
  • Fibre Channel: switches Brocade DCX Director y 5320 Edge

Almacenamiento

  • Arranque FC: 4 sistemas de almacenamiento FAS 3170 de NetApp
  • Arranque NFS: 16 sistemas de almacenamiento FAS 3170 de NetApp
  • Otros almacenamientos: selección completa de las plataformas y discos de almacenamiento de NetApp más recientes

Normalmente arrancamos 500 equipos virtuales por almacén de datos NFS. Usamos SnapMirror® para replicar las imágenes seleccionadas desde un repositorio central en cada sistema de almacenamiento de arranque según sea necesario.

Arranque de hardware físico y equipos virtuales

La verdadera clave de Kilo-Client es su capacidad para realizar arranques rápidos, flexibles y con economía de espacio. Al igual que en cualquier infraestructura cloud, tenemos que poder reorganizar rápidamente cualquier número de clientes para cualquier tarea física o virtual. Kilo-Client usa una combinación de arranque FC y FCoE para arrancar los servidores físicos, y arranque NFS para permitir el arranque de equipos virtuales en servidores configurados para ejecutar virtualización.

La elección del arranque FC para el arranque físico se debió a que demostró ser muy fiable en la infraestructura Kilo-Client existente. En la mayoría de las instalaciones de servidor grandes, un servidor físico siempre arranca la misma imagen de arranque. Podría arrancar Linux o Windows en un entorno físico o VMware ESX en un entorno virtual, pero siempre es el mismo. No ocurre lo mismo en Kilo-Client. Uno de nuestros servidores podría arrancar Linux un día, VMware el día siguiente y Windows un día después. Usamos el arranque FC en combinación con nuestra funcionalidad de clonado de LUN dinámica para arrancar los servidores físicos y virtuales de forma rápida y eficaz.

Tal y como se ha descrito en artículos anteriores, mantenemos un conjunto de imágenes de arranque seleccionadas (como LUN de Fibre Channel) para cada sistema operativo y pila de aplicaciones que usamos. Con SnapMirror® y FlexClone de NetApp, podemos reproducir rápidamente cientos de clones para cada servidor físico que se vaya a configurar para una prueba. Sólo es necesario agregar la "personalización" específica del host a la imagen central para cada servidor provisionado. Este enfoque exclusivo nos permite provisionar imágenes casi instantáneamente con un espacio físico prácticamente nulo.

El proceso de arranque de los equipos virtuales se realiza siguiendo los mismos pasos:

  • Arrancar VMware ESX en cada host de la prueba.
  • Registrar los hosts dinámicamente en VMware Virtual Center (vCenter™).
  • Preparar la configuración de red y los almacenes de datos adecuados para los equipos virtuales.
  • Usar NetApp Rapid Cloning Utility (RCU) para clonar el número y los tipos de equipos virtuales adecuados. RCU registra automáticamente los equipos virtuales en vCenter.
  • Registrar dinámicamente los servidores en DNS y DHCP, y arrancar los equipos virtuales.
  • Comprobar que todo está correcto.

Automatización completa. En los últimos años, hemos creado secuencias de comandos Perl que funcionan con las herramientas de NetApp y VMware para automatizar los pasos anteriores, de manera que podamos instalar de forma habitual entre 500 y 1.000 equipos virtuales en dos o tres horas. (Esto incluye tanto el proceso de arranque físico como el proceso de arranque de los equipos virtuales. Es diferente de otras implementaciones descritas en Tech OnTap en las que el tiempo de implementación se basa en servidores que ya están ejecutando VMware.)

Eficiencia máxima del espacio. Otro aspecto exclusivo del proceso es que, debido a que usamos FlexClone para clonar las “imágenes seleccionadas” en lugar de realizar copias, se requiere muy poco almacenamiento. Solemos instalar 500 equipos virtuales con sólo 500 GB de espacio de almacenamiento (1 GB por cliente) y podríamos usar menos espacio todavía si fuera necesario.

Con la nueva infraestructura, podremos configurar hasta 75.000 equipos virtuales para pruebas de gran tamaño. Una vez tengamos todo el hardware preparado, podremos informar sobre la velocidad con que se puede llevar a cabo. Debemos indicar que, en general, los clientes que conforman Kilo-Client están divididos en múltiples partes más pequeñas y todas ellas realizan las pruebas en paralelo.

Distribución física. El diseño de la generación anterior de Kilo-Client se basaba en “pods” que organizaban los servidores, la red y el almacenamiento de arranque. Este enfoque tenía sentido en un diseño en que el hardware estaba muy próximo y podía requerir configuración y desmontaje manuales.

Hemos rediseñado el enfoque de los pods para el nuevo Kilo-Client. El nuevo diseño concentra todas las infraestructuras de arranque en una ubicación. Ahora, los servidores y los sistemas de almacenamiento se agruparán en pods que incluyen sólo la conmutación necesaria (IP y FC) para satisfacer las necesidades del pod. Así resultará más fácil replicar los pods y ampliar o escalar el Kilo-Client en cualquier dimensión agregando para ello otro pod de ese tipo. (Es decir, podemos agregar un pod de servidores o un pod de almacenamiento, por ejemplo.) Debido a que ya no es necesaria (o deseable) la configuración y el desmontaje manuales, los nuevos pods se instalarán en cualquier lugar del centro de datos a medida que se requiera más espacio para que el propio centro de datos opere con la máxima eficiencia.

Nuestro laboratorio dinámico global

Kilo-Client está físicamente ubicado en el laboratorio dinámico global de NetApp, un nuevo e innovador centro de datos ubicado en las instalaciones de NetApp en Research Triangle Park, Carolina del Norte. Kilo-Client formará parte de la iniciativa de pruebas compartidas (STI) del departamento de ingeniería de NetApp, que proporcionará varios bancos de pruebas y se centrará especialmente en la automatización para la implementación, la ejecución de pruebas y la recopilación de resultados. La STI ayudará a conectar estos recursos a fin de compartir dinámicamente todos los recursos de nuestros laboratorios.

El laboratorio dinámico global fue diseñado teniendo en cuenta la eficiencia y la automatización. Incluye 36 salas refrigeradas, cada una con aproximadamente 60 armarios para un total de 2.136 bastidores.

Los elementos de diseño fundamentales para un centro de datos moderno, como es el laboratorio dinámico global, son:

  • Cuánta potencia puede proporcionar por bastidor: el hardware actual consume más potencia con menos espacio
  • Cuánto espacio necesita por bastidor para proporcionar una refrigeración adecuada
  • Con qué grado de eficiencia puede usar la energía: el valor de referencia actual es una eficiencia de uso de energía (PUE por sus siglas en inglés) de 2,0

Para el laboratorio dinámico global, la distribución de la potencia y la refrigeración se basa en una media de 12 kW por bastidor, con un total de 720 kW por sala refrigerada. La distribución de la potencia dentro de un bastidor es de 42 kW. Al usar nuestra exclusiva tecnología de control por presión, podemos refrigerar hasta 42 kW en un armario o tener cualquier combinación de cargas siempre que la carga de refrigeración total de una sala refrigerada no supere los 720 kW.

Para obtener la máxima eficiencia energética, el laboratorio dinámico global usa una combinación de tecnologías, entre las que se incluyen:

  • Uso de aire exterior para la refrigeración siempre que sea posible
  • Refrigeración controlada por presión que limita la energía utilizada por ventiladores y bombas
  • Temperaturas del aire elevadas (entre 21 y 27°C frente a los típicos 10 a 15,5°C) y temperaturas del agua heladas
  • Recuperación de calor residual para oficinas, etc.

Éstas y otras técnicas permiten al laboratorio dinámico global lograr una PUE anual estimada de 1,2. Esto se traduce en un ahorro de los costes de operación del laboratorio dinámico global de más de 7 millones de dólares al año respecto a una PUE de 2,0, y la reducción correspondiente de las emisiones de CO2 en 93.000 toneladas. Para obtener más información acerca de la visión de NetApp sobre la eficiencia de los centros de datos, consulte este white paper reciente.

Conclusión

La próxima generación de Kilo-Client de NetApp aprovechará todas las ventajas de lo último en hardware de servidor, tecnologías de red y hardware y software de almacenamiento de NetApp para crear un banco de pruebas flexible y automatizado para aquellas pruebas que requieran un gran número de clientes físicos o virtuales. Una vez completado, Kilo-Client podrá proporcionar más de 75.000 clientes virtuales y podrá aprovechar todas las ventajas de Gigabit Ethernet, Ethernet de 10 GB, Fibre Channel o FCoE, todas ellas end-to-end.

Aunque la próxima generación de Kilo-Client ampliará enormemente las capacidades de la versión existente, reducirá el número de servidores físicos.

 ¿Qué opina sobre Kilo-Client de NetApp?

Formule preguntas, intercambie ideas y comparta sus opiniones en las comunidades online de NetApp.

Brad Flanary

Brad Flanary
Director de ingeniería de sistemas
NetApp

Brad se incorporó a NetApp en 2006 y, actualmente, dirige un equipo de seis ingenieros responsable del centro de datos dinámicos de NetApp, el centro de datos de ingeniería de RTP y las redes de laboratorios de ingeniería globales de NetApp. Antes de incorporarse a NetApp, Brad trabajó casi siete años en Cisco Systems como especialista de conmutación LAN. En total, tiene más de 13 años de experiencia en el diseño de centros de datos y LAN de gran tamaño.

Equipo Kilo-Client

Equipo Kilo-Client
NetApp

El equipo de sistemas de asistencia de ingeniería está formado por Brandon Agee, John Haas, Aaron Carter, Greg Cox, Eric Johnston y Jonathan Davis.

 
En profundidad