El Milagro de las 48 horas
El titulo es un poco dramático, pero la tarea realizada por nuestro equipo de IT (Mi compañero y yo) fue realmente un milagro.
Cuando ingrese a mi trabajo actual, empece a familiarizarme con la infraestructura virtual, redes y seguridad, pues, son mis áreas de especialidad. Me encontré con algunos problemas, pero el mas grave de todos era: Servidores físicos muy viejos, sin contratos de soporte activos y sin un sistema de respaldo debidamente configurado.
Ugh, pesadilla para cualquier administrador.
Presenté los informes correspondientes sobre la infraestructura y también hice las recomendaciones correspondientes, una de las cuales era la adquisición de nuevos equipos y un sistema de respaldo adecuado. Y sí, un recién ingresado ya decía que se debían cambiar los equipos. (Ya me sentía un un pie afuera de la compañía)
Veamos lo que tenía:
- Dos servidores físicos no redundantes entre sí, con el sistema de almacenamiento interno, es decir, cada servidor esa su propio clúster virtual.
- Un sistema de respaldo que solo podía almacenar un 1 TB con una compresión malisima, y aquí solo se respaldaba el AD, File Server y Base de datos.
Dejando por fuera algunos servidores que eran necesarios para continuidad del negocio.
- La mayoría de los servidores no contaban con un sistema endpoint para su protección. El pensamiento era: Behind a firewall, everything will be fine!
- Los servidores físicos contaban con conexiones de red de 1Gb la más rápida.
Y sí, con eso y otras cosas más, me encontré.
Por suerte, tuve la gran oportunidad de encontrarme un gerente de IT que entendió el problema, y sabía que era un gran problema, pero en su momento no contaba con el personal con los conocimientos en infraestructura para realizar esos cambios, y las empresas en Panamá (que él cotizo) nos sacaban los 2 ojos y un riñón en la mano de obra.
Para el siguiente año, en el presupuesto de incluyo y aprobó el cambio de la infraestructura, se venía el reto y estaba preparado. Según yo...
El cambio venía acompañado de unas condiciones, que eran:
- No podemos quedar fuera más de 15 minutos (para el correo y web).
- Se debían dimensionar los equipos para el crecimiento proyectado por la empresa. (Ajustar proyecciones de Finanzas a IT, no fue fácil, nada fácil.)
- El cambio no debía tomar más de 2 días, ya que se haría sábado y domingo.
Menudas condiciones, cuando hablamos de cambiar el "Core" de la compañía.
Se me da la oportunidad de manejar el 100% del proyecto, que era:
- Estimación de tiempos.
- Manejo del presupuesto del proyecto.
- Contacto y compras con los proveedores.
- Logística general del proyecto (transporte de equipos, configuración, etc...)
- Contingencias y demás cosas relacionadas a un proyecto.
Luego de tener todos los datos y programaciones listas, pasar por presentaciones con Presidencia y recibir el "Go" para ejecutar el cambio se venía lo bueno.
Ahora sí, vamos a lo que queremos leer, como se hizo...
Empezamos con la adquisición de los equipos con un proveedor local, debían entregar en 25 días calendario, entregaron en 30, ya íbamos mal. Y como líder del proyecto (Y único con conocimientos de infraestructura) , tocó sacrificarse para configurar y preparar los equipos antes de ir a instalarlos, eso traducido es: entrar muy temprano y salir muy tarde para recuperar el tiempo. Una vez que todos los equipos están listos, era hora de pasar a la instalación, ¡Que venga ese sábado!
Los trabajos iniciaban el sábado a las 12:00 a.m. y debían terminar el domingo antes de las 11:59 p.m.
- Iniciamos con él transporte de los equipos hacia el IDC, y cumplir toda la logística de ellos para el ingreso de nuevos equipos en sus instalaciones.
- Iniciamos la conexión de los nuevos equipos aun cuando estando en piso, ya que no había espacio para ellos en el rack, había que sacar los viejos para acomodar los nuevos.
- Una vez los equipos conectados a la red y los accesos fueron verificados era hora de mover las aplicaciones. (en este punto se coloco la alerta de sitio en mantenimiento para la página web).
- Empezamos con mover los servidores no críticos primero (para probar los nuevos equipos).
- Pasadas las primeras 12 horas, se acaba mi jornada y mi compañero llega a hacer el relevo, una breve explicación de como funcionan las herramientas que estoy utilizando para mover las virtuales, me voy a casa por unas 8 horas.
- Relevo a mi compañero de sus tareas y continuamos con el movimiento de las virtuales, es el turno de las virtuales criticas.
- Pasadas las primeras 28 horas, ya casi tenemos todo listo y se acercan los 15 minutos de poner todo fuera de linea.
- En 30 horas ya tenemos todo el ambiente productivo funcionando, pero en el piso, es hora de apagar, desmontar y montar en 15 minutos o menos.
- Mi compañero llega para ayudarme con esta tarea y procedemos, y pues, nos tardamos 30 minutos, pero vamos, eran como las 2:00 a.m. no creo que importara que nos pasáramos 15 minutos.
Una vez estuvo todo colocado en el rack, se encendió y empezamos con las pruebas de conectividad, monitoreo de recursos, prueba de aplicaciones, y la programación para los nuevos respaldos.
Y así, mi compañero y yo cambiamos todo el "Core" de la compañía en 36 horas y solo estuvimos fuera de línea 30 minutos.
Ahora, ¿que instalamos? bueno, eso es lo interesante:
- Dos servidores físicos de recursos (Para RAM y procesadores).
- Un Storage Center de gran capacidad (con redundancia incluida)
- Todo interconectado en SAS (Host y SC) y la red con interfaces de 10Gb.
- Se optimizaron todas las virtuales, donde se les aumento RAM, CPU y HDD.
Esto se transformo en mejor rendimiento, confirmado por los usuarios de Power BI, ya que decían que las consultas eran más rápidas. (Ganchito de aprobación para IT), los usuarios de contabilidad también manifestaron mejor desempeño en el software de contabilidad.
Todo esto se hizo en 36 horas, de 48 que teníamos, la administración de tiempo por nuestra parte fue genial, y el costo fue otra gema de la corona de ya que solo consumí el 75% del monto total que teníamos para ese proyecto.
(El licenciamiento es algo que te mata).
Nuestros usuarios, nunca sintieron el cambio, ya que una vez que se migraba una virtual, apagamos la vieja y encendíamos la nueva y toda la nueva info iba a parar a la recién migrada.
Al final del día, una palmadita en la espalda, un "Buen trabajo chicos" fue lo que recibimos, pero estábamos contentos ya que eso nos ayudaría a no tener tantos problemas como antes. Y gracias a esta optimización, que fue casi 1 año antes de la pandemia, hoy la mayoría de empleados de la compañía puede trabajar desde casa, ya que la infraestructura puede soportar esa carga y mucha mas! :D
¡Espero que les haya gustado!
Cualquier consulta sobre las herramientas utilizadas o cualquier otra ayuda que necesiten, me lo dejan saber.