HDA-NAS: Hardware

hda

Buenas, queridos mediavidensis,

Según recomendación de @lecherito me he lanzado a desarrollar un diario, seguimiento de la idea y creación del que será mi NAS personal y para largo plazo. Algo parecido a estos hilos [1], [2], [3]. Desglosaré este viaje en diferentes hilos y subforos. El objetivo es dejar registrados los pasos que voy siguiendo de modo que me sirva en un futuro, pero también para que sirva como punto de interés por si otras personas se atreven a lanzarse. También es mi idea ir presentando diferentes dudas que tengo y pediros recomendaciones. Este hilo trata sobre el hardware para el NAS.

Nota

Antes de continuar, debo comentar que no soy ningún experto a bajo nivel en la materia. Tengo nociones de cómo funcionan las cosas, pero no soy profesional de esto ni de coña. Es más, mi trasfondo es de programador y de físico, por lo que comprendo por un lado un poco sobre la lógica formal de las cosas y por otra sobre el funcionamiento tangible de los objetos. La parte del entendimiento tecnológico fundamental le corresponde a un ingeniero informático reglado, para mí todo esto solo es entretenimiento.

Varios de los pasos que comentaré en este y los otros hilos de la serie requieren de conocimientos de hardware, de administración de sistemas, de securización y de backend. Soy un novato en el asunto pero me gusta aprehender. Lo que quiero decir con esto es que lo que comparto puede estar errado. Por favor, si encontráis algún error de contenido o forma, hacédmelo saber.

1 - Índice

  1. Índice
  2. ¿Qué es un NAS?, ¿por qué un NAS?
  3. La motivación
  4. Hardware
    1. Algunas consideraciones
  5. Discos Duros
    1. El tamaño
    2. El modelo
    3. El formato
    4. La RAID
    5. SHR
  6. Instalación del NAS
    1. Chequeo de los discos duros: 1º FASE
    2. Chequeo de los discos duros: 2º y 3º FASE
    3. Instalación de la ampliación de RAM
    4. Instalación del M.2 SSD Caché
  7. Palabras finales
    1. Para el futuro
    2. ¡Continúa con la serie!

2 - ¿Qué es un NAS?, ¿por qué un NAS?

La palabra NAS viene de Network Attached Storage, es decir, espacio [de datos] conectado por red. En principio los NAS están ideados como servidores de datos de carácter general. En entornos caseros se usan mucho como servidores multimedia aunque también como lugares donde salvaguardar datos. Tal es mi objetivo primordial: tener absolutamente toda mi unidad de datos reflejada en el NAS, además de crearme mi propia nube privada. Adicionalmente, me interesa disponer de una unidad de red entre todos mis dispositivos. Por último, lo utilizaré para proyectos personales como servidor personal y para jugar con Docker.

Mi propósito es el de montar un lugar seguro para mis datos a medio y largo plazo. A este respecto las nubes propietarias pueden ser complementarias pero insuficientes: aunque hay compañías que lo ofrecen, lo habitual no es tener nubes de varios Tb de datos a nivel usuario. He barajado la idea de backblaze.com, que ofrece estas características y un cifrado punto a punto por un precio asequible, no lo descarto, pero prefiero tener el control físico sobre mis datos. Lo ideal es seguir el precepto conocido como 3, 2, 1: tener tres copias de los datos, dos en un mismo sitio físico (ordenador+NAS) y una en otro lugar (segundo NAS, por ejemplo). De este modo, en el hipotético, remoto caso de que mi casa saliese ardiendo y por ende y por desgracia perdiese mi PC y mi NAS, seguiría teniendo una copia en algún otro lado. Por lo pronto, en lo que respecta a esta serie de hilos, montaré solo este primer NAS.

3 - La motivación

Hace un mes tuve la desgracia de perder 5.5 Tb de datos. Por suerte conservo en copias de seguridad un 95% de los más sensibles e importantes, tales como mi tesis doctoral, los cursos de la carrera, mis libros terminados y en proceso, varios proyectos de código, etc. Sin embargo, he perdido todo lo "no importante", que ha sido mucho. Ahora que está perdido uno piensa y evalúa aquello que considera "importante".

Por ejemplo, he perdido todos los programas de Podcast que hice allá en 2007 para la escena española del Counter Strike Source del momento [4], así como todas las fotografías de los torneos en los que he competido. Además, he perdido todo el vault de las fotografías hechas con mi cámara digital, audios del 2002, archivos que venían del 486 de mi niñez, toda la carpeta del FP de DAI (2007-09), y un muy largo etcétera. Lo dicho, al desvanecerse todo esto uno evalúa de otro modo qué considera como "datos importantes". Solo me consuela el pensar que no tardaré en olvidarme de lo desaparecido [5].

Cabe resaltar que en 2008 tuve una pérdida similar de 400 Gb (que al cambio serían los 5.5 Tb de hoy, supongo). La historia de esta pérdida, que ya no siento tan profundamente gracias a mi memoria, tiene su "gracia":

Historieta
Nota

Durante el desarrollo de este post, aún sin terminar de montar el NAS, uno de los discos duros de 500 Gb en donde guardaba bastante copia de seguridad ha petado. ¿Cuál es la puta maldita probabilidad de que pase esto? Por el ruido es el cabezal atascado estimo que la reparación irá desde los 150€+ hasta el infinito para intentar arreglarlo. Por suerte, los datos que entrañaba no son tan valiosos como para pedir una reparación. Pero putada es.

4 - Hardware

Después de estar dándole vueltas al asunto con detenida calma, me he decantado por una solución propietaria. Pese a que mis capacidades técnicas me permiten montar un ordenador destinado a NAS he considerado oportuno comprar un Synology, ya no solo por la conveniencia física del aparato sino por la lógica: el software que ofrece Synology tiene muy buenas críticas. Pretendo integrarme enteramente en su ecosistema.

  • NAS: Synology 920+ [Az][Vendedor]
  • RAM (ampliación): Crucial 4 Gb (CT4G4SFS8266) [Az][Vendedor]
  • SSD M.2: Samsung 960 EVO 500 Gb (MZ-V6E500) [Az][Vendedor]
  • SAI: CyberPower 1000VA 8AC 600W (BR1000ELCD) [Az][Vendedor]
  • HDD: 4 × Toshiba 16 TB (MG08ACA16TE) [Az][Vendedor]

4.1 - Algunas consideraciones:

Después de analizar bastante mi caso de uso elegí el Synology 920+ [especificaciones] por tener cuatro bahías y un procesador suficiente pero no excesivo. Debo hacer notar que el NAS lo pretendo para copia de seguridad y levantar algunos servicios. No tengo interés, en principio, en montarme una estación multimedia. No obstante, cabe destacar por lo que he ido leyendo sobre este modelo que es más que suficiente para servir vídeo por DLNA y correr Plex, aunque puede ir algo corto en transcoding 4k vía software.

El procesador que monta el 920+ es un Intel Celeron J4125 [especificaciones], 2.0-2.7 GHz con 4MB de caché y 10 W de TDP. Este NAS consume poco y es muy silencioso, además integra motor de cifrado por hardware (conjunto de instrucciones AES-NI), que reduce con mucho el impacto en E/S para carpetas cifradas [7], [8]. Como contrapartida, el procesa pagina un máximo de 8 Gb de RAM. El Synology 920+ viene de fábrica con 4 Gb soldados en placa y una única bahía adicional libre.

Por internet se puede encontrar a gente que ha instalado el módulo adicional con 16 Gb para un total de 20 Gb. Sin embargo, en las propias especificaciones del procesador indica que el máximo son 8 Gb. Existen, asimismo en internet, reportes de usuarios con problemas de estabilidad por haber montado en el zócalo un módulo de 16 Gb. Así que he sido conservador y me hecho con únicamente 4 Gb adicionales de Crucial. Si bien, aunque en el hardware compatible certificado de Synology no aparece este módulo de RAM concreto, en la propia página de Crucial del componente sí lo indica. Con el SSD M.2 sucede que no aparece como compatible para el 920+ pero sí para el 918+. La gente reporta que no tiene problemas con este modelo de M.2 en el 920+, yo hasta el momento tampoco he tenido ninguno.

Acerca de los discos duros M.2 que permite montar el Synology 920+ se debe decir que son para caché, exclusivamente. Tiene dos bahías M.2 para tal fin. Si se pretende una memoria caché de lectura es necesario al menos un disco, con 500 Gb sobra. Si se desea lectoescritura son necesario dos discos M.2 para montar RAID 1 entre ellos, más sobre los sitemas RAID luego. La razón de esta RAID 1 se debe al interés de mantener la integridad de los datos en la caché que luego será copiada en los discos mecánicos del NAS. Hay que pensar el tema de los M.2 para caché con calma; la mejora puede ser sustancial, en efecto, pero siempre dependiendo del caso de uso. Para mí no representa ventaja una memoria rápida de lectoescritura, aunque sí he pensado oportuno tener una caché de lectura tanto para navegar con más soltura por el disco como para agilizar las peticiones recurrentes contra mis servicios. Dudo de que en la mayoría de los casos domiciliarios estas memorias caché sean necesarias.

Sobre el SAI no hay mucho que añadir, me decanté por uno con suficientes buenas referencias dentro de la lista de componentes compatibles. Me importaba que pudiese tirar al menos dos horas con la carga del NAS, del ONT y el router. Hice un cálculo burdo y aproximado de pontecia: 20 W del NAS + 4 * 5 W de los hdd + 20 W del router = 60 W, pongámosle 100 W, debería dar sobradamente para cubrir 6 horas el rig. Además, aprovecho los puertos del SAI sin batería para interponerlos ante mi workstation. He de añadir que me ha sorprendido gratamente la integración del SAI con DSM 7, el OS de Synology, por USB. He configurado el NAS para que se apague automáticamente si la batería del SAI está por debajo del 10% y descargándose. También lo he configurado para que se levante automáticamente cuando se recupere la alimentación.

Sobre el tema de los discos duros, como me he metido con esto en profundidad, le haré su propia sección.

5 - Discos Duros

Ahora sí viene la chicha, ¡qué discos duros escoger! Me he pasado largas horas analizando y decidiendo y descartando. Plasmo el resultado de forma secuencial por características. Empezaré por 1 - El tamaño, para luego pasar a elegir 2 - El modelo, después 3 - El formato y terminaré hablando de 4 - La RAID.

5.1 - El tamaño

Por supuesto que los discos duros son el apartado más importante de un NAS, así que me he dedicado con fruición a refrescar sus entresijos para escoger la mejor de las opciones para mi caso de uso. Comenzaré por el tamaño: 4 × 16 Tb para un total de 64 Tb. Puede parecer mucho, pero dado que pienso montar un raid con dos discos de redundancia (más sobre esto luego), en realidad son 32 Tb disponibles. Para un uso común, domiciliario como digo, este volumen puede seguir pareciendo alto, sobre todo si no pretendo un servidor multimedia como he indicado antes. Así que justificaré tales dimensiones:

He perdido 5.5 Tb de datos. Estos datos fueron registrados/creados desde 2008 hasta 2022. Si la tendencia fuese lineal en 2036 dispondría de 11 Tb. Pero todos sabemos que la tendencia no es para nada lineal, sino más bien exponencial (cfr. Imagen 2). Baste con recordar que el tamaño de las fotografías JPG hace una década raramente excedía los 300 Kb, y hoy rondan hasta la decena de Mb. La creación y conservación de datos terminará siendo un problema de recursos y energía, pero eso es otra historia que merece otro hilo. Si nos paramos un momento a estimarla no es descabellado pensar en una tasa de crecimiento instantánea de 0.4-0.5 anual, bastante conservadora según la Imagen 2.

Para calcular burdamente mi uso de datos a 10 años vista, tendré en cuenta que si he creado 5.5 Tb de datos en los últimos 14 suponen linealmente unos 400 Gb anuales. Si ahora calculamos la función exponencial con estos 400 Gb y la tasa de crecimiento entre 0.4 y 0.5... en los próximos 10 años podría aproximar mi creación de datos entre 22 y 60 Tb. Así que una configuración de 32 Tb, expandible en el Synology 920+ a través de e-Sata por un DAS (almacenamiento de conexión directa o Direct Attached Storage en inglés, un conjunto de discos duros), no es un mal lugar donde empezar.

Imagen 2. Tendencia de la dataesfera global. Seagate [9]

Tal como he establecido con anterioridad, pretendo montar una copia reflejo de mi disco duro de datos, pero también deseo montar una nube privada virtual tanto para mí como para mi pareja. Seguiré usando nubes propietarias para continuar guardando lo sensible y lo que deba ser compartido intra-empresa. Me gustaría no tener que volver a tocar Dropbox de forma personal y cotidiana. De hecho, las limitaciones de espacio y de número de dispositivos vinculados de Dropbox son bastante malas de un tiempo a esta parte, además de que me parece un software muy intrusivo. Por último, tanto Dropbox como GDrive como OneDrive realizan escaneos sobre los datos que sus usuarios alojan en la nube. No tengo nada que esconder, pero la privacidad es un hito. A este respecto, es posible que me monte mi propio GitLab.

5.2 - El modelo

Estuve informándome largo sobre qué discos duros adquirir. En principio, la opción más segura era la opción NAS (red) de Wenster Digital. También SeaGate NAS (Ironwolf) me llamaba. Debía llegar a un acuerdo entre el coste de los discos y la fiabilidad de los mismos. Lo que hice fue lo siguiente:

  • Gracias a diskprices.com listé los precios de los discos en Az y me fijé en el precio por Tb
  • De los discos que me suscitasen interés busqué su compatibilidad certificada o probada con el Synology
  • De los discos filtrados de este modo busqué información y referencias

Si bien quería ceñirme a los discos duros de NAS por su fiabilidad y bajo nivel de ruido, finalmente el precio tuvo peso. Los discos duros que escogí fueron los Toshiba MG08ACA16T de 16 TB. Estos discos no están en la lista de hardware compatible con Synology 920+ pero sí en la lista del 918+. En foros, la gente reportaba su buen funcionamiento, aunque cuando los instalas sale un disclaimer de Synology advirtiendo que estos modelos no han sido testados en el 920+.

Acerca de la información y referencias, entre otras muchas cosas me fijé la tasa de errores reportados por discos y modelos aquí, lo que me ayudó a decantarme por Toshiba, con una relación de fallo anualizado del 0.91%, segunda posición en esa lista de 24 modelos de alta fiabilidad. Me fijé asimismo en que no fueran SMR [10], una implementación tecnológica interesante pero no apropiada para NAS y RAID.

Sobre el disco debo decir que está compuesto de 9 platos sellados en helio a 7200 revoluciones por minuto. Este sellado en helio le permite operar a esta velocidad sin problemas de calentamiento con el rozamiento del aire. Además, incorpora sensores de rotación y, si no recuerdo mal, está recomendado para racks de hasta 10 discos duros. Esto es curioso, porque no había pensado yo nunca en la suma constructiva de las vibraciones entre discos duros adyacentes (fenómenos de resonancia) que podrían poner en peligro la integridad o la facilidad de acceso a la información.

La baja tasa de vibración y de calor lo convierte en un disco suficientemente silencioso. La versión del disco que he elegido es la SATA, existiendo también una versión SAS (ergo de mayor transferencia), porque es el interfaz del Synology 920+. Por último, los sectores físicos de este disco son 512e y no los más modernos 4k [11]; es un mal menor para poder disfrutar de sus prestaciones a este precio tan bueno. He de añadir que son discos duros para servidores, no específicamente para NAS. No son totalmente silenciosos, sino que emiten un ruido tipo pedregoso y ligero, rítmico cada 2 segundos. En mi condición no supone problema.

5.3 - El formato

Una de las cosas que más me ha sorprendido al aventurarme a este proyecto es el descubrir sobre la existencia de BTRFS, que por descontado muchos conoceréis. Siendo mi trasfondo no de sistemas, me ha parecido una delicia. BTRFS es un sistema de formato de archivos desarrollado por Oracle muy, muy interesante. Los sistemas a los que estamos acostumbrados suelen ser extFAT, NTFS o EXT4, por ejemplo. Estos funcionan mediante tablas que relacionan los archivos en el disco/partición (y su jerarquía) con su dirección física en el disco duro (sector) (cfr. Imagen 3), en sistemas de archivos de Windows (NTFS, Fat...) se usa mft, en sistemas de archivos de Unix (EXT...), inode.

Imagen 3. Esquema de tablas con la relación de archivos en NTFS (izquierda) y EXT (derecha). Imagen adaptada de ntfs.com y Wikipedia.

Tanto en mft como en inode, cuando se crea un archivo se guarda su nombre, su jerarquía en y se registra dónde los datos almacenados comienzan físicamente en el disco (sector). Al editar un archivo y guardarlo, este enlace entre el nombre del archivo en la tabla y su dirección física en el disco duro se cambia: ahora el archivo apunta a esta otra dirección. El espacio antiguo del disco se marca como disponible para escritura. En esto radica la posibilidad de poder recuperar archivos borrados siempre y cuando su dirección física no haya sido reasignada a nuevos datos, escaneando la superficie del disco. Podríamos charlar sobre lo que es el tamaño de sector y de lo que significa la fragmentación, etc., pero eso sería desviarnos del tema.

Imagen 4. Esquema BTRF en disco [12]

Lo que BTRFS viene a traernos, en contraste, es un sistema incremental de cambios en los archivos. ¿Qué quiere decir esto? Que yo guardo un archivo hoy, mañana lo edito y lo vuelvo a guardar, y lo que ocurre es que se crea un nuevo apunte en el disco indicando qué ha cambiado sobre la información que había guardado ayer. Es decir, en contraste con los sistemas usuales donde se guardaría enteramente el archivo editado en un nuevo espacio de memoria, con BTRFS lo que hacemos es registrar los cambios sobre lo que había guardado (cfr. Imagen 4). Esto supone una mejora sustancial, porque podemos reconstruir en el tiempo las diferentes versiones (deltas) de un archivo. Además, para cada apunte sobre un archivo o sus actualizaciones, podemos disponer de un checksum y así comprobar la integridad de la información/modificaciones en el tiempo, lo que otorga un control sobre posibles bitflips y degradaciones de memoria [13], [14].

5.4 - La RAID

¿Qué es un RAID? Grosso modo un sistema RAID es un tipo de arreglo de configuración entre los discos duros. Las siglas atienden a Redundant Array of Independent Disks, es decir un grupo redundante de discos duros independientes. Dependiendo del objetivo, existen varias formas estándar de RAID, siendo las más famosas, RAID 0, RAID 1, y RAID 5. Para comprender bien de lo que estamos hablando haré una muy breve explicación sobre estas configuraciones.

Imagen 5. Esquemas de RAID 0, RAID 1 y RAID 5, respectivamente. Imagen adaptada de Wikipedia

  • RAID 0: suma directa de dos o más discos duros. Nótese cómo las partes de información de un mismo archivo se reparten indistintamente entre los discos (cfr. Imagen 5, izquierda). Tiene la ventaja de que la lectoescritura es la suma aritmética de las velocidades de los discos. El tamaño del conjunto es la suma del tamaño de los discos. Como desventaja tiene que no hay redundancia de datos: si falla un disco se pierde toda la información, que es lo que me sucedió a mí (cfr. #motivacion) y de aquellos barros estos lodos.
  • RAID 1: copia reflejo de un disco en al menos otro disco (cfr. Imagen 5, centro). La información es duplicada por el número de discos del sistema, así que si falla un disco existe respaldo en el otro. Tiene la ventaja de que la lectura es tantas veces rápida como el número de discos del conjunto, pero la escritura es la misma que un solo disco. Además, el tamaño del conjunto es igual al disco de menor tamaño del conjunto, el resto de memoria no se aprovecha.
  • RAID 5: Sistema de tres o más discos. Un disco del conjunto guarda la paridad de datos (cfr. Imagen 5, derecha); que en esencia implica redundancia de datos pero de una forma ingeniosa mediante cálculos xor entre los bloques [15]. La velocidad de lectoescritura es elevada, aunque no la suma directa de la lectoescritura del conjunto. La capacidad es la del conjunto menos un disco. Como contrapartida, el tamaño útil de cada uno de los discos queda limitado al menor de los tamaños entre los discos, el resto de memoria no se aprovecha.

Uno de los arreglos más utilizado a nivel domiciliario y pequeña empresa es el RAID 5, porque sacrificando un solo disco se tiene tanto redundancia de datos como las ventajas de lectoescritura de varios discos. Hay que tener en cuenta que las recuperaciones de RAID suelen ser largas y tediosas, con tiempos de reconstrucción de información de varios días, dependiendo del caso. Bueno, en RAID 0 no hay nada que reconstruir, lo has perdido todo. En RAID 1 tampoco hay nada que reconstruir, porque tienes la copia reflejo.

5.5 - SHR

Llegado a este punto tuve que decidir qué tipo de arreglo quería. Estuve valorándolo con calma. De entre las opciones llegué a un sistema RAID propietario de Synology, el SHR. El SHR es un sistema muy parecido a RAID 5 pero con una ventaja, los discos duros se dividen internamente en volúmenes y se producen múltiples paridades siempre que para el volumen n haya al menos dos o más copias en diferentes discos físicos. El efecto directo de esto es que se minimiza el tamaño de memoria no aprovechado, ideal para sistemas RAID con discos de tamaño dispares o para aquellos pensados como ampliables en un futuro.

Para explicarlo mejor daré un ejemplo con tres discos dispares, de 8, 4 y 2 Tb, divididos todos ellos en volúmenes de 2 Tb para SHR, comparándolo con los resultados de diferentes configuraciones RAID.

Sean los discos duros A, B, C con tamaños 8, 4 y 2 en Tb respectivamente, divididos todos ellos en volúmenes de 2 Tb de la forma:

  1. Disco A (8 Tb): Volumen1, Volumen2, Volumen3, Volumen 4
  2. Disco B (4 Tb): Volumen1, Volumen2,
  3. Disco C (2 Tb): Volumen1

Con este arreglo, no óptimo por los tamaños de los discos elegidos, tendríamos el Volumen 1 (2 Tb) con paridad (2 Tb), también el Volumen 2 (2 Tb) con paridad (2 Tb), pero perderíamos Volumen 3 (2 Tb) y Volumen 4 (2 Tb) por no haber con qué parearlos. En síntesis dispondríamos de 4 Tb de datos disponibles, con 4 Tb de redundancia y 4 Tb de memoria sin aprovechar.

En contraste, con RAID 5 tendríamos: 4 Tb útiles con 2 Tb de redundancia y 8 Tb perdidos. Con RAID 1 tendríamos 2 Tb útiles con 2+2 Tb de redundancia y 8 Tb perdidos y con RAID 0 tendríamos 14 Tb útiles con 0 Tb de redundancia. Sintetizo este ejemplo en la Tabla 1:

RAIDDISPONIBLEREDUNDANCIAPERDIDO
SHR62+24
RAID 5428
RAID 122+28
RAID 01400

Tabla 1. Ejemplo de diferentes sistemas de RAID para la configuración de 3 discos duros de tamaños 8 Tb, 4 Tb y 2 Tb, indicando la cantidad de memoria aprovechada, la destinada a redundancia y la perdida.

Nota: Cuando ya había escrito todo este ejemplo he encontrado una imagen sobre lo mismo pero con un ejemplo diferente, la pondría aquí pero por la diferencia en los ejemplos no aclararía, así que solo la enlazo.

Explicados estos tipos de RAID puedo hablar de RAID 6 y de SHR2. RAID 6 es como RAID 5 pero con doble paridad al igual que SHR-2 es como SHR pero con doble paridad. Esto significa que el conjunto de discos es suficientemente robusto como para perder hasta dos discos de forma simultánea conservando la integridad de la información. Para mi NAS he escogido un sistema RAID SHR-2.

Como he dicho, el sistema SHR es propietario. Antaño esto podía suponer algún problema de compatibilidad para poder montar las unidades en *nix, pero eso ya no hoy. Cabe destacar que el SHR-2 entraña, como he dicho, un sistema de tolerancia de hasta dos discos. Si en el largo plazo deseo ampliar el sistema pongamos con dos discos similares, pasaría a tener 64 Tb útiles (cuatro discos) + 32 Tb de redundancia (dos discos).

Nota: Synology dispone de una calculadora de RAIDs interactiva y muy maja que ayuda a entender los tamaños finales disponibles según la configuración (aunque no explican el porqué de esos tamaños). Podéis jugar con la calculadora aquí.

6 - Instalación del NAS

Como última parte de este hilo hablaré de la muy sencilla instalación del producto y de cómo he chequeado el hardware.

6.1 - Chequeo de los discos duros: 1º FASE

Los discos me llegaron antes que el NAS. He de decir que llegaron cada uno en una bolsa antiestática y punto. Había leído en Amazon que la gente los recibía así, pero no me lo creía. En efecto, me llegaron 3 discos duros en un sobre de papel sin acolchar, y estos discos cada uno en una simple bolsa antiestática. El cuarto disco me llegó también en una bolsa antiestática, pero en una caja. Muy mal para Amazon aquí, pues es quien vendía y enviaba el producto.

Imagen 6. Test de lectoescritura en CrystalDiskMark para sendos 4 discos duros. Nótese que las velocidades de lectoescritura están limitadas por el interfaz USB.

Todos sabemos lo sensibles que son los discos mecánicos a los golpes y a las vibraciones, así que actué de la siguiente manera: Lo primero que hice fue un chequeo visual de la integridad externa de cada disco duro. No había desperfectos, menos mal. Después los conecté uno a uno a mi ordenador personal a través de una interfaz USB3-SATA [Az] para testarlos. Nada más conectarlos lo primero en lo que me fijé fue en el sonido siendo en todos los casos normal. Lo siguiente fue centrarme en los valores S.M.A.R.T de cada uno de ellos mediante el CrystalDiskInfo. Esta palabra viene de Self Monitoring Analysis and Reporting Technology, un sistema de autoanálisis estándar que integran la ya totalidad de discos duros.

Mientras monitorizaba el S.M.A.R.T. hice una prueba de lectoescritura mediante el CrystalDiskMark (cfr. Imagen 6). Esta prueba de lectoescritura sucede en cuatro fases alternando lecturas y escrituras secuenciales y aleatorias de diferentes tamaños. El objetivo era claro: estresar los discos y ante el mínimo error de un solo sector cambiarlos por unos nuevos. Por suerte no presentaron fallos y estas pruebas no me llevaron más de una hora. Supongo que el mal embalaje se debe al buen precio de los discos.

6.2 - Chequeo de los discos duros: 2º y 3º FASE

Una vez el NAS estuvo en mi poder procedí a instalar los discos, arrancar por vez primera el Synology y realizar la configuración inicial del DSM 7, su sistema operativo. Antes de montar un volumen con los discos pasé una segunda prueba rápida de S.M.A.R.T. en cada uno desde el propio sistema operativo. Lo bueno es que se realiza la prueba de forma paralela, por lo que es más rápido: terminó correctamente en menos de media hora. Una vez superada, hice una tercera prueba en cada disco, pero esta vez de S.M.A.R.T. extendida. La prueba "extendida" es un tipo de prueba que ofrece DSM pero de la que no he encontrado información técnica. Hasta donde yo entiendo se desarrolla chequeando toda la superficie del disco. Tomó bastante más tiempo, unas 30 horas. Tras finalizar positivamente, por fin monté el volumen de los discos en formato BTRFS y RAID SHR-2, concluyendo con un tamaño útil de 32 Tb + 32 Tb de redundancia (tolerancia de fallo de dos discos).

6.3 - Instalación de la ampliación de RAM

Esta parte fue sencilla: apagué el aparato, lo abrí e inserté el módulo. Al reiniciar el DSM pude ver que se reconocía correctamente la totalidad de los 8 Gb de RAM (4 Gb soldados en placa más los 4 Gb recién instalados). Para realizar una prueba de integridad en la RAM tuve que instalar el Synology Asystant (cfr. Imagen 7) en mi ordenador personal y una vez reconocido el NAS lanzar mediante LAN el test de RAM.

Imagen 7. Captura de pantalla del Synology Asystan habiendo reconocido correctamente el Synology 920+. Nótese del menú emergente la opción de "Prueba de memoria".

Como es lógico, esto reinicia el sistema para dejar casi completamente vacía la RAM y comienza a realizar la prueba. En concreto también desconozco cómo funciona esta prueba técnica, pero la forma usual es hacer barridos en la RAM llenándolos de un valor para luego comprobar que los valores son persistentes. Llevó un par de horas (?) y finalizó correctamente.

6.4 - Instalación del M.2 SSD Caché

Para terminar la instalación del hardware, lo último fue instalar el M.2 SSD que hace la función de caché solo de lectura del NAS. Este paso fue trivial: apagar el NAS, abrir una de las dos pletinas inferiores de la caja, instalar el M.2 y reiniciar. Al reiniciar se reconoció sin problema alguno. Hecho esto, fui a la configuración de discos y establecí este como memoria caché. Hago notar que este M.2 lo tenía por casa con una integridad de más del 90% con cuatro años de uso como disco principal de sistema operativo de mi ordenador personal. Contando con que este modelo tiene unos 400 TBW de vida útil aún creo que le podré sacar rendimiento por una buena temporada.

7 - Palabras finales

Muchas gracias por acompañarme hasta aquí. Hemos recorridola selección del NAS, de la ampliación de RAM, de la selección de M.2. para cache y de los discos duros de datos y su arreglo de formato y RAID. Mediante este hilo podéis seguir el discurso de pensamiento y acción que he llevado para la adquisición de mi NAS de respaldo a medio y largo plazo, y microservicios. Nunca, y digo, NUNCA más permitiré que me vuelva a ocurrir una pérdida de datos como la que he sufrido o, al menos, haré todo lo que pueda para que no vuelva a pasar. Espero que os haya sido entretenido.

Imagen 8. Captura de pantalla con la información del hardware final del Synology DS920+ HDA-NAS.

7.1 - Para el futuro

Hay algunas cosas con las que, al respecto del hardware, puedo jugar en un futuro. En especial se trataría de hackear el DSM para instalar una tarjeta de red USB3 de 2.5 o 5 Gbit/s, ideal de 10 Gbit/s. Pero he preferido ser conservador porque aún me queda mucho camino que configurar y desarrollar en este, mi proyecto de HDA-NAS.

7.2 - ¡Continúa con la serie!

  1. Este hilo que os comparto es el primero de una serie de tres que proyecto y trata sobre el hardware que he montado y por qué.
  2. El segundo hilo trata sobre la configuración básica del sistema.
  3. El tercer hilo sobre microservicios personales para proyectos y jugueteos que me gustaría hacer.

Versión 1.1R1 (26/02/2022)

Changelog


Esta obra está bajo una licencia Reconocimiento-No comercial 4.0 de Creative Commons. Para ver una copia de esta licencia, visite https://creativecommons.org/licenses/by-nc/4.0/deed.es o envíe una carta a Creative Commons, 171 Second Street, Suite 300, San Francisco, California 94105, USA.

41
LLoid

Maravilloso.

1
overflow

Yo tengo malas experiencias con BTRFS ... no se si es que lo monte mal o que... pero en esa época estaba sufriendo cortes de luz (alguna obra cercana o sabe dios que) y en una de esas ya no fui capaz de recuperar los datos. Seguramente lo que para alguien que controle ese sistema sería pasar alguna herramienta de corrección yo lo convertí en un borrado de datos :D volví como un perrillo al EXT4 de toda la vida :,(

1 respuesta
SpiuK

Yo siempre había entendido RAID 0 como suma de almacenamiento, RAID 5 como "velocidad" y RAID 1 como la mejor manera de tener seguridad ya que realmente duplicas contenido.

Tenía entendido que RAID0 no era reconstruible y que RAID5 había que rezar..

Los nas NAS de synology suelen permitir cargar a la nube. ¿Piensas hacerlo para tener un respaldo más o no te lo planteas?
Edit: me había saltado la parte donde explicas esto... Facepalm.

¿Qué pasos deberías seguir con lo que tienes montado ahora mismo en caso de perdida de datos?

¿Puedes hacer una especie de "simulacro"?

1 respuesta
LucianESP

Tremendo hilo HDA, me lo he leído enterito y todo correcto! De hecho, me dedico a los sistemas y no conocía el BTRFS xD

1 1 respuesta
n40k1

A mi ayer me llego este invento, espero que salga bien xD

https://shop.allnetchina.cn/products/quad-sata-hat-case-for-raspberry-pi-4

Cuando tenga todo montado comentaré impresiones.

1 1 respuesta
garlor
#1hda:

Esta prueba extendida, hasta donde yo entiendo, se desarrolla en toda la superficie (?) del disco

smart extendido es como pillar un libro y leerse cada pagina, pero solo va a dar fallo si hay alguna pagina que falta, porque no sabe que es lo que tiene que haber escrito en ellas

lo suyo es usar "badblocks -w" o algun software similar, que lo que hace es escribir un patron en el disco duro y despues volver a leerlo ( esto porsupuesto es destructivo para los datos )

te animo a que si aun no tienes informacion en ellos le pases esta herramienta o alguna similar

veo que hablas de que el shr es propietario de synology, cuando yo monto un raid lo primero que hago es comprobar como voy a poder recuperar la informacion si todo ( menos la cantidad minima de discos duros que permita el endurance ) se va a la mierda, en tu caso entiendo que para recuperar la informacion necesitarias otro equipo synology, cosa que desde mi punto de vista no es nada buena idea

1 respuesta
PiPePiTo

Btrfs, bonita liada cuando se me fue el xpenology al carajo xD

Buen post, lo que me recuerda que tengo el mio abandonadisimo...

Madre mia, es que la mitad de recursos van a ir a marcadores en mi navegador, que maravilla.

1
Foxtreme

Yo estoy en proceso de planificar y montar un NAS propio, con una build personalizada, aunque encontrar placas/cajas viables para muchos discos no es fácil sin meterte en soluciones empresariales o hardware antiguo de segunda mano.

Un detalle muy importante que debes tener en cuenta #1 :
Un RAID no es un backup. Tus datos no están a salvo de pérdidas, y si tu prioridad es evitar que vuelva a pasar, debes tener cuanto antes el plan de backup 3-2-1 en funcionamiento.

1 respuesta
hda

Changelog

  • Versión 1.1R0 (25/02/2022)
    • Corregidas un montón de erratas
    • Reformulación y explicación de parte de los procesos
    • Cambiada la mención del LBA por mft e inodes, para ser más específico
    • Imagen nueva sobre mft e inodes
    • Nuevas anclas a lo largo del texto y para cada imagen y tabla
    • Hipervinculadas las referencias a imágenes y tablas

Espero que con esta actualización queden las cosas un poco más claras. Ahora os respondo a los comentarios.

1
hda
#4SpiuK:

Los nas NAS de synology suelen permitir cargar a la nube. ¿Piensas hacerlo para tener un respaldo más o no te lo planteas?

Lo que me montaré, que irá para el segundo hilo sobre configuración del NAS, será Next Cloud, una nube que permite ser hospedada en un NAS, por ejemplo. Acerca de hacer un backup del NAS en la nube, es posible que explore la opción de backblaze, aunque no estoy convencido todavía. Me consta que hay gente que contrata la nube profesional de google y hace copia del NAS en ella, pero supuestamente hay limitaciones de 1Tb.

#4SpiuK:

¿Qué pasos deberías seguir con lo que tienes montado ahora mismo en caso de perdida de datos?

Hay varios escenarios de "pérdida de datos":

  1. Si peta mi disco de datos en mi ordenador de sobremesa, sustituir el disco y copiar los datos desde la copia del mismo en el NAS al nuevo disco en mi PC.
  2. Si peta 1 o 2 discos duros del NAS, sustituirlos por otros tantos y reconstruir el SHR, que tardaría lo suyo. Cuando en RAID 5 peta un disco y te pones a reconstruir la RAID con un disco nuevo, como es un proceso tan estresante para los discos, existe una posibilidad no nula de que DURANTE el proceso pete un segundo disco. Es raro, pero puede pasar. Con dos discos de respaldo este escenario se minimiza más.
  3. Si me sale ardiendo la casa y pierdo mi workstation y el NAS... pues me encontraría básicamente en mi situación actual: puedo recuperar lo que tengo en algunos pendrives y discos sueltos, junto con lo de la nube. Lo ideal para paliar esta situación sería tener un segundo NAS (lo que comento arriba) y, quizás, una copia integral del NAS en la nube.
#4SpiuK:

¿Puedes hacer una especie de "simulacro"?

¡Sí! Ya lo he hecho para probar:

He sacado en caliente los discos duros y he roto el volumen para reconstruirlo después, que llevó un ratito, y eso que estaban vacíos. Todo recuperado sin problemas. No me digas nada de las horas xDDD cuando me pongo con algo me quedo absorto jajaja

#5 ¡Gracias, tío! Lo he editado un poco para hacer más intuitivas algunas partes :) Buen café te habrás tomado para comerte el ladrillaco que me ha salido. Por cierto, el BTRFS me flipa un montón, me parece muy ingenioso. (Lo siento por la experiencia de #3 xD)

1 1 respuesta
hda

#7 Gracias por la info, macho. Justo cuando has contestado acababa de actualizar #1. Estuve buscando información sobre el SMART extendido que hace DSM pero no he encontrado nada. Tu analogía está guay pero ¿tienes a mano algún recurso que lo explique?

#7garlor:

lo suyo es usar "badblocks -w" o algun software similar, que lo que hace es escribir un patron en el disco duro y despues volver a leerlo ( esto porsupuesto es destructivo para los datos )

Al respecto de esto hay mucho escrito en internet, sobre si hacer una prueba como describes es o no es necesaria. La conclusión a la que he llegado es que es necesaria solo para calmarnos. Tengo algunos enlaces de discusiones en reddit justo sobre esto. En concreto este es el que me pareció más convincente. De hecho, es lo que digo en #1: voy a la caza de conteo de sectores errados en SMART.

#7garlor:

veo que hablas de que el shr es propietario de synology, cuando yo monto un raid lo primero que hago es comprobar como voy a poder recuperar la informacion si todo ( menos la cantidad minima de discos duros que permita el endurance ) se va a la mierda, en tu caso entiendo que para recuperar la informacion necesitarias otro equipo synology, cosa que desde mi punto de vista no es nada buena idea

Sobre esto también busqué info antes de lanzarme en su momento. Como digo en #1, antaño sí podría haber problema al montar btfrs pero hoy ya no, a ver si tengo el enlace a mano. No lo he encontrado, pero bueno, desde 2012 hasta ahora casi todas las distros ya son compatibles con este sistema. En mi caso, que soy debianero, pues sin prob.

¡Gracias por tu comentario!

#9Foxtreme:

Un RAID no es un backup. Tus datos no están a salvo de pérdidas, y si tu prioridad es evitar que vuelva a pasar, debes tener cuanto antes el plan de backup 3-2-1 en funcionamiento.

Sí, soy consciente plenamente. Por ello la redundancia de hasta 2 discos duros que he instalado. Por cierto, ¡en #1 menciono la regla 321! Estoy al tanto de ella y pretendo seguirla :)

Muchas gracias por tu comentario y ánimo con tu setup.

1 1 respuesta
garlor

pero podras recuperar un btrfs shr2 en un debian si se frien el dispositivo synology y dos discos duros?

yo lo que hago en estos casos es pillar un ordenador meterle lo que piense que va a poder leerlo y despues de grabar algo en el equipo que va a entrar en produccion monto los discos en el equipo "de recuperacion" y compruebo que puedo recuperar los datos

2 respuestas
hda

#13 Entiendo que sí. Vamos, espero que sí, desde kb de synology.

Pero bueno, yo tengo poca idea, que para mí esto es un hobby nada más xD

2 respuestas
garlor

#14 no esperes, no pienses, no imagines, no supongas, comprueba y documenta

ayer y hoy he perdido 12 horas de tiempo por no hacer exactamente esto, pero bueno xD, solo he perdido tiempo, no datos

#12hda:

pero ¿tienes a mano algún recurso que lo explique

pues no, simplemente cosas sueltas que vas leyendo por ahi y enlazando en la cabeza junto con la experiencia, supongo que lo suyo seria algun sitio donde explicase exactamente como funciona el sistema del marcado de sectores erroneos

1 1 respuesta
hda

#15 es un buen consejo, jaja. Bueno, según los pasos del enlace que te pasé ahí arriba, se entiende podría montarse sin problemas. Ahora: si el Syno falla y petan dos discos duros del rack, no sé si podría reconstruir el SHR-2 desde un PC. Pero llegado a ese punto, con poder recuperar la data y remontar el NAS me daría por satisfecho. También, sea dicho de paso, la idea de seguir las copias en 3-2-1 podría ayudar en esto en el peor, peor de los casos.

overflow

#11 No soy el único... busca "BTRFS power failure" :( lo dicho, yo la remate por desconocimiento.

PiPePiTo

#13 #14 sí, exactamente lo que tuve que hacer yo fue enchufar disco y montar la partición correcta, ya que me creó como 4 o 5 (no recuerdo) pero había una tocha que era la que tenia los datos, montarlo no fue más que darle a montar en el gestor de discos xD

Ya que usas Synology yo huiría del nextcloud, lamentablemente no es cargar el docker y listo, hay que tocar configs y tal para dejarlo fino, yo me quedaría con la app de Synology para sincronizar, si acaso lo que haría a parte sería configurar un rsync a la nube/otro dispositivo

1 respuesta
hda

#18 genial por la confirmación.

Sobre nextcloud aún no le he pisado, pero ya tengo el proxy inverso montado y el gestor de certificados digitales corriendo, además de un microservicio para actualizar las ddns de cada subdominio. Llevo unos días peleando con esto pero va cogiendo color. Es de lo que tratará el siguiente hilo junto con la securización del asunto, que haré ya en el subforo de desarrollo. Todo muy nuevo para mí. He pasado algún día de frustración xtrem (pobre @lecherito, de tanto que me quejé), pero acabó saliendo xDD

1 respuesta
PiPePiTo

#19 por si te sirve yo tiro de nginxproxymanager y ddns updater para eso.

Lo del nextcloud lo decía porque también es lento a rabiar en algunos casos y la verdad es que me ha tocado las pelotas más de una vez la versión docker xD
Y la verdad es que el sistema de Synology para los ficheros es...bastante parecido

1 respuesta
hda

#20 Me pondré con calma, los 5.5 Tb ya los he perdido, no tengo prisa por tardar 2 semanas o 2 meses en dejarlo todo niquelado xD

Yo me he liado tela porque mi conocimiento sobre los entresijos dns, ddns y de certificados eran más limitados que los que presento en este hilo. He tenido que meterme bastante en el asunto para entender cómo migrar de ionos (donde está mi dominio) a cloudflare. Y mira que es un paso trivial. Y desde ahí, lograr correr algún microservicio que fuese contra la zona (que definí, para más seguridad) de mi dominio. Además, como es solución gratuita no puedo usar wildcard, así que subdominio por subdominio. Una vez conseguí que se gestionase el dominio en cloudflare traefik (que el día anterior casi hace que me tirase por la ventana, aunque vivo en un bajo) ya ruló sin problema. Pero bueno, como digo, esto lo dejo para el otro hilo.

Quizás, lo mejor sería montar un hilo-diario de cómo voy avanzando en el proceso, hacer eso mejor que montar un hilo con el resultado final (tipo este), para así aprovecharme de los dilatados conocimientos que por el foro habrá, sobre todo cuando yo tengo -1 de idea. Es como el ejemplo que le di a lechero: imaginemos que quiero aprehender matemáticas, pues empezaré por las sumas, restas, divisiones y multiplicaciones, no por ecuaciones integrodiferenciales. Con todo este asunto tengo la sensación de estar empezando por cosas demasiado avanzadas para las que me falta mucha base.

Por otra parte, esto me motiva más, porque el influjo de datos nuevos es mayor y me encanta aprehender. Ya te comento que con lo conectado que estoy con esta mierda, estos días atrás me vengo despertando a las 5 de la mañana con ganas de seguir avanzando con docker-compose, configurando cosas (antes de ahora había tocado malamente docker en dos ocasiones, y mis habilidades de sysadmin son limitaditas/básicas).

duriel_one

Ya sufrí hace años (12) la pérdida de buena parte de mis datos privados y aún conservo la unidad para cuando me anime a llevarlo a recuperación. Llevo toda la vida arrastrando discos duros y estoy harto.

Me quedo por aquí para leer con calma y ver ideas. Quiero montarme un buen almacén multimedia

1
fvksys

Vaya currada de hilo, parece la entrada de un blog serio jajaja

1
doogie780

Lanzo pregunta como user de un QNAP.

En tu caso #1 veo que lo usamos para más o menos lo mismo, almacén multimedia y los 4 dockers para apps selfhosted.

En ese caso, compensa tanto tener una redundancia de datos 1:1 con el uso y desgaste que conlleva? Se pierde bastante rendimiento y al final los discos son parejos en cuanto a durabilidad (quizás yo he tenido suerte pero con un uso bastante intensivo he perdido 1 HDD y me dio tiempo a rescatarlo antes del siniestro total).

Vale que si casca uno por defecto de fábrica, lo tienes clonado, pero no sería mejor hacer backups incrementales para minimizar el desgaste?

1 respuesta
aLeX

Creo que hay un error garrafal de concepto. Sin ánimo de restar calidad al currazo que te has pegado de hilo.

Pierdes datos y la solución pasa por montar una NAS. Yo creo que lo apropiado sería irte a un servicio cloud de backup, como Backblaze. Y si no quieres cloud, comprarte un drive LTO y varias cintas, para hacerte un backup(s) de verdad.

Porque las cosas fallan, y por mucho prestigio que tenga Synology, más prestigio tienen PureStorage o NetApp, y también fallan sus cabinas.

2 respuestas
LLoskka

#25 Un backup es basicamente tenerlo offsite y descentralizado, nada mas ni nada menos.

hda
  • Versión 1.1R1 (26/02/2022)
    • Corregidas un montón más de erratas
    • Reestructura de la sección SHR para hacerla más comprensible
    • Añadidas algunas referencias adicionales
hda

#24 Es muy interesante el problema que comentas. Entiendo que te refieres a hacer una copia 1:1 de mi disco de datos de la workstation al NAS, y no del sistema RAID del NAS. Mi idea es hacer con cierta cronicidad (¿diaria, semanal?) clonados de mi disco de datos a un archivo y ese archivo al NAS en su carpeta separada. Estaría ideal que esta copia fuese incremental para minimizar el desgaste al que aludes. Debo estudiarlo, quizás se pueda aprovechar BTRF en esto.

#25 gracias por tu comentario. Al respecto de la nube no es mi prioridad pero tampoco la descarto, justo en el texto de #1 valoro la opción de Backblaze pero como un añadido posible al sistema. Por otro lado, desconocía las unidades LTO. Creo que tu comentario no aplica demasiado conmigo, sino que tira más por el ámbito profesional/empresa. Por conveniencia, para mi caso de uso creo que un NAS (más un segundo NAS deslocalizado, más una posible nube), cubren sobradamente con mis necesidades además de ofrecer mayor versatilidad (servicios, nube privada) y facilidad en automatización en los backups.

1 respuesta
doogie780

#28

Justamente por eso la he lanzado. Cuando necesitas un uptime del 100% y puedes permitirte redundancias aunque reduzcas capacidad, entiendo que un RAID es la mejor opción, pero para un entorno doméstico en 2022 yo creo que es un poco "overkill".

https://btrfs.wiki.kernel.org/index.php/Incremental_Backup

Si lo terminas haciendo sube guía que te la copio rápido haha

1 respuesta
hda

#29 ¡gracias por el enlace! Lo estudiaré. De tu comentario entiendo que aludes a dos cosas diferentes, RAID y formato, dices que (1) montar RAID en entorno doméstico es un poco overkill según tu opinión, y (2) que estaría genial poder entender bien cómo hacer backups incrementales en BTRFS.

Sobre (1), opinamos diferente, creo que tener una redundancia de datos es una buena práctica, incluso en entorno domiciliario, porque el hardware es falible. Si las soluciones cloud cubren tus necesidades pues sería menos necesario, aunque no desdeñable. Te compro que montar una doble paridad puede ser excesivo según el caso.

Sobre (2), la verdad es que me interesa. Hasta donde yo sé BTRFS funciona internamente mediante deltas sobre archivos, estaría ideal poder llevarlo a carpetas y carpetas montadas en red. También me interesa comprender qué sucedería con un archivo del entorno, editado desde fuera del entorno y copiado al entorno. Entiendo que el sistema lo trataría como un archivo nuevo, porque no habría asociación al archivo ni por referencia ni por hash. Buen punto, doogie!

1 respuesta

Usuarios habituales

  • Boiisxu
  • doogie780
  • TRON
  • FlameThrower
  • hda
  • PiPePiTo
  • garlor