Você está na página 1de 7

Los sistemas de archivos distribuidos se caracterizan a cualquier sistema de archivos que

permita el acceso a los datos desde mltiples maquinas por medio de la red, tenemos en
cuenta que un sistema distribuido de archivos tiene dos componentes razonablemente
distintos: el verdadero servicio de archivos y el servicio de directorios. El primero se
encarga de las operaciones en los archivos individuales, como la lectura, escritura y
adicin, mientras que el segundo se encarga de crear, leer, eliminar, de los directorios, etc.,
estos componentes variaran muy poco, lo que innovara seran las tecnologas aplicadas a
estos entornos, tanto en hardware como software, donde mi investigacin se basara en la
tecnologa en la nube como se darn a continuacin:
En la actualidad, la industria de la tecnologa de la nube est en crecimiento, Google y otras
empresas que ofrecen el servicio. Es decir donde los usuarios pueden acceder a la red en los
diversos servicios de aplicacin, as como informacin sobre los dems clientes que usan el
servicio a la nube. A mas de proponer servicios de computacin. Tambin requieren de un
almacenamiento alto, por lo tanto, el desarrollo de la tecnologa de almacenamiento en
nube como la futura tecnologa.
Cuando se trata de tecnologa de almacenamiento en la nube, no se puede dejar de
mencionar el sistema de archivos distribuidos, estos manejan un papel importante en las
plataformas de aplicaciones y entornos de computacin en la nube. Permite a los
administradores del sistema para facilitar el acceso de usuarios y administrar archivos
distribuidos a travs de una red por usuarios, archivos extender a travs de diferentes
servidores en el mismo sitio en una red, para los usuarios puedan entrar a los archivos sin
conocer la ubicacin real del archivo. Sistema de archivos distribuido comn, como:

Gluster File System (GULSTERFS)


Hadoop Distributed File System (HDFS)
Ceph
pNFS

Los diferentes sistemas de archivos distribuidos tienen ventajas y desventajas, pero


hablemos de sus ventajas principales cuando el sistema de archivos requiere la cantidad de
espacio en disco requerido por el usuario, as como los respaldos para los usuarios de
servicio. Cuando las necesidades de los usuarios aumentan. (Por ejemplo aumentar el
espacio en disco y mejorar el rendimiento), los sistemas son tambin transparentes para
ayudar al usuario a ajustar el espacio en disco y el rendimiento. Permite a los usuarios el
almacenamiento en lnea y copia de seguridad de los sistemas.

En desarrollo podemos mencionar de diferentes tecnologas que son importante para la


tecnologa en la nube basado con los sistemas de archivos distribuidos como:
El NFS paralelo (pNFS) es una parte del estndar NFS v4.1 que permite a los clientes de
computacin acceder a los dispositivos de almacenamiento directamente y en paralelo. La
arquitectura pNFS elimina la escalabilidad y los problemas de rendimiento asociados con
los servidores NFS implementados en la actualidad. Esto se logra mediante la separacin de
datos y metadatos, y moviendo el servidor de metadatos fuera de la ruta de datos.
PNFS elimina el cuello de botella de rendimiento de las soluciones NAS tradicionales. "El
almacenamiento paralelo basado en pNFS es
la prxima evolucin ms all del
almacenamiento en clster NFS y la mejor
manera para que la industria resuelva el
almacenamiento y los cuellos de botella de
rendimiento de E / S. Panasas fue el primero
en identificar la necesidad de un sistema de
archivos paralelo estndar de produccin y ha
Sin precedentes en el despliegue de
soluciones comerciales de almacenamiento
paralelo. Robin Harris, Grupo de Movilidad de Datos

PNFS es importante porque rene los beneficios de la E / S paralela con los beneficios del
estndar omnipresente para los sistemas de archivos de red (NFS). Esto permitir a los
usuarios experimentar un mayor rendimiento y escalabilidad en su infraestructura de
almacenamiento con la seguridad adicional de que su inversin es segura y su capacidad
para elegir las mejores soluciones sigue siendo intacto.

NFS es el protocolo de comunicaciones estndar cuando se trata de sistemas de archivos de


red. Es ampliamente utilizado en los mercados de HPC y Enterprise hoy en da. El estndar
pNFS es atractivo tanto para los proveedores como para los clientes. Permite a los
proveedores de almacenamiento centrados en HPC, entregar las ventajas previamente
entregadas slo a travs de protocolos propietarios en los mercados de NFS. Permite a los
proveedores de almacenamiento enfocados en la empresa penetrar ms profundamente en el
mercado de HPC. As que para los vendedores que ampla sus mercados.
Para los clientes, significa ms opciones y competencia para su negocio. Tambin permite a
los clientes simplificar sus entornos de TI mediante la estandarizacin de pNFS como su
protocolo estndar de NAS.
Beneficios de Parellel I / O
Proporciona un rendimiento de aplicaciones muy alto
Permite una escalabilidad masiva sin disminuir el rendimiento
Aproveche el ancho de banda disponible
Aumentar los flujos de almacenamiento paralelo con ms de un cliente
Agrupamiento de clster con capacidad para realizar clculos mayores

GlusterFS es un sistema de archivos distribuido de cdigo abierto capaz de escalar a varios


petabytes y gastos de miles de clientes. Se trata de un sistema de archivos con un diseo
modular y apilable, y una arquitectura nica del servidor sin metadatos. Esta arquitectura de
servidor sin metadatos asegura un mejor rendimiento, escalabilidad lineal, y la fiabilidad.
GlusterFS pueden combinar de forma flexible con los productos bsicos, fsicos y recursos
virtuales en la nube para ofrecer almacenamiento empresarial altamente disponible a una
fraccin del costo de las soluciones tradicionales.
GlusterFS agrega varios servidores de almacenamiento de ms de interconexiones de red en
un gran sistema de archivos de red en paralelo. Basado en un diseo de espacio de usuario
apilable, que ofrece un rendimiento excepcional para diversas cargas de trabajo y es un
elemento clave de GlusterFS. Los servidores GlusterFS compatibles con POSIX, usar
cualquier sistema de archivos --ondisk que soporta atributos extendidos (por ejemplo: ext4,
XFS, etc.) para dar formato para almacenar datos en discos, se puede acceder a travs de
protocolos de acceso estndar de la industria, incluido el sistema de archivos de red (NFS)
y el Servidor Message Block (SMB).

GlusterFS est diseado para un alto rendimiento


de hoy, los entornos de nube virtualizados. A
diferencia de los centros de datos tradicionales,
requieren entornos de nube multi-alquiler, junto
con la capacidad de aumentar o reducir los recursos
bajo demanda. Las empresas pueden escalar la
capacidad, el rendimiento y la disponibilidad de la
demanda, sin dependencia de un proveedor, a
travs de las instalaciones, la nube pblica y
entornos hbridos.

GlusterFS est en produccin en miles de empresas que abarcan los medios de


comunicacin, salud, gobierno, educacin, web 2.0, y los servicios financieros.

VENTAJAS
Diseado para alta escalabilidad y rico en caractersticas.
Rplicas agregadas en la parte superior de los sistemas de archivos existentes. El
usuario puede recuperar los archivos y carpetas, incluso sin GlusterFS.
GlusterFS no tiene ningn punto nico de fallo. Completamente distribuido. No hay
ningn servidor de metadatos centralizada como Lustre.
Interfaz de programacin extensible con mdulos cargados basados en el
almacenamiento de E / S.
Modular y extensible a travs de mecanismo traductor poderoso.
Soporta Infiniband RDMA y TCP / IP.
Totalmente implementado en espacio de usuario. Fcil de portar, depurar y
mantener.

ALGUNAS APLICACIONES COMERCIALES

Gluster Virtual Appliance for Amazon Web Services Permite el desarrollo de un


servidor de almacenamiento basado en Gluster en la nube de Amazon.
Gluster Virtual Storage Permite levantar un servidor de almacenamiento en
Gluster corriendo sobre una servidor virtual (VMware, KVM, Xen) permitiendo
aumentar o reducir la cantidad de nodos fcilmente, de acuerdo a las necesidades de
la organizacin.
El Hadoop Distributed File System ( HDFS ) es un
sistema de archivos distribuido diseado para
ejecutarse en hardware. Tiene muchas similitudes con
los sistemas de archivos distribuidos existentes. Sin
embargo, las diferencias con respecto a otros sistemas
de archivos distribuidos son significativas.
HDFS es altamente tolerante a fallos y est diseado
para ser implementado en hardware de bajo
costo. HDFS proporciona un alto rendimiento de
acceso a datos de la aplicacin y es adecuado para
aplicaciones que tienen grandes co njuntos de
datos. HDFS relaja unos requisitos de POSIX para
permitir el acceso de streaming para presentar los
datos del sistema. HDFS fue construido originalmente como infraestructura para el
proyecto del motor de bsqueda web Apache Nutch. HDFS es ahora un subproyecto
Apache Hadoop.
Como Google File System donde se basa en un sistema de archivos distribuido escalable
para grandes aplicaciones intensivas de datos distribuidas. Se proporciona tolerancia a
errores mientras se ejecuta en hardware de bajo costo, y que ofrece un alto rendimiento
agregado a un gran nmero de clientes.

Si bien comparten muchos de los mismos objetivos que los sistemas de archivos
distribuidos anteriores, nuestro diseo ha sido impulsada por las observaciones de nuestras
cargas de trabajo de aplicaciones y entorno tecnolgico, tanto actuales y previstos, que
reflejan un inicio marcado por algunos supuestos del sistema de archivos anteriores. Esto
nos ha llevado a reexaminar las opciones tradicionales y explorar radicalmente diferentes
puntos de diseo.

El sistema de archivos se ha reunido con xito nuestras necesidades de almacenamiento. Es


ampliamente desplegado dentro de Google como la plataforma de almacenamiento para la
generacin y tratamiento de los datos utilizados por nuestro servicio, as como los esfuerzos
de investigacin y desarrollo que requieren grandes conjuntos de datos. El grupo ms
grande hasta la fecha ofrece cientos de terabytes de almacenamiento a travs de miles de
discos en ms de mil mquinas, y se accede al mismo tiempo por cientos de clientes.

Ceph es un software de cdigo abierto diseado para proporcionar almacenamiento


altamente escalable basado en objetos, bloques y archivos bajo un sistema unificado. Los
clsteres de almacenamiento Ceph estn diseados para ejecutarse en hardware de
productos bsicos , utilizando un algoritmo denominado CRUSH (Controlled Replication
Under Scalable Hashing) para garantizar que los datos se distribuyen uniformemente en
todo el clster y que todos los nodos del clster puedan recuperar datos rpidamente sin
ningn cuellos de botella centralizado uno de los casos ms importante que se esta
implementando es a la tecnologa de nube privada, incluido OpenStack, como una forma
de gestionar el escalamiento y a su vez conservar
cierta flexibilidad.

OpenStack es el proyecto de infraestructura de


nube de cdigo abierto ms grande y con un
crecimiento ms rpido. Para tener xito, se
necesita almacenamiento escalable, flexible y de
prxima generacin, como Red Hat Ceph
Storage.

Ceph es la tecnologa ms implementada para


OpenStack debido a que est diseada para
arquitecturas de nube modernas. Red Hat Ceph Storage, una solucin eficiente, gil y con
alta escalabilidad, le ayuda a reducir significativamente el costo de almacenar informacin
de la empresa en la nube y le ayuda a gestionar el crecimiento exponencial de los datos para
lograr hacerlos ms visibles.

En conclusin se puede decir que la comodidad del almacenamiento en la nube nos trajo
una gran ventaja, para que podamos almacenar archivos deseados en diferentes
dispositivos, pero no limitado al tamao de la capacidad instalada. Sin embargo, los
servicios prestados y el rendimiento de los diferentes archivos distribuidos no es
necesariamente el mismo. Proporcionar servicios ms convenientes y mejores el
rendimiento es un objetivo importante del desarrollo del almacenamiento en la nube.

GlusterFS tiene un buen rendimiento y escalabilidad, que puede brindar almacenamiento a


gran escala (petabytes) a bajo costo (opensource) y manejo de hasta miles de clientes
agrupa dispositivos de almacenamiento a travs de la red y maneja la data como si fuese un
solo bloque. Ceph diseado para el uso con gran cantidad de datos, est muy enfocado para
el uso con Big Data, no tiene Punto nico de Fallo (SPOF), debido a que su algoritmo es
ms difcil, manejar la dificultad de su implementacin es alto.
Bibliografa
Cytowic, R. (1996). The neurological side of neuropsychology. Cambridge, MA: MIT
Press.
Parks, R. W., Levine, D. S., & Long, D. L. (1999). Fundamentals of neural network
modeling: Neuropsychology and cognitive neuroscience. Cambridge, MA: MIT Press.
Rumelhart, D. E., & McClelland, J. L. (1986). Parallel distributed processing:
Explorations in the microstructure of cognition. Cambridge, MA: MIT Press.
GlusterFS, http://www.gluster.org/
Hadoop, http://hadoop.apache.org/
Sage, A., Weil Scott, A., Brandt Ethan, L., Miller Darrell, D.E.: Ceph: A Scalable, High-
Performance Distributed File System. In: OSDI 2006: 7th USENIX Symposium on
Operating Systems Design and Implementation (2006)
Lustre, http://www.lustre.org/
Hildebrand, D., Honeyman, P.: pNFS and Linux: Working Towards a Heterogeneous
Future, CITI Technical Report 06-06
Hildebrand, D., Honeyman, P.: Direct-pNFS: Scalable, transparent, and versatile access
to parallel file systems, CITI Technical Report 07-02
Yu, W., Drokin, O., Vetter, J.S.: Design, Implementation, and Evaluation of Transparent
pNFS on Lustre. In: IEEE International Symposium on Parallel & Distributed Processing,
IPDPS 2009 (2009)
Yu, W., Vetter, J.S.: Initial Characterization of Parallel NFS Implementations. In:
Conference: Symposium on Parallel and Distributed Processing
PNFS, http://www.pnfs.com/
NFS 4.1 Protocol, http://tools.ietf.org/wg/nfsv4/
pNFS_install_information, http://blog.csdn.net/liuben/article/details/6554866
Hildebrand, D., Eshel, M., Haskin, R.: Deploying pNFS across the WAN:First Steps in HPC
Grid Computing
LDAP_Libraries, http://www.novell.com/developer/ndk/ldap_libraries_for_c.htm
l
Linux_/_Unix_Command:_dd, http://linux.about.com/od/commands/l/blcmdl1_dd.h
tm
Gluster, https://gluster.readthedocs.io/en/latest/Administrator Guide/GlusterFS
Introduction/
Gluster, http://www.eslared.org.ve/walcs/walc2012/material/track5/GlusterFS.pdf
HDFS,https://research.google.com/archive/gfs.html

Você também pode gostar