ARMAZENAMENTO

60 RTI NOV 2005

Comparao das arquiteturas SAN Fibre Channel e iSCSI

Brocade (EUA)

O
Uma vez decidido conectar todos os servidores e recursos de armazenamento por meio de uma arquitetura de rede, os clientes ficam em dvida entre o padro maduro Fibre Channel e o incipiente iSCSl/Ethernet. Consideradas as semelhanas, ambas as arquiteturas tero um papel importante na infra-estrutura de storage do futuro. Este artigo traz algumas informaes que ajudaro o leitor a decidir qual padro implementar.

sucesso de conectar servidores e sistemas de armazenamento via arquitetura de rede levou muitos departamentos de TI a desenvolver planos estratgicos para a criao de grandes SANs Storage Area Networks. O benefcio para os departamentos de TI desse novo modelo de infra-estrutura de storage resultou em profundas mudanas na utilizao dos recursos do servidor e de storage, otimizao da gesto de armazenamento e na capacidade de criar infra-estruturas de storage altamente disponveis em toda a empresa. Parte desse sucesso deve-se ao desenvolvimento de uma nova arquitetura de rede, a FC Fibre Channel, destinada, desde a sua concepo, a suportar as necessidades de transporte da comunicao do servidor de armazenamento. O sucesso das SANs baseadas em

FC gerou o desenvolvimento de redesenho de arquiteturas LAN capazes de suportar a comunicao das SANs, iniciativas orientadas especialmente pelas tradicionais empresas de comunicao de dados. O esforo foi apoiado pelo argumento de que se as empresas j tinham implementado arquiteturas LAN, elas poderiam usar suas redes para trfego de armazenamento, sem ter de arcar com o custo e esforo inerentes criao e gerenciamento de

Armazenamento-Brocade Paginado.p65

60

18/11/2005, 16:48

61 RTI NOV 2005

novas redes de storage. O padro iSCSI e as solues criadas a partir desse padro so resultado dessas iniciativas. Uma vez que os departamentos de TI j haviam decidido que a conexo padro servidor/storage de seus ambientes era em rede, foi apresentada a eles uma alternativa: se as suas conexes sero FC ou iSCSI. Ambas as tecnologias esto se desenvolvendo rapidamente e so apoiadas por grandes inovaes tecnolgicas e poderosas empresas. Com tantas semelhanas, o fator decisivo ser a melhor equao custo/benefcio em relao ao desempenho e escalabilidade de ambas as arquiteturas. O que muitos analistas de mercado sugerem hoje que o FC ser mais til no ncleo da infra-estrutura de storage do data center, enquanto a iSCSI ser no final uma opo mais atrativa para servidores menores, instalados prximos s bordas do ambiente do data center. Entretanto, importante entender que isso apenas uma opinio, fundamentada na posio atual de tecnologias e para onde provavelmente elas caminharo. Talvez o fator mais importante para determinar corretamente qual arquitetura de rede de armazenamento implementar tentar entender os benefcios, desafios e probabilidades de futuros desenvolvimentos de ambas arquiteturas.

Comparaes tecnolgicas
O padro iSCSI introduziu a capacidade de transportar fluxos de dados SCSI sobre uma rede IP. O objetivo era oferecer uma alternativa s SANs baseadas em FC, utilizando uma opo de rede IP j existente. Embora o padro defina e setores afirmem que o iSCSI permite que SCSI opere em redes IP, seria mais

correto afirmar que deveriam ser feitas comparaes entre executar SCSI como um protocolo no topo de uma rede FC e executar SCSI como um protocolo no topo de uma rede Ethernet existente. Esse o comparativo mais importante a ser feito hoje pelos departamentos de TI. Com o padro iSCSI seria tecnicamente vivel executar SCSI sobre uma rede IP em uma arquitetura de rede FC, embora, por razes bvias, isso fosse desnecessrio. Em uma comparao direta entre Ethernet e FC seria interessante compreender os avanos introduzidos com FC e como a arquitetura Ethernet foi aprimorada para tentar acompanhar isso. Eis algumas reas importantes de diferenas entre as arquiteturas de rede: Transferncia de dados: na arquitetura FC, a unidade atmica de transferncia de dados um quadro (frame), que pode chegar a at 2112 bytes. Entretanto, um provisionamento de hardware feito no padro para concatenar at 65536 frames em uma nica seqncia. A seqncia equivale a um pacote de rede, pois gerada uma nica interrupo de CPU por seqncia. Isso significa que o tamanho real do pacote FC consegue ter, no mximo, 128 Mb. O tamanho mximo de um pacote Ethernet de 1518 bytes, cada qual gerando uma interrupo da CPU o que, em uma movimentao de dados em grande escala, resulta no envio de muitos pacotes e subseqente maior overhead do processador. Mesmo as propostas para aumentar o tamanho do frame da Ethernet para 8k (frames Jumbo) no se aproximam eficincia da FC. Deteco de erros e recuperao: na arquitetura FC, o procedimento de deteco de erro e recuperao uma funo de protocolo de nvel inferior, que

ocorre no firmware ou hardware. Isso agiliza o tempo de resposta de deteco de erros e procedimento de incio de retransmisso, reduzindo ao mximo o overhead. A deteco de erros/recuperao no link garante qualidade do sinal de transmisso recebido, enquanto a deteco de erros/recuperao na seqncia garante a integridade de cada bloco de dados recebido ou transmitido. Com a ajuda do hardware, a validade de cada frame de uma seqncia controlada e verificada. A retransmisso suportada, eliminando os erros de frame e agilizando seu tempo de resposta. Na arquitetura Ethernet, como a funo de deteco de erro e recuperao depende de protocolos de nvel superior via software, como TCP, cai o throughput devido ao overhead e maior tempo de resposta. Controle de fluxo: a arquitetura FC possui dois mecanismos de crdito para controle de fluxo, por link e fim-a-fim. Ambos empregam sistemas de crdito baseados na gesto de crdito por porta de origem. O fluxo de informaes precisa que o remetente observe os limites de crdito, estabelecidos durante o processo de login. Esse procedimento evita a perda de pacotes no receptor e a conseqente perda de frames provocada pelo congestionamento. A arquitetura Ethernet utiliza controle de fluxo baseado em Pause, semelhante ao tipo de controle de fluxo X-On/X-Off. Esse tipo de controle, ideal para redes de baixa velocidade, no indicado para aplicaes de storage e SAN, porque os erros so detectados aps o fato. O controle de fluxo da arquitetura Ethernet comea somente aps a deteco de congestionamento e da perda de dados, provocando a retransmisso. Ligao solicitao de resposta: Na arquitetura FC, o conceito de intercmbios bidirecionais (analgico para

Armazenamento-Brocade Paginado.p65

61

18/11/2005, 16:48

ARMAZENAMENTO
62 RTI

Servio de consulta 7492

soquetes em TCP) possibilita a combinao de solicitaes e respostas de uma transao E/S e respectivo controle pelo hardware. Esse recurso muito importante para as aplicaes de armazenamento baseadas em SCSI porque reduz o overhead e garante a entrega correta de solicitaes, permitindo encadear vrias solicitaes, aumentando assim a eficincia e a taxa de transmisso dos dados. Na arquitetura Ethernet no h o conceito de intercmbios nem de ordem de entrega e, por esse motivo, todas as combinaes solicitao/resposta e controle tm de ser feitos via software, com protocolos de nvel superior como TCP, o que resulta em baixa taxa de transmisso e mais ciclos do processador do host. Segmentao e recomposio (SAR): a arquitetura FC oferece segmentao e recomposio de grandes blocos de dados com auxlio do hardware. Isso possibilita o armazenamento dos dados recebidos diretamente nos buffers do usurio de destino o mais rapidamente possvel. Os frames de uma seqncia podem ser de tamanhos diferentes para atender diferentes aplicaes. Isso agiliza o tempo de resposta de deteco, til para diferentes aplicaes. Nas aplicaes de storage e SAN, essa funo ajuda a evitar vrias cpias internas, o que reduz o overhead e aumenta o throughput. A arquitetura Ethernet depende de protocolos de nvel superior para os processos de segmentao e recomposio, o que normalmente envolve vrias cpias internas de dados e conseqente overhead do processador. Um conceito importante a ser lembrado que a arquitetura FC foi projetada para suportar essa nova classe de comunicao em rede, ou seja, blocos grandes, alta velocidade, trfego de armazenamento com baixa

latncia, fim-a-fim. Para que isso seja possvel, h uma distribuio de responsabilidades e carga para cada componente da rede FC. Essa rede balanceada com preciso para suportar os tipos de comunicao de armazenamento. Com relao iSCSI/Ethernet, qualquer alterao na arquitetura que no necessite de novas placas de rede (tanto no servidor como no armazenamento) e de uma nova infra-estrutura de comutao de rede significar, por definio, que a rede iSCSI resultante no conseguir uma arquitetura com o mesmo balanceamento. Como mencionado anteriormente, um grande trunfo da arquitetura da iSCSI foi introduzir comunicao servidor/storage via redes IP (Ethernet) existentes e, com isso, foram desenvolvidos drivers de protocolos de software iSCSI (stacks) para fornecer a funcionalidade necessria, ausentes na Ethernet padro, capazes de suportar a comunicao servidor/storage. Entretanto, esse aumento na carga de processamento do software, provocado pelos dispositivos dos ns, at agora resultou em srios problemas de desempenho. Mas o mercado ainda continua tentando melhorar a Ethernet no que se refere s necessidades de comunicaes de armazenamento. Um dos avanos foi a introduo de uma nova placa Ethernet. Conhecida como HBA iSCSI (host bus adapter), esse novo dispositivo agrega um importante componente, o TOE TCP offload engine, chip ou placa que cuida da pilha do protocolo TCP sem utilizar os recursos da CPU host. A tecnologia TOE ajuda a melhorar o desempenho da iSCSI, embora exija a criao de uma nova arquitetura de rede. por esses e outros motivos que muitos analistas acreditam que possvel que as SANs baseadas em iSCSI/Ethernet nunca consigam atingir os nveis de desempenho

Servio de consulta 7493

Armazenamento-Brocade Paginado.p65

62

18/11/2005, 16:48

ARMAZENAMENTO
64 RTI NOV 2005

das SANs baseadas em FC. Alguns adeptos da tecnologia iSCSI/Ethernet at j sugeriram que os clientes deveriam aguardar a 10 Gigabit Ethernet para ter maior velocidade nos data centers com iSCSI/Ethernet. Mas, para a maioria das empresas, isso no crucial. O importante mesmo como uma rede de storage iSCSI/Ethernet permitir que um usurio final tenha um nvel comparvel de desempenho, escalabilidade e disponibilidade ao das SANs baseadas em FC, para as demandas de servidor e armazenamento. Para entender isso seria interessante analisar os fatores que esto por trs das comparaes de custo, em termos de rede fsica e gerenciamento de ambas as arquiteturas.

Comparao de custo de servidores e redes

Se analisarmos a questo do custo das arquiteturas iSCSI/Ethernet e FC sob o ponto de vista do servidor, veremos algumas tendncias interessantes. Em qualquer comparao de custo importante lembrar que, assim

como acontece com outras tecnologias, a inovao, consolidao e produo em escala tendem a reduzir o valor dos componentes. Por exemplo, quando a Brocade lanou sua linha de switches FC de 8 e 16 portas e de 2 Gbit/s, houve uma reduo do custo por porta em relao ao seu antecessor, de 1 Gbit/s. Recentemente a Brocade reprojetou sua linha de switches, de 2 Gbit/s, introduzindo inovaes na engenharia e na economia. Outras tendncias de mercado apontaram a maioria dos fabricantes de switches FC reduzindo os preos por porta dos switches, de acordo com as projees de analistas. Em termos de conectividade com o host a histria um pouco diferente. A dinmica do mercado ainda no sinalizou uma reduo nos preos do HBA, como o que ocorreu com os switches. Atualmente h indcios de que essa tendncia mudar em breve. Tanto o fornecedor Emulex quanto a Qlogic anunciaram produtos mais acessveis, de 5 Mb, no incio de 2004. Outros fabricantes, como a AMCC e a

LSI Logic, tambm j esto discutindo o lanamento de produtos mais econmicos. O mercado deve esperar por uma reduo nos custos do HBA e uma reduo ainda maior dos custos por porta dos switches FC. Muitas dessas comparaes de preos entre iSCSI/Ethernet e FC consideram novas placas de rede e switches para SANs baseadas em FC, o que est correto, e a ausncia de novos custos para SANs baseadas em iSCSI/Ethernet, o que pode no estar correto. Sob o ponto de vista dos HBAs, os usurios finais tero um custo com relao ao desempenho de servidores no-acelerados e um outro para servidores com HBAs iSCSI/TOE. interessante observar que hoje h uma quase completa paridade entre HBAs iSCSI/TOE e FC. Algumas HBAs iSCSI mais acessveis de 1 Gbit/s esto com preo abaixo de US$ 500 por porta, igual ao das FC HBAs de 2 Gbit/s, mesmo antes de iniciativas de grandes fabricantes para o lanamento de solues mais econmicas.

Servio de consulta 7495

Armazenamento-Brocade Paginado.p65

64

18/11/2005, 16:48

65 RTI NOV 2005

Com o desenvolvimento de inovaes, alguns fabricantes esto tentando agregar switches FC mais econmicos com pacote de FC SAN de 5 MB mais acessvel. O ltimo desenvolvimento que se deve observar em termos de conectividade de servidor est nos servidores blade. Algumas empresas lanaram recentemente arquiteturas blade compactas, que possibilitam conectividade FC SAN com um custo de conexo FC ainda menor. Em algumas arquiteturas o switch FC , na verdade, um mdulo blade e a conexo do servidor com o switch feita por meio de um painel traseiro, o que dispensa o uso de HBAs para os servidores e de SFPs ou cabos para conexo com o switch. O armazenamento conectado a essa arquitetura via

sada tradicional das portas FC do mdulo de switch incorporado. Sob o ponto de vista da infra-estrutura do switch, a equao ainda menos clara. Em alguns casos possvel que j exista parte da infra-estrutura de comutao iSCSI/Ethernet, entretanto no se pode assumir que no ser necessria uma nova tecnologia de comutao para as SANs iSCSI/Ethernet. Por exemplo, para entregar o mesmo recurso de servios em uma SAN iSCSI/Ethernet necessrio inserir um dispositivo na rede que oferea uma funo iSCSI iSNS equivalente. Isso no faz parte dos switches Ethernet existentes, algo que ter de ser adicionado. possvel que seja necessrio acrescentar outros componentes para operao de uma SAN iSCSI/Ethernet.

preciso observar que o argumento de que possvel utilizar sua infra-estrutura Ethernet existente para SANs atraente e teoricamente possvel, mas tambm algo que dificilmente acontecer na prtica. A maioria das SANs iSCSI/Ethernet ser criada em torno de rede Ethernet dedicada entre os servidores e ser fisicamente segregada do trfego da LAN Ethernet. Isso pode significar ter de construir essa infra-estrutura com switches Gigabit Ethernet, mais caros que os switches LAN Ethernet padro. Alm disso, bem possvel que seja necessria uma porta Ethernet dedicada no servidor, especfica para comunicao de armazenamento. Assim sendo, para determinar a comparao correta de custo, o valor dessa infra-estrutura Ethernet dedicada deve ser levado em considerao.

Servio de consulta 7496

Armazenamento-Brocade Paginado.p65

65

18/11/2005, 16:48

ARMAZENAMENTO
66 RTI NOV 2005

O fato de que seja possvel que uma empresa j tenha uma infra-estrutura Ethernet para o trfego de storage do seu servidor no significa custo zero se compararmos com a criao de uma SAN FC para a mesma finalidade.

discusses sobre iSCSI/Ethernet abordam exatamente essa questo.

Comparao do custo do gerenciamento

Fala-se muito que o custo de gerenciamento de uma SAN iSCSI/Ethernet menor. O grande argumento que no necessrio pessoal novo para gerenciar a infraestrutura Ethernet e que o servio de storage aumentar muito pouco o overhead de gerenciamento. Novamente, trata-se de algo que, embora teoricamente seja possvel, dificilmente acontecer na prtica. No que se refere ao projeto de uma SAN iSCSI/Ethernet, o projeto e ajustes de TCP para SAN fundamental. Para os servidores e dispositivos de storage iSCSI, o projeto e ajustes de off-load, zero-copy, interrupt coalescing e bufferMTUMSS do protocolo so muito importantes (MTU a unidade mxima de transferncia; MSS o tamanho mximo do segmento). No caso de iSCSI/Ethernet, o ajuste do buffer-MTUMMS muito importante e vrios dos aprimoramentos em TCP j mencionados so consideraes importantes para a escalabilidade de uma SAN IP. Para uma LFN rede longa e rpida, ajustes no HSTCP so igualmente importantes. Vrias conexes TCP para os links iSCSI so fundamentais para o balanceamento de carga e alta disponibilidade da rede. O protocolo TCP em si est passando por vrios aperfeioamentos para melhoria de desempenho em diferentes condies operacionais e entre eles esto as extenses de alto desempenho (TCP Window Scaling Option, Round-Trip Time Measurements, Protect Against Wrapped Sequence Numbers), Selective Ack Option, Explicit Congestion Notification, Eifel Detection Algorithm, e High Speed TCP (HSTCP). Tudo isso sobrecarregar ainda mais a tarefa de gerenciamento dos

Comparao do custo de armazenamento

A questo de comparao de custo entre SANs iSCSI/Ethernet e FC quando se refere a ns de armazenamento torna-se ainda mais complicada. Um fator que, ao contrrio dos servidores Ethernet conectados, no h uma forte presena de dispositivos Ethernet de storage conectados. Aqui comeam aparecer algumas opes, mas poucas delas esto em uso nos atuais ambientes de TI. Alm disso, a maioria dos primeiros dispositivos de storage iSCSI/Ethernet de pequeno a mdio porte. No cenrio da SAN FC h dispositivos FC conectados e em uso em todos nveis, desde a entrada, faixa mdia e enterprise. Os mesmos fatores de reduo de preo j discutidos quando abordamos os switches FC tambm afetam o mercado de armazenamento FC. Muitos fabricantes de storage esto oferecendo dispositivos mais densos e rpidos, com recursos avanados em todas as linhas de produtos, com vantagens para clientes de SANs FC. A grande questo por trs da comparao desse tipo de custo at que ponto o armazenamento baseado em iSCSI/Ethernet faz sentido. Se a tendncia da SAN consolidar mais servidores em dispositivos de storage mais poderosos, ser mais prtico implementar mais storage na infra-estrutura e ento simplesmente lidar com a questo de que nvel de servidores ser conectado via FC, e no que nvel de servidores ser conectado via iSCSI/Ethernet. Hoje a maioria das

administradores de rede. No mesmo espao de tempo, o gerenciamento de arquiteturas SAN FC continuar a melhorar com o surgimento de iniciativas do mercado em termos de padronizao. Atualmente, as LANs Ethernet normalmente no suportam cargas de trfego com altas taxas e exigem latncia mnima, falha abaixo de 10 ms e largura de banda garantida. Por conta das implicaes desse novo tipo de trfego sobre as redes Ethernet existentes, aumentaram os desafios de gerenciamento relacionados ao provisionamento de uma rede Ethernet para trfego relacionado SAN. Se as tendncias de ajustes continuarem, isso ser mais um elemento para a complexidade e riscos j resolvido pela maturidade do FC nos ambientes de redes de armazenamento.

Questes de interoperabilidade
Uma questo importante em qualquer arquitetura de rede envolve a interoperabilidade. Como a rede conecta coisas, geralmente h duas reas de interoperabilidade que preocupam os responsveis por projetar uma rede. A primeira e mais importante a interoperabilidade dos ns. No cenrio SAN, isso se traduz no nvel de facilidade de conexo entre qualquer dispositivo no n da rede de acordo com a rede padro rede. No cenrio da SAN FC esse era um processo que envolvia um certo trabalho: permitir a conexo de qualquer n rede FC padro. Com inigualvel velocidade, fabricantes de ns para SANs FC e de HBA e storage trabalharam em parceria com rgos padronizadores para oferecer total interoperabilidade de ns. O comit ANSI T11 comeou a trabalhar no desenvolvimento de padres para FC em 1988. Esses padres foram ratificados em 1995. O primeiro switch SAN do mercado foi lanado pela Brocade em 1997 e muitas das

Armazenamento-Brocade Paginado.p65

66

18/11/2005, 16:48

ARMAZENAMENTO
68 RTI NOV 2005

principais questes referentes interoperabilidade de ns foram atendidas no prazo de dois a trs anos. Essa interoperabilidade no cenrio SAN FC resultado desses esforos. A outra rea de interoperabilidade diz respeito infra-estrutura da rede, ou do switch. Como essas questes no envolvem fornecedores de ns, muitas vezes os avanos acontecem em perodos diferentes. No cenrio SAN FC, a interoperabilidade entre switches demorou mais para ser padronizada e hoje essa funcionalidade possibilita a coexistncia de estruturas de switches de vrios fabricantes, embora s vezes com limitao de recursos. No cenrio SAN iSCSl/Ethernet, embora a tecnologia tenha como base a madura Ethernet, o mercado mais jovem que o de SANs FC. Em janeiro de 2000 a Cisco e IBM

comandaram o desenvolvimento do que viria a se tornar a especificao iSCSI para a IETF Fora Tarefa de Desenvolvimento da Internet. Em outubro de 2001, a Alacritech lanou a primeira HBA TOE para iSCSl/Ethernet, seguida pela Intel, em fevereiro de 2002. A especificao iSCSI foi ratificada em fevereiro de 2003. Agora que o padro foi ratificado para iSCSI, deveria seguir o precedente do mercado, ter uma tecnologia SAN baseada em iSCSl/Ethernet que passasse por um perodo de testes de interoperabilidade. Deve-se tomar cuidado ao comparar uma tecnologia de LAN Ethernet madura com um modelo SAN iSCSl/Ethernet incipiente. Embora a arquitetura bsica seja Ethernet, no se pode desconsiderar a necessidade de desenvolver prticas de interoperabilidade baseadas em

padres. Esse esforo exigir testes para conformidade com a nova tecnologia introduzida no modelo SAN iSCSl/Ethernet. Feitas essas consideraes, seria prudente afirmar que as SANs iSCSl/Ethernet esto em fase de teste e s depois disso podero oferecer algum nvel de funcionalidade SAN, semelhante ao que vemos nas atuais SANs baseadas em FC.

Planos para o futuro

Uma vez tomada a deciso de conectar todos os servidores e recursos de armazenamento por meio de uma arquitetura de rede, os clientes ficam em dvida entre o padro maduro de SAN de Fibre Channel e o incipiente iSCSl/Ethernet. Consideradas as semelhanas, ambas as arquiteturas tero um papel importante na infraestrutura de storage do futuro.

Servio de consulta 7498

Servio de consulta 7499

Armazenamento-Brocade Paginado.p65

68

18/11/2005, 16:48

69 RTI NOV 2005

Procurar informaes que podem ajudar a tomar uma deciso sobre qual arquitetura implementar e quando pode incluir fatores como: demandas de E/S (entrada/sada) dos elementos de storage e do servidor; custo da conexo do servidor da rede versus desempenho; requisitos de disponibilidade dos elementos de storage e do servidor; custo de porta do switch da rede versus ganho na eficincia do gerenciamento; rumos da tecnologia de ambas as arquiteturas. Um caminho que muitos clientes esto seguindo o de continuar com suas SANs FC, usufruindo, assim, da economia decorrente da queda de preos orientada pelas inovaes e efeitos do mercado e da maior eficincia do gerenciamento de um ambiente de rede de storage com arquitetura madura. Outra tendncia

a busca de reas crticas da infra-estrutura de TI para comear a testar a implementao de elementos SAN iSCSl/Ethernet. A forma mais lgica de fazer isso quando o cliente coloca seus servidores em camada, incluindo os principais servidores de storage como SAN FC conectados aos seus elementos de armazenamento FC. Em seguida, pegam servidores de baixo nvel de criticidade, cujos requisitos de storage e disponibilidade no so to significativos, e comeam a infiltr-los na infra-estrutura de armazenamento SAN FC, utilizando gateways iSCSl/Ethernet. Isso permite que esses servidores de baixo impacto tirem proveito de elementos de storage SAN FC mais poderosos, sem implementao de FC. E o mais importante, d incio ao desenvolvimento de uma base de

conhecimento dentro do departamento de TI sobre largura de banda, disponibilidade e outros recursos existentes atualmente na tecnologia SAN iSCSl/Ethernet. Uma vez compreendido isso, pode-se comear o planejamento para eventual integrao que poder ser conduzida com dados muito mais concretos mo.

Concluso
O simples fato de que os componentes iniciais so mais baratos no pode ser o nico diferencial, devendo ser consideradas todas as questes para se ter idia real da verdadeira relao custo/benefcio. Ambas as tecnologias tm vantagens hoje no mercado, assim como limitaes.

Servio de consulta 7500

Armazenamento-Brocade Paginado.p65 69 18/11/2005, 16:48