Autor Tópico: Minha solução para armazemento e backup de foto (+10TB, SSD+HDD+RAID)  (Lida 3061 vezes)

lobimi

  • Trade Count: (0)
  • Novato(a)
  • Mensagens: 2
Observação: tópico iniciado em outro fórum, mas acho que aqui é melhor pois o objetivo é criar uma solução para quem trabalha com fotos e imagens (eu!).
Atualizado em março de 2014: Tópico apenas para ajudar quem precisa iniciar e construir um bom sistema de armazenamento, pois pesquisei bastante antes de chegar nessa listinha  :ok:
Apesar de estar convencido da qualidade e especificações dos equipamentos aqui listados, quem tiver dúvidas ou sugestões, é só falar pois pode servir para outras pessoas também. Favor não citar todo esse post que senão o tópico ficará gigante sem necessidade. ;)

Estou montando um PC para edição de fotos (Lightroom com RAWs de 25MB e 17MB) e manipulação de imagens (Photoshop com os mesmos RAWS) e uma das partes mais importantes desse tipo de trabalho é o armazenamento e backup.

Então, só por curiosidade, a configuração básica do PC será essa: (as partes coloridas são para mostrar onde cada HD irá se localizar na placa mãe)
Ainda não montei o computador e estou usando um notebook fraquinho (AMD Turion X2 dual-core 2.2GHz com 4Gb RAM e SSD, mas pelo menos com um DELL U2412M junto com outro DELL simples de 19"), mas daqui uns 3 meses eu chego lá!
Citar
Placa-mãe: Asus Z87 PRO LGA1150 Z87, DDR3-4x8gb, 2xPCI3+1xPCI4x+4xPCI1x, 6xSATA6RAID (Intel® Z87 chipset)+2xSATA6 (ASMedia® ASM1061 controller), HDMI+DVI+DP, LAN+WIFI+BT, 8xUSB3+8xUSB2
Processador: Intel QuadCore i7-4770 3.4GHz (turbo boost 2.0 @ 3.9GHz) LGA1150, 4xCores = 8xThreads, 8MB cache, Intel HD Graphics 4600 (3xDisplays)
Memória: 2x 8GB Kingston HyperX CL10 DIMM DDR3 1600MHz = 16GB RAM
Fonte: Corsair RM550 550W ATX12V v2.31 EPS2.92 80PlusGOLD FullModular ActivePFC
Vídeo: nenhuma, a placa-mãe e o processador já dão conta de trabalhar com dois monitores que eu preciso (ou até três, quem sabe)
Gabinete: NZXT H2 (silent), 3ext5.25"+8int3.5", 7exp, 1xUSB3+3xUSB2+Audio+HotSwapHDD, 20.47x8.46x18.35"

Outra curiosidade sobre o que eu tenho de equipamento fotográfico pertinentes ao tópico:
Citar
DSLR: 2x Canon 7D (18MP: 5184 x 3456, ~25MB cada arquivo RAW L, ~3.5MB cada arquivo JPEG M Fine)
Cartões CF (Arquivo Inloco): 1x Lexar 32gb 800x (120mb/s read, 75mb/s write), 1x Transcend 32gb 400x (90mb/s read, 60mb/s write), 1x Kingston 16gb 133x (25mb/s read, 20mb/s write)
Cada 32GB dá pra armazenar: 1300 RAWs L ou 9000 JPEGs M Fine, que são os arquivos que eu uso (no caso de JPEG passa de 5 mil por semana!)
Leitor: Lexar Dual-CardReader SD/CF USB3.0

Agora sim, segue a lista de armazenamento detalhado:   :snack:
(Obs: não converti o preço dos equipamentos que ainda não comprei pois a cotação do dólar está variando muito, mas os que eu já adquiri estão com os valores originais que paguei na época, contendo possivelmente impostos e taxas)

Boot/programas + scratch Photoshop/Lightroom: para arquivos temporários que são processados rapidamente se armazenados em SSDs (risquei o scratch do PS pois provavelmente a quantidade de RAM é  suficiente pros trabalhos)
1x SSD SAMSUNG 840 Pro Series 256GB 512MB SATA3 2.5": interno em SATA6RAID com uma partição de ~75GB para boot/programas e outra partição de ~181GB para scratch do Photoshop, catálogo do Lightroom e outros arquivos temporários
COMPRADO U$280 = ~R$670

Master de Trabalho: para trabalhos recentes que precisam ser acessados rapidamente
2x HDDs Toshiba 1TB 7200rpm 32MB SATA3 3.5" DT01ACA100: internos em SATA6RAID em RAID0 (2TB total + rápido)
2x U$80 = U$160
Têm 2TB disponíveis mas deve-se limitar o armazenamento em 1TB para acessos mais rápidos (explicação: como a gravação de dados é feita de dentro para fora do disco, a parte interna é acessada mais rapidamente pois a agulha irá se movimentar em distâncias menores nessa parte)

Arquivo de Trabalho: para armazenar trabalhos já finalizados que não precisam ser acessados constantemente
2x HDDs Toshiba 3TB 7200rpm 64MB 3.5"SATA6G DT01ACA300: internos em SATA6RAID em RAID1 (espelhados, 3TB total + confiável)
COMPRADO 2x U$150 = U$300 = R$755
Sempre quando esse Arquivo de Trabalho estiver cheio será substituído por outros 2 HDDs, guardando os 2 HDDs antigos em local seguro e checando de tempos em tempos se esses estão funcionando para evitar a perda de dados

Arquivo de Diversão: para downloads (filmes, séries, etc) e arquivos menos importantes
1x HDD Toshiba 1TB 7200rpm 32MB SATA3 3.5" DT01ACA100: interno em SATA6RAID
U$80


Até aqui todas as 6 portas rápidas SATA6RAID da placa-mãe (Intel® Z87 chipset) foram utilizadas, então vamos para o armazenamento fora do gabinete:fight:
É bom lembrar que em alguns casos um armazenamento externo, inclusive em equipamentos em RAID1 (redundância com HDs espelhados), tem a tendência de falhar mais ou ficar mais inacessível do que um sistema interno (dentro do seu PC de casa/escritório), por exemplo: quando a fonte do equipamento falhar, quando a porta USB ou ethernet falhar, quando acontecer uma catástrofe natural como incêndio ou raio, quando houver dano por impacto sobre o chão, roubo, etc. Tudo isso pode tornar até um sistema RAID1 externo totalmente inútil (nos casos em que não adianta trocar um HD pois é o equipamento que deu problema), ou seja, é sempre bom ter um backup dos dados que estiverem nesse tipo de equipamento externo!

Backup externo do Arquivo de Trabalho: em HDD separado e armazenado em local seguro
1x HDD Toshiba 3TB 7200rpm 64MB 3.5"SATA6G DT01ACA300: externo solto ligado através do HotSwapHDD do gabinete ou de um dock USB3.0
U$150
Mesma ideia do Arquivo de Trabalho, que quando estiver cheio será substituido por outro HDD, guardando o antigo separado dos 2 HHDs RAID1 (com mesmo conteúdo) para evitar ao máximo a perda de dados.


dock Newer Technology Voyager S3 SATA to USB3.0
COMPRADO U$55 = R$200 (paguei caro, hoje no ML tem com mais entradas por menos de R$150)


Arquivo Online: para ser acessado pela rede e possivelmente pela internet (ou seja, dar acesso aos clientes com usuário/senha para mostrar trabalhos finalizados)
Synology DiskStation DS213j 2Bay-SATA2, 1.2GHz DDR3-512MB, 2xUSB2.0, up to 8TB
COMPRADO U$240 = R$620
+ 2 HDDs, sugestão: 2x Toshiba 3TB DTACA300 (U$150 cada) em RAID1. Coloquei os 2 HDDs de 3TB nesse NAS já que PC ainda não está montado


Outros:

Backup externo do Arquivo Inloco (1ª opção): para armazenar o conteúdo dos cartões de memória em viagens com notebook
1x HDD TOURO Mobile Pro USB3.0 Hitachi 500GB 7200rpm USB3.0: externo
COMPRADO U$75 = R$160

Backup externo do Arquivo Inloco (2ª opção): para armazenar o conteúdo dos cartões de memória em viagens sem notebook
1x NextoDI Photo Storage ND2730 500GB SATA 2.5: HDD externo que lê cartões das câmeras (SD/CF) para fazer backup de fotos in loco
U$345
Vou substituir o HDD externo de 500gb por esse NextoDI para não precisar de notebook (desvantagem: não terei backup)

Backup externo do Arquivo de Diversão: para downloads e arquivos menos importantes
1x HDD IOMEGA USB2.0 Seagate Barracuda 1TB 7200rpm 32MB 3.5" SATA3G ST31000528AS: externo
COMPRADO U$120 = R$260




E assim vai, pois a partir daí dá pra fazer várias implementações, como criar um backup para o Sistema Operacional para que a recuperação do boot/programas seja mais rápida no caso do SSD morrer, pois é um saco instalar tudo de novo!
Além disso, é sempre bom ter uns HDs novos como sobressalentes para poder trocar rapidamente HDs que morrerem (uma troca de HD em RAID1 pode demorar mais de 24 horas para ser recriada/espelhada).

Resumo da bagaça toda:
Citar
Dentro do PC em SATA6G:
1x SSD: boot/programas + scratch PS/LR/etc
2x HDDs em RAID0: Master de Trabalho
2x HDDs em RAID1: Arquivo de Trabalho
1x HDD: Arquivo de Diversão

Fora do PC:
1x HDD solto: Backup do Arquivo de Trabalho
2x HDDs ou mais em NAS: Arquivo Online
[1x HDD USB + notebook] ou [1x HDD leitor de cartão SD/CF]: Backup do Arquivo Inloco
1x HDD: Backup do Arquivo de Diversão

Acho que isso é o básico pra quem é profissional, mas dá uma trabalhera!!! :worship:


Por fim, armazenamento em nuvem eu não tenho interesse. Qualquer dúvida ou sugestão fiquem a vontade para falar.

Valeu!
« Última modificação: 28 de Março de 2014, 01:25:42 por lobimi »
Canon 7D (x2), Tokina 11-16 2.8 ii, Canon 16-35 2.8L USM ii, Canon 50 1.4 USM, Canon 100 2.0 USM, Canon 70-200 2.8L USM.
Henrique Domingos Gomes http://lobimi.com.br


jesieltrevisan

  • Trade Count: (3)
  • Colaborador(a)
  • ****
  • Mensagens: 4.655
  • Sexo: Masculino
  • Harmonize-se
Resposta #1 Online: 28 de Março de 2014, 14:04:03
Bacana sua estrutura, parabéns... realmente são poucos que montam um esquema seguro de backup com redundância.

Só dois detalhes:

1) Quando você passa do seu Master Para Trabalho para o HD que está em RAID 1?
Quando entrega para o cliente?
Depois de X tempos?

Se o seu Master Para Trabalho é apenas para coisa muito recente, não poderia ser um SSD?
Um SSD seria de maior performance e segurança se comparado ao RAID 0

Existe um risco no intervalo entre o RAID 0 para o RAID 1 e NAS e outros backups,  como você administra esta sincronia ?

2) Mesmo com implementações RAID 1 e NAS, já cogitou a compra de um No-Break?
Acho que extrema importância no break na server em NAS e na CPU de trabalho.
Canon EOS 5D + BG-E4 + Canon EOS Kiss (300D) 
Canon EF 50mm f/1.8 mk I + Canon EF 100mm f/2 + Canon EF 28-70mm  f/3.5~4.5 II + Sigma 18-50mm f/2.8 DC EX  + 430EX II
--
Dúvida sobre as regras do fórum? --> REGRAS GERAIS
Dúvidas gerais? -->FAQ


RafaZ

  • Trade Count: (4)
  • Colaborador(a)
  • ****
  • Mensagens: 2.331
  • Sexo: Masculino
  • Devagar e quase sempre.
Resposta #2 Online: 28 de Março de 2014, 17:47:30
Quanto ficou o custo total? Ficou um sistema muito robusto, mas salvo engano não tem nada remoto, um pico de energia e tudo pode se perder.
Kodak Ektra 100 | Flash Magicube


daneluti

  • Trade Count: (0)
  • Freqüentador(a)
  • **
  • Mensagens: 268
  • Sexo: Masculino
    • All about me
Resposta #3 Online: 29 de Março de 2014, 00:15:13
Na minha humilde opniao eu nao me preocuparia tanto com HDs no gabinete e investiria mais em um NAS com 5 ou 8 bays e colocar tudo em RAID5 ou RAID10...

Eu acho q um SSD de 256Gb (ou 512GB) e um HD de 3 TB sao suficientes, o resto vc coloca no NAS como primeiro backup e pagaria por um Carbonite, ou CrashPlan ou ate mesmo Amazon S3 para ter os arquivos mais importantes fora de casa/escritorio....


Imagina se vc tem um problema com a corrente eletrica, ou o predio pega fogo, ou um ladrao tem acesso a sala e leva computador+drives....
Eliezer Daneluti
Nikon D40 - AF-S 18-55 f/3.5-5.6, AF-S 55-200 f/4-5.6
Nikon D3100 - AF-S 18-200 f/3.5-5.6
Nikon D300 - AF-D 24mm f/2.8, AF-D 50mm f/1.4
Nikon D800 - AF-S 50mm f/1.4G, AF-D 105mm f/2.8 micro, AF-S 24-70mm f/2.8, AF-S 70-200mm f/2.8 VRII


lobimi

  • Trade Count: (0)
  • Novato(a)
  • Mensagens: 2
Resposta #4 Online: 29 de Março de 2014, 15:50:43
1) Quando você passa do seu Master Para Trabalho para o HD que está em RAID 1? Quando entrega para o cliente? Depois de X tempos?

Atualmente eu uso uma partição separada do SSD (é errado fazer partição no SSD, mas não confio no Windows do meu note e deixo ele separado) para Scratch PS/LR e para trabalhos recentes (166GB de espaço). A primeira coisa que faço quando chego em casa de um trabalho é importar as fotos do cartão para o computador, ao mesmo tempo tanto para o SSD (Master) como para o RAID1 (Arquivo, hoje no NAS). Então as fotos originais estão sempre no Arquivo de Trabalho desde o inicio.
Além disso, tenho pouco trabalho e finalizo em uma semana em média, bem tranquilo. Depois de finalizados atualizo os originais do Arquivo (RAID1) e já deleto do Master (SSD ou RAID0). Por enquanto não preciso mexer muito em arquivos RAWS depois que eu coloco no Arquivo, tanto é que meu catálogo no Lightroom é todo bagunçado e nem faço backup dele. Eu faço backup do Arquivo (RAID1) no HD 3TB sobressalente uma vez por mês no máximo.
O meu NAS Synology DS213J tem um app que faz backup automático, igual um Time Machine da vida, mas não o uso por causa do note lerdo e principalmente porque tanto meu note como o roteador são Fast Ethernet 100 (10MB/s), não gigabit. O NAS é gigabit e ficará belezinha pra usar esse app quando tiver tudo pronto, sempre atualizando os arquivos em caso de mudanças ou de tempos em tempos (tenho que testar mais adiante a melhor opção).

Se o seu Master Para Trabalho é apenas para coisa muito recente, não poderia ser um SSD?
Um SSD seria de maior performance e segurança se comparado ao RAID 0

Sinceramente, o objetivo em usar HDD em RAID0 era pra economizar em relação a SSD e RAID5, nem era por causa do espaço que eu iria ter. Mesmo com dois daqueles de 1TB, gastaria R$380 contra R$650 do SSD pra ter uma velocidade comparável (pelo menos nos testes que vi, lembro do número 300/350MB/s Toshiba em RAID0 contra 400/500MB/s SSD). Mas depois que você comentou isso fui ver os péssimos reviews do HD que eu tinha escolhido (Toshiba DT01ACAXXX via Newegg) e fiquei triste. Então apesar dele ser bem bom quando funciona (os meus 2x3TB estão firmes e fortes em 5 meses de uso, fora o sobressalente que uso pra backup), vou investir em outro Samsung 840 Pro 256GB pra não ter dor de cabeça! Valeu pela dica =)

Será que estraga juntar Boot/Scratch + Master de Trabalho se for pra colocar os SSDs em RAID0? O backup dos dados importantes será automático.

Existe um risco no intervalo entre o RAID 0 para o RAID 1 e NAS e outros backups,  como você administra esta sincronia ?

Eu ainda não procurei saber os programas que posso usar no Windows para checar os dados. Me recomenda algum? Hoje é no olhômetro mesmo, comparando o tamanho das pastas, quantidade de arquivos, etc.

2) Mesmo com implementações RAID 1 e NAS, já cogitou a compra de um No-Break?
Acho que extrema importância no break na server em NAS e na CPU de trabalho.

Eu só pensei por alto pois na minha região (Asa Norte, Brasília-DF) não há problemas de rede elétrica, aí vou deixar o no-break senoidal online pra depois e pegar um filtro de linha bom (R$190). foi bom você ter falado isso pois pesquisei e já fiquei por dentro do assunto

Quanto ficou o custo total? Ficou um sistema muito robusto, mas salvo engano não tem nada remoto, um pico de energia e tudo pode se perder.

Ainda estou montando mas tenho tudo planilhado. Meu objetivo é terminar o PC completo com armazenamento e outras coisinhas em 3 meses (falta muito).
Só mostrando a parte de armazenamento para o trabalho, eu até agora gastei: (tudo comprado lá fora, valores já com taxas/impostos)
1x SSD Samsung 840 Pro 256GB: R$665
3x Toshiba 3TB: R$1100
1x Hitachi Touro 500GB USB3.0: R$160
1x NextoDI 500GB SD/CF USB: R$885 (não estou com ele em mãos ainda)
1x NAS Synology DiskStation DS213j 2Bay+2USB2.0 Gigabit: R$620
Total: R$3430

Na minha humilde opniao eu nao me preocuparia tanto com HDs no gabinete e investiria mais em um NAS com 5 ou 8 bays e colocar tudo em RAID5 ou RAID10...
Eu acho q um SSD de 256Gb (ou 512GB) e um HD de 3 TB sao suficientes, o resto vc coloca no NAS como primeiro backup e pagaria por um Carbonite, ou CrashPlan ou ate mesmo Amazon S3 para ter os arquivos mais importantes fora de casa/escritorio.... Imagina se vc tem um problema com a corrente eletrica, ou o predio pega fogo, ou um ladrao tem acesso a sala e leva computador+drives....

6 HDs, nem são muitos. Estou montando o PC baseado em Haswell justamente porque as placas mães possuem muitas portas SATAS. Se tivesse dinheiro prefiria até usar SSD PCI-E (1000MB/s):o
Esses NAS maiores não tenho necessidade e ainda estão fora do meu orçamento =( quando estiver precisando vou de Synology modelos DS+ com opção de expandir com os modelos DX
O Backup Externo já está guardado em local seguro (no mesmo prédio mas ta valendo), então os serviços de nuvem realmente não me interessam.
Canon 7D (x2), Tokina 11-16 2.8 ii, Canon 16-35 2.8L USM ii, Canon 50 1.4 USM, Canon 100 2.0 USM, Canon 70-200 2.8L USM.
Henrique Domingos Gomes http://lobimi.com.br