Um dos maiores problemas de se lidar com bancos de dados na internet é o tamanho dos arquivos. Há muito dado disponível, mas muitas ferramentas possuem limite de linhas (caso do Excel) ou limite de tamanho de arquivo para upload (caso do MySQL, por exemplo). Mas esse não precisa ser um empecilho para jornalista nenhum.

Há inúmeras opções de ferramentas gratuitas para dividir arquivos csv grandes em porções menores. Mas a solução mais simples e mais rápida está aí, no seu computador: o terminal. Duas linhas de comando te ajudam a resolver o problema. Como? Confere aí:

  1. Crie uma pasta e salve o arquivo original dentro.
  2. Abra o terminal.
  3. Entre na pasta que você criou usando o comando cd nome da pasta.
  4. Uma vez dentro da pasta, utilize o comando:
    split -l XXXX file_to_split.csv
  5. O XXXX do comando é o número de linhas que você quer salvar por arquivo. Ou seja, para separar um arquivo grande em vários com 5.000 linhas o comando fica assim:
     split -l 5000 file_to_split.csv
  6.  O comando funciona tanto no Mac quanto no Windows.
  7. Os novos arquivos estarão salvos dentro da pasta, mas não terão a extensão csv. Se você quiser corrigir isso, no Mac pode usar o comando:
    for i in *; do mv "$i" "$i.csv"; done
  8.  Pronto!

2 Comments

Tutorial: divida arquivos CSV grandes usando o Terminal do Windows/Mac

Deixe uma resposta