Metalink: downloads aos saltos

Enquanto a natureza não dá saltos, me parece que a internet vive dando os seus. E mais precisamente dois saltos: os de informação e de organização. Lá no início da década de 90, quando as conexões eram discadas e os sites tinham apenas umas duas imagens e fundo cinza, a internet começou a ser povoada em um salto por informações mas com uma grande dificuldade: só era possível acessar um site se você já soubesse o endereço dele. Surgiram então os primeiros catálogos de sites, onde os seus mantenedores declaravam sua existência aos organizadores do catálogo e sites como o brasileiro cade.com.br apareceram, construindo um salto de organização.

Até que de catálogo em catálogo, eram tantos que era difícil escolher por qual procurar. Outro revés era a raridade de se obter informações atualizadas, já que elas dependiam de uma ação ativa do mantenedor do site catalogado. Tivemos então o salto de informações nesses catálogos e tudo tornou a ficar mais confuso. Como cada salto de informação exige posteriormente um salto de organização, o salto subseqüente foi o advento dos web crawlers, os tais sites de busca que sozinhos varrem a internet em busca de dados e os organizam em uma página de resultados. Advento esse que atingiu seu ápice na atualidade com a multimilionária Google.

É possível aplicar essa lógica de saltos para as mais diversas áreas da internet. Mas, o que gostaria de tratar aqui hoje são os saltos dos downloads. De início, eram de forma centralizada: um determinado site hospedava arquivos de acordo com a escolha de seus criadores e disponibilizava os links para download. Dentre vários saltos, destaco o surgimento das redes P2P, que permitiram que qualquer internauta também distribuísse conteúdo, não apenas os detentores de sites na internet. Mas depois da febre e o desmonte do Napster, uma série de programas e redes de transferência de arquivos surgiram promovendo uma intensa fragmentação e desorganização. Numa mesma rede tínhamos várias cópias do mesmo arquivo, algumas com mais fontes para download, outras com menos… até algumas cópias falsas, com vírus e outras pragas.

Isso pedia por um salto de organização… e esse salto veio com os torrents. Agora ficou mais fácil dar validade e identificar um arquivo (ou o conjunto deles) para download. Com a troca do arquivo .torrent, que contém as informações sobre como localizar um arquivo para download, várias pessoas poderiam baixar com consciência e controle o mesmíssimo arquivo através da lógica P2P. Esse salto de organização, juntamente com a massificação da banda larga, eclodiu a troca de conteúdo multimídia na internet (muitas vezes de forma ilícita), o que rende até hoje lutas judiciais contra sites indexadores de torrents.

Mas os torrents já estão sofrendo um salto de informação. São inúmeros os sites para buscar torrents e já fica difícil dentre eles distinguir os arquivos em duplicata que nos interessam. Outro fator que vem a atrapalhar é a cada vez mais popular prática dos provedores de acesso à internet de diminuir a velocidade dos torrents, o que aparentemente já acontece no Brasil em algumas regiões atendidas pelo Virtua. Skavurzka !

Eis que os apresento um senhor salto de organização: o metalink. A lógica é bem parecida com o torrent: um arquivo bem pequeno que contém as informações sobre como baixar o(s) arquivo(s) desejado(s). Mas o prefixo ‘meta’ já denuncia: esse arquivinho agrega informações sobre como efetuar o download de um mesmo arquivo nas mais diversas fontes: HTTP, FTP, torrent (P2P) e ed2k (P2P). Ele reune as formas centralizadas e descentralizadas de transmissão de arquivos. É basicamente a reunião das outras formas existentes de download de arquivos numa só.

Imaginemos o download de uma ISO do Ubuntu. Este mesmíssimo arquivo com seus mais de 600MiB está em dezenas de mirrors HTTP e FTP pelo mundo, em redes do eMule/aMule e certamente em torrents. Através do metalink, você poderá receber pedacinhos desta ISO vinda de todas essas fontes, balanceando a carga entre elas e obviamente atingindo um maior teto de velocidade.

Já existem implementações do metalink para as plataformas Windows, Linux e Mac. Com destaque para o Windows, onde essa tecnologia foi aderida nos populares ‘gerenciadores de download’, como o GetRight e FlashGot. Os criadores do metalink solicitam ajuda dos usuários que gostarem da lógica do sistema para solicitarem aos desenvolvedores do Firefox, Opera, wget, cURL e até do Ubuntu para que incorporem o metalink em seus produtos e o utilize como meio de distribuição. De acordo com site metalinker.org, destes, apenas o wget já possui um planejamento para a compatibilidade com o metalink.

Falando em Ubuntu, na plataforma Launchpad já foi levantado o uso do metalink pela distribuição mas ainda falta um maior apoio da comunidade pela sua implementação. O que é bem simples, já que não há a necessidade de rodar alguma aplicação server-side como os trackers dos torrents pois o metalink utiliza os trackers já existentes no mundo para sua conectividade com a rede torrent.

Sites de downloads devem se beneficiar muito com esta tecnologia. João Pinto, desenvolvedor do site de downloads de programas para Ubuntu getdeb.net me revelou hoje que planeja, no futuro, oferecer o metalink como forma de download dos programas disponibilizados no site. Os cerca de 100GiB trafegados por dia atualmente no site são dividos entre 4 mirrors de grupos de apoio ao Software Livre. Com o metalink, os usuários que fazem os downloads poderiam contribuir cedendo sua banda para upload, equilibrando a equação.

Alguns sistemas operacionais livres já estão sendo distribuídos de forma oficial ou não oficial por metalinks, como Linux Mint, OpenSUSE, TrueBSD, GoboLinux, PC-BSD e a lista segue. Sugiro que atendamos ao pedido do pessoal do metalink e comecemos a divulgar em nossas comunidades o uso dessa ferramenta.

Abraços,

Kurt Kraut