Base de conhecimento sobre proxies

Servidores proxy HTTP

Descricao: Proxies desse tipo suportam o protocolo HTTP e sao usados para acessar paginas web e baixar arquivos de servicos que operam na porta TCP padrao 80.

Limitacoes: Proxies HTTP comuns nao sao adequados para sites que exigem SSL/TLS e nao podem ser incluidos em uma cadeia de proxies.

Classificacao de proxies HTTP por nivel de anonimato

Proxies HTTPS (CONNECT)

Esses proxies suportam o metodo HTTP CONNECT, o que torna possivel o tunelamento HTTP. Nesse cenario, HTTP passa a atuar como camada de transporte para trafego TCP de nivel mais baixo.

Por causa disso, esses proxies podem se conectar a quase qualquer porta exigida no recurso de destino e funcionar com a maioria das aplicacoes TCP, incluindo servidores web SSL/TLS. O tunelamento e o que torna os proxies HTTPS adequados para cadeias em varias camadas e preserva seu anonimato.

Proxies SOCKS

Quase qualquer aplicacao de rede pode funcionar por meio de proxies SOCKS: clientes de email, sistemas especializados de comunicacao, navegadores, parsers e outras ferramentas TCP.

A principal caracteristica do SOCKS e a capacidade de montar cadeias sequenciais com varios proxies. Isso aumenta o anonimato porque o SOCKS opera em um nivel de rede mais baixo e nao modifica cabecalhos HTTP.

Classificacao das versoes do protocolo SOCKS

Na pratica, as versoes mais usadas sao SOCKS4, SOCKS4a e SOCKS5. Todas suportam IPv4, TCP e o metodo BIND, que abre uma porta para conexoes de entrada.

SOCKS4a e SOCKS5 tem uma vantagem critica sobre o SOCKS4: o cliente pode enviar nao apenas um endereco IP, mas tambem um nome de dominio, e a consulta DNS e resolvida do lado do servidor SOCKS. Isso ajuda a evitar vazamentos de DNS. O SOCKS5 ainda suporta UDP, IPv6 e metodos ampliados de autenticacao.

Proxies web (proxies CGI, anonimadores)

Um proxy web e uma pagina especializada por meio da qual o usuario abre outro site, muitas vezes de forma anonima. Esse recurso costuma ser chamado de proxy CGI ou anonimador.

A principal vantagem e a simplicidade: normalmente nao sao necessarias mudancas na configuracao do navegador. A maioria dos proxies web pode trabalhar com recursos HTTPS e, se necessario, ser incorporada em um esquema em cascata.

Analise funcional detalhada

1. Proxies HTTP operam estritamente na camada de aplicacao, camada 7 do modelo OSI, e servem apenas para requisicoes HTTP sem criptografia embutida.
2. Proxies HTTPS conseguem encaminhar corretamente trafego TLS/SSL usando tunelamento HTTP por meio do metodo CONNECT.
3. Todas as versoes do SOCKS operam na camada de sessao, camada 5 do modelo OSI, mais proxima da logica de transporte.
4. SOCKS4 e a versao basica sem autenticacao e sem suporte a IPv6.
5. SOCKS4a adiciona melhorias minimas preservando as limitacoes do SOCKS4.
6. SOCKS5 e a implementacao mais avancada: suporta nomes de dominio, autenticacao ampliada, IPv6 e UDP.

4.1. Classificacao por tipo de hardware

Servicos proxy podem ser divididos em duas categorias principais dependendo da plataforma computacional em que funcionam.

4.2. Classificacao por origem da IP

Bancos de dados modernos tornam possivel analisar qualquer endereco IP publico por pais, cidade, provedor e tipo de conexao. Administradores de sites usam esses dados para marketing, antifraude, protecao antibot e personalizacao de conteudo. Por isso, a confianca em uma requisicao depende nao so do proxy em si, mas tambem da origem do IP.

5.1. Proxies privados

O termo private aponta para uma conexao usada por um unico sujeito. Um recurso so pode ser considerado realmente privado quando o acesso e restrito por autorizacao por IP ou login e senha, impedindo o uso simultaneo por terceiros.

O mercado oferece proxies alugados a um unico usuario por um periodo definido. Esses recursos sao privados durante a janela de locacao, mas sua qualidade ainda pode depender de como foram usados por clientes anteriores. Normalmente esta e a classe mais cara e, com infraestrutura comparavel, entrega a melhor estabilidade e velocidade.

5.2. Proxies compartilhados com acesso restrito

O controle sobre o numero de usuarios pode ser imposto por vinculacao de IP ou autorizacao obrigatoria. Essa abordagem e usada com frequencia por proprietarios de proxies baseados em servidor com pools relativamente pequenos de servidores ou sub-redes. Esses recursos costumam restringir certos tipos de atividade, por exemplo SMTP de saida, para evitar reclamacoes RBL e relatos de abuso.

Uma fonte alternativa sao recursos obtidos de botnets. Eles podem ser protegidos por credenciais, mas com mais frequencia a restricao e implementada por portas nao padrao conhecidas apenas pelo dono da infraestrutura. Proxies BackConnect tambem entram aqui: eles nao abrem uma porta de entrada e, em vez disso, iniciam a conexao de saida para um gateway. Seus pontos fracos sao a IP concreta desconhecida e a rotacao repentina de enderecos a cada poucos minutos.

5.3. Proxies publicos

Listas de proxies publicos sao publicadas abertamente em milhares de sites. Elas normalmente aparecem apos o escaneamento de portas abertas em faixas de rede ou apos vazamentos de enderecos de infraestruturas antes ligadas a botnets. Depois de uma validacao basica, a parcela de enderecos realmente funcionais nesses conjuntos costuma ficar em torno de 5 por cento.

Agregadores pagos coletam esses recursos, revalidam-nos regularmente e fornecem aos usuarios listas funcionais com confiabilidade muito maior. Esse e exatamente o formato por tras das verificacoes e classificacoes sistematicas do Good-Proxies.ru.

6.1. Servidor proxy em cascata (proxy para proxy)

O termo proxy em cascata e usado para um recurso que funciona como cliente de outro servidor proxy de nivel mais alto. Nessa configuracao, varios proxies sao conectados em sequencia e cada elemento seguinte abre uma conexao de saida para o anterior.

O principal sinal de uma cascata e que o IP de conexao e o IP final visto pelo recurso de destino nao sao os mesmos. E isso que separa esquemas em varias camadas de um proxy unico comum.

1. Varios proxies com IPs de origem diferentes, e ate de sub-redes diferentes, podem produzir o mesmo IP final.
2. Um unico IP final pode expor varias portas, e cada uma delas pode levar a um proxy de origem diferente e ate a outra geografia.

6.2. Servidor proxy BackConnect (proxy de conexao reversa)

A tecnologia BackConnect difere fundamentalmente do modelo classico de proxy. Um proxy comum abre uma porta e espera passivamente por requisicoes de entrada, enquanto o BackConnect nao expoe uma porta de servico em escuta e, em vez disso, inicia a conexao de saida para o cliente ou um gateway.

1. Um proxy classico permanece em modo passivo e espera por uma conexao de entrada.
2. Um proxy BackConnect inicia a conexao por conta propria, o que ajuda a contornar firewalls e NAT, pois conexoes de saida normalmente sao permitidas por padrao.

Desafios de implementacao do BackConnect

Essa arquitetura cria duas tarefas fundamentais para o sistema.

1. Como enviar o endereco IP e a porta do cliente ao proxy BackConnect para que ele possa estabelecer a conexao reversa.
2. Como garantir que o cliente esteja pronto para ouvir uma conexao de entrada do servidor gateway.

Isso geralmente e resolvido por meio de um servidor gateway especializado que aceita a requisicao do cliente, encaminha-a para um dos proxies BackConnect e devolve o resultado.

1. O gateway aceita a requisicao do cliente e, do lado do cliente, parece um proxy em cascata classico.
2. O gateway encaminha a requisicao para um dos nos BackConnect conectados.
3. O gateway recebe o resultado da execucao e o envia de volta ao cliente.

Desvantagens da tecnologia: O cliente nao sabe com antecedencia qual endereco IP final executara a requisicao. Por causa disso, o controle geografico geralmente exige varios gateways ou pools de portas separados com caracteristicas previsiveis.

Na imensa maioria dos casos, proxies BackConnect vem de infraestrutura de botnet.

7.1. Compatibilidade de protocolo (HTTP vs. HTTPS/SOCKS)

Se o recurso de destino funciona apenas por meio de um protocolo HTTPS protegido, por exemplo https://yandex.ru/, usar um proxy HTTP comum nao e aceitavel.

1. Proxies HTTP padrao sem suporte a CONNECT nao conseguem encapsular e encaminhar corretamente trafego HTTPS criptografado.
2. Para essas tarefas, voce deve usar apenas proxies HTTPS ou proxies SOCKS.

7.2. Adequacao geografica (excluindo recursos chineses)

A China e uma fonte tradicional de um numero muito grande de recursos proxy, e a participacao desses enderecos na base total pode ser alta.

Ao mesmo tempo, por causa do sistema interno de censura na China, alguns servicos globais, incluindo Google.com, Gmail.com e x.com, podem estar indisponiveis ou instaveis.

Se o seu programa gera erros de conexao em excesso, uma possivel causa e a tentativa de acessar um recurso bloqueado por meio de um proxy chines.

7.3. Estabilidade de sessao (recursos de longa duracao)

Se voce esta executando tarefas em uma sessao do navegador ou em um script de longa duracao, deve dar prioridade a recursos proxy de longa vida.

1. Qualquer proxy pode parar de funcionar a qualquer momento.
2. O risco de interrupcao repentina pode ser reduzido selecionando enderecos com filtros de qualidade mais rigorosos e informativos.

8.1. Limites do anonimato total

Usar um proxy nao garante anonimato absoluto nem significa seguranca total da comunicacao.

1. Mesmo recursos anonimos e altamente anonimos ainda podem permitir a transmissao de dados identificaveis por JavaScript ou outros mecanismos de troca.
2. Os proprios servidores proxy podem manter logs detalhados, incluindo trafego, credenciais e outras informacoes confidenciais.
3. Sempre existe o risco de que um recurso seja controlado por invasores, estruturas estatais ou construido intencionalmente para interceptacao de trafego.

8.2. Construcao de cadeia de proxies

Uma cadeia de proxies descreve uma conexao sequencial de varios recursos para elevar o anonimato por meio de roteamento em varias camadas.

1. Proxies HTTPS, proxies SOCKS e proxies web podem participar de uma cadeia desse tipo.
2. Diferentemente dos esquemas em cascata do lado do servidor, uma cadeia de proxies e montada inteiramente no lado do cliente por software especializado.

8.3. Metodos para montar uma cadeia

1. Para cadeias HTTPS e SOCKS, normalmente voce precisa de uma ferramenta cliente separada, por exemplo ProxyCap.
2. Se a cadeia consistir apenas em proxies web, ela pode ser montada diretamente no navegador abrindo o proxy seguinte dentro da sessao anterior.

8.4. Parametro critico de confiabilidade

Qualquer cadeia deixa de funcionar se ao menos um componente falhar. Quanto maior a cadeia, maior o risco de interrupcao.

8.5. Construcao de proxy judge

Um proxy judge e um recurso especializado baseado em script que mostra parametros de conexao e ajuda a determinar o nivel real de anonimato.

1. Quando uma requisicao HTTP chega a esse recurso, ele exibe o conjunto completo de cabecalhos e seus conteudos.
2. Esses dados permitem que verificadores de proxy determinem o tipo de recurso e seu grau de anonimato.
3. Escolher um recurso judge rapido e correto e fundamental para configurar sistemas automatizados de verificacao.

8.6. Enderecamento IP no espaco de rede

A internet e uma rede global de nos computacionais conectados por canais de comunicacao com fio e sem fio. Para que esses nos troquem informacoes, cada um precisa de um identificador unico: o endereco IP.

O formato mais comum hoje e o IPv4, ou seja, quatro octetos numericos de 0 a 255 separados por pontos.

8.7. Classificacao de faixas de IP

Para administracao e avaliacao de risco, e preciso distinguir entre faixas de enderecos privadas e perigosas.

8.8. Mecanismo DNSBL/RBL (Realtime Blocking List)

DNSBL ou RBL e uma lista estruturada de enderecos IP e nomes de dominio observados em atividade de rede nociva.

1. Motivos tipicos para inclusao incluem campanhas de spam, ataques DoS e DDoS e varredura ativa de portas.
2. As listas sao distribuidas por meio da infraestrutura DNS. Algumas bases tambem podem incluir enderecos IP dinamicos sem comportamento malicioso direto.
3. O principal objetivo do DNSBL e combater spam em email, comentarios e formularios de mensagem.

8.9. Procedimento para verificar um endereco IP em DNSBL/RBL

Para verificar seu IP nas listas de bloqueio mais confiaveis, abra a pagina do seu IP e verificacao RBL.

1. A verificacao e feita apenas nas listas de bloqueio em que a presenca realmente aponta para atividade potencialmente nociva. Listas dinamicas nao sao analisadas separadamente.
2. Quando a consulta terminar, voce vera a lista de bases que incluem o endereco e podera seguir o link ativo da fonte para identificar o motivo e o procedimento de remocao.

8.10. Conceito de botnet

O termo botnet combina as palavras robot e network e indica uma rede de dispositivos infectados sob controle centralizado.

1. Invasores usam virus, trojans e worms para controlar remotamente computadores de usuarios em todo o mundo.
2. Esses programas operam de forma oculta e consomem recursos do usuario sem que ele saiba.
3. Tarefas tipicas de uma botnet incluem spam, quebra de senhas, ataques DoS e inflacao artificial de cliques em redes de anuncios.