O quê?
Onde?
CONTRATAÇÃO URGENTE

Desenvolvedor(A) De Crawlers / Coleta De Dados (TI)

Rio de Janeiro - RJ
Salário a combinar
Híbrido
3 jan

Estamos em busca de um(a) profissional de TI para atuar no desenvolvimento, manutenção e evolução de crawlers e sistemas de coleta automatizada de dados, com foco em fontes web estruturadas e não estruturadas, alto volume de informações e integração com pipelines internos de processamento. Responsabilidade: Desenvolver e manter crawlers e scrapers para coleta de conteúdo em diferentes fontes (sites, portais, APIs, feeds e streams). Implementar estratégias para lidar com páginas dinâmicas, bloqueios, rate limits, captchas e variações de layout. Garantir a estabilidade, escalabilidade e resiliência dos processos de coleta. Tratar, normalizar e validar dados coletados antes do armazenamento. Integrar os crawlers com bancos de dados e serviços internos (APIs, filas, pipelines de processamento). Monitorar falhas, performance e qualidade dos dados coletados. Atuar na melhoria contínua de performance, paralelismo e uso eficiente de recursos. Trabalhar com versionamento de código e boas práticas de desenvolvimento. Requisitos Técnicos: Experiência sólida com Python para automação e coleta de dados. Conhecimento em bibliotecas e ferramentas de crawling/scraping (ex.: Requests, BeautifulSoup, Scrapy, Playwright, Selenium ou similares). Experiência com processamento assíncrono, multithreading ou multiprocessing. Conhecimento em bancos de dados relacionais e (MySQL) e escrita de queries. Familiaridade com APIs REST e integração entre serviços. Experiência em ambientes Linux. Noções de controle de erros, retries, timeout e tolerância a falhas. Diferenciais: Experiência com grande volume de dados e múltiplas fontes simultâneas. Conhecimento em Docker e ambientes containerizados. Experiência com filas, workers e processamento distribuído. Conhecimento em ferramentas de busca/indexação (ex.: Solr, Elasticsearch). Experiência com bloqueios anti-bot e técnicas de evasão (respeitando limites legais e técnicos). Vivência com monitoramento e logs em sistemas de coleta. Perfil Esperado: Perfil analítico e orientado a solução de problemas. Atenção a detalhes e preocupação com qualidade dos dados. Capacidade de trabalhar de forma autônoma e organizada. Boa comunicação para atuar em conjunto com equipes técnicas e de produto.

Número de vagas: 1

Tipo de contrato e Jornada: Prestador de Serviços (PJ) - Período Integral

Área Profissional: Técnico em Informática, TI, Telecomunicações - Programador / Desenvolvedor

Assine a Conta Premium agora!
Exigências
  • Escolaridade Mínima: Ensino Superior
Valorizado
  • Experiência desejada: Entre 5 e 10 anos
  • Inglês (Avançado), Português (Nativo)
  • Programação: Python
  • Sistemas Operacionais: Linux
  • Outros programas: Servidores Web, Servidores Proxy, Selenium
Habilidades
aws
docker
solr
webcrawler
MySQL
Python
Denunciar vaga

Outras vagas similares

Candidatar-me
Candidatar-me
Candidatar-me
Candidatar-me
Candidatar-me