Pular para o conteúdo

Selecionar língua

Idioma atual: Português (Brasil)

Data Science

Source: https://github.com/academic/awesome-datascience at ccc90503018e
License: MIT
Read the English original

This edition is an AI-assisted translation.

Awesome

Contribuições são bem-vindas — consulte CONTRIBUTING.md.

Um repositório de código aberto sobre ciência de dados para aprender e aplicar conceitos na resolução de problemas do mundo real.

Este é um caminho rápido para começar a estudar ciência de dados. Basta seguir as etapas para responder às perguntas: “O que é ciência de dados e o que devo estudar para aprendê-la?”


$ brew tap academic/tap
$ brew install academic

Creavit Studio: recording, editing, and motion in one app

Graphyn: visualize specialized agent workflows

Seja um patrocinador! github@academic.io

^ voltar ao topo ^

A ciência de dados é hoje um dos temas mais em alta no universo da computação e da internet. Até agora, as pessoas reuniram dados de aplicativos e sistemas; chegou o momento de analisá-los. As próximas etapas são gerar recomendações com base nos dados e fazer previsões sobre o futuro. Aqui você encontra a grande pergunta sobre ciência de dados e centenas de respostas de especialistas.

LinkPrévia
Ciência de dados para iniciantesA Microsoft tem o prazer de oferecer um currículo de 10 semanas e 20 aulas sobre ciência de dados.
O que é ciência de dados? @ O’ReillyCientistas de dados combinam empreendedorismo com paciência, disposição para criar produtos de dados gradualmente, capacidade de explorar e de iterar sobre uma solução. São, por natureza, interdisciplinares. Conseguem abordar todos os aspectos de um problema, desde a coleta e preparação inicial dos dados até a obtenção de conclusões. Pensam fora da caixa para encontrar novas maneiras de enxergar o problema ou trabalhar com questões muito amplas: “aqui há muitos dados; o que você consegue fazer com eles?”
O que é ciência de dados? @ QuoraA ciência de dados combina vários aspectos dos dados, como tecnologia, desenvolvimento de algoritmos e inferência de dados, para estudá-los, analisá-los e encontrar soluções inovadoras para problemas difíceis. Basicamente, trata-se de analisar dados e impulsionar o crescimento dos negócios de forma criativa.
A profissão mais atraente do século XXIHoje, cientistas de dados se assemelham aos “quants” de Wall Street das décadas de 1980 e 1990. Naquela época, pessoas com formação em física e matemática migravam para bancos de investimento e fundos de hedge, onde podiam criar algoritmos e estratégias de dados totalmente novos. Em seguida, diversas universidades desenvolveram programas de mestrado em engenharia financeira, formando uma segunda geração de profissionais mais acessível às empresas tradicionais. O padrão se repetiu no fim da década de 1990 com os engenheiros de busca, cujas habilidades raras logo passaram a ser ensinadas em cursos de ciência da computação.
WikipediaA ciência de dados é um campo interdisciplinar que usa métodos, processos, algoritmos e sistemas científicos para extrair conhecimento e insights de dados estruturados e não estruturados. Ela está relacionada à mineração de dados, ao aprendizado de máquina e aos grandes volumes de dados.
Como se tornar cientista de dadosCientistas de dados organizam grandes volumes de dados e coletam e analisam conjuntos extensos de dados estruturados e não estruturados. O trabalho combina ciência da computação, estatística e matemática. Eles analisam, processam e modelam dados e, em seguida, interpretam os resultados para criar planos de ação para empresas e outras organizações.
uma breve história de #cienciadedadosA história de como a profissão de cientista de dados se tornou atraente é, em grande parte, a história da união entre a disciplina madura da estatística e uma muito jovem: a ciência da computação. O termo “ciência de dados” surgiu recentemente para designar especificamente uma nova profissão, cuja missão é dar sentido aos vastos repositórios de big data. Mas interpretar dados tem uma longa história e vem sendo discutido por cientistas, estatísticos, bibliotecários, profissionais de computação e outros há anos. A linha do tempo a seguir acompanha a evolução do termo “ciência de dados”, seu uso, as tentativas de defini-lo e os termos relacionados.
Recursos de desenvolvimento de software para cientistas de dadosCientistas de dados se concentram em interpretar os dados por meio de análises exploratórias, estatística e modelos. Desenvolvedores de software aplicam outro conjunto de conhecimentos e ferramentas. Embora o foco possa parecer diferente, equipes de ciência de dados podem se beneficiar das boas práticas de desenvolvimento de software. Controle de versão, testes automatizados e outras habilidades de desenvolvimento ajudam a criar código e ferramentas reproduzíveis e prontos para produção.
Cientista de dados RoadmapA ciência de dados é uma excelente opção de carreira no mundo atual, orientado por dados, em que são gerados aproximadamente 328,77 milhões de terabytes de dados por dia. Esse número só cresce, aumentando a demanda por cientistas de dados qualificados que possam usar esses dados para impulsionar os negócios.
Navigating Your Path to Becoming a Cientista de dados_A ciência de dados é hoje uma das carreiras mais procuradas. Como as empresas dependem cada vez mais dos dados para tomar decisões, a necessidade de cientistas de dados qualificados cresceu rapidamente. Seja em empresas de tecnologia, organizações de saúde ou instituições governamentais, esses profissionais têm papel fundamental na transformação de dados brutos em insights valiosos. Mas como se tornar cientista de dados, especialmente se você está começando agora? _

^ voltar ao topo ^

Embora não seja estritamente indispensável, conhecer uma linguagem de programação é essencial para atuar com eficiência como cientista de dados. Atualmente, a linguagem mais popular é Python, seguida de perto por R. Python é uma linguagem de script de propósito geral, usada em uma grande variedade de áreas. R é uma linguagem específica para estatística, que já inclui muitas ferramentas estatísticas comuns.

Python é, de longe, a linguagem mais popular na ciência, em grande parte pela facilidade de uso e pelo vibrante ecossistema de pacotes criados pela comunidade. Há dois métodos principais para instalar pacotes: Pip (executado com pip install), o gerenciador que acompanha o Python, e Anaconda (executado com conda install), um poderoso gerenciador capaz de instalar pacotes para Python e R e baixar executáveis como o Git.

Ao contrário de R, Python não foi desenvolvido desde o início pensando em ciência de dados, mas há muitas bibliotecas de terceiros para compensar isso. Uma lista bem mais completa de pacotes aparece adiante; estes quatro são boas opções para começar sua jornada: Scikit-Learn é um pacote de ciência de dados de propósito geral que implementa os algoritmos mais populares — além de oferecer documentação abrangente, tutoriais e exemplos dos modelos implementados. Mesmo que você prefira escrever suas próprias implementações, o Scikit-Learn é uma referência valiosa para entender os detalhes de muitos algoritmos comuns. Com Pandas, é possível organizar e analisar dados em um formato de tabela conveniente. Numpy oferece ferramentas muito rápidas para operações matemáticas, com foco em vetores e matrizes. Seaborn, baseado no pacote Matplotlib, permite criar rapidamente visualizações bonitas dos dados, com várias configurações padrão úteis e uma galeria que ensina a produzir muitas visualizações comuns.

Ao iniciar sua jornada para se tornar cientista de dados, a escolha da linguagem não é particularmente importante: Python e R têm vantagens e desvantagens. Escolha a linguagem de que você gosta e confira um dos cursos gratuitos listados abaixo!

Se você está começando, este é um caminho simples recomendado:

  1. Aprenda Python – Comece pelo básico: variáveis, laços e funções
  2. Aprenda as bibliotecas essenciais – Pandas, NumPy, Matplotlib e Scikit-Learn
  3. Pratique com projetos para iniciantes – Experimente prever a sobrevivência no Titanic ou os preços de imóveis no Kaggle
  4. Aprenda os fundamentos da matemática – Estatística, álgebra linear e probabilidade
  5. Avance para o ML – Aprendizado supervisionado → não supervisionado → aprendizado profundo

Esta seção reúne frameworks e ferramentas de agentes úteis para fluxos de trabalho de ciência de dados.

  • ADK-Rust - Kit de desenvolvimento de agentes de IA para Rust, pronto para produção e independente de modelos (Gemini, OpenAI, Anthropic), com vários tipos de agente (LLM, grafo, fluxo de trabalho), suporte a MCP e telemetria integrada.
  • Lumen - Framework de agentes para conversar com dados e transformar linguagem natural em SQL, pipelines de transformação e visualizações. Gera especificações declarativas que podem ser inspecionadas, editadas, reabertas em um notebook ou combinadas em um painel.
  • Frostbyte MCP - Servidor MCP que oferece 13 ferramentas de dados para agentes de IA: preços de criptomoedas em tempo real, geolocalização de IP, consultas DNS, extração de páginas da web em Markdown, execução de código e capturas de tela. Uma chave de API para mais de 40 serviços.
  • Arch Tools - 61 ferramentas de API de IA prontas para produção em fluxos de ciência de dados: análise de código, extração de dados da web, PLN, geração de imagens, dados de criptomoedas e busca. Compatível com API REST e protocolo MCP. GitHub
  • Not Human Search - Mecanismo de busca para agentes de IA que indexa mais de 9.000 ferramentas e APIs de IA e avalia a prontidão de cada uma para agentes (llms.txt, OpenAPI, MCP, ai-plugin.json). Oferece API REST e servidor MCP para descoberta programática de ferramentas. GitHub
  • DeepAlpha - Framework de negociação de criptomoedas com IA, usando conjunto LightGBM + XGBoost com 72 atributos de ML. Precisão de 70,9% validada por walk-forward em dados fora da amostra. Compatível com Bybit e Binance. Licença MIT, disponível no PyPI.
  • CAJAL - Agente local de IA para gerar artigos científicos prontos para publicação, com citações reais do arXiv, estrutura IMRaD e pontuação por banca avaliadora. Funciona 100% offline pelo Ollama com modelos de 4B a 9B. Licença MIT. HuggingFace
  • ai-evaluation - Framework de código aberto para avaliar LLMs e agentes, com mais de 50 métricas, avaliação complementar por LLM-as-Judge e verificadores de proteções (jailbreak, dados pessoais e injeção de prompt). Útil para pontuar resultados de RAG, trajetórias de agentes e comportamento de chamadas de função em fluxos de ciência de dados.
  • Kitaru - Plataforma de código aberto que registra execuções reais de agentes de IA, reproduz essas execuções diante de alterações e avalia os resultados antes da implantação.
  • Jev Social - Agente de pesquisa social somente leitura que permite ao Jev escolher operações limitadas no Instagram, TikTok e LinkedIn, executa-as pelo CLI local do socai no Chrome e mantém evidências com links para as fontes junto a um relatório com citações.
  • YYLO Benchmark - Executor de experimentos de código aberto em host confiável para tarefas históricas de agentes, prompts de programação fornecidos e fluxos de trabalho. Executa tentativas independentes e mantém os resultados, permitindo comparar posteriormente modelos, harnesses e configurações com diferentes verificações ou avaliadores. Licença MIT.
  • YYLO - Orquestrador de linha de comando de código aberto para agentes de programação e fluxos repetíveis, com limites tipados para tarefas, validação, mesclagem e prontidão para lançamento, além de alterações no repositório respaldadas por comprovantes. Licença MIT; instalável via npm.
  • YYLO Ledger - Registro de tarefas e fluxos de trabalho em linha de comando para projetos com agentes de programação: armazena o quadro Kanban e o estado das tarefas como Markdown encadeado por hashes dentro do repositório, acompanha comprovantes e arquivos e coordena fluxos tipados de mesclagem e lançamento entre worktrees de agentes. Licença MIT.
  • BGPT MCP - Servidor MCP que dá a agentes de IA acesso a um banco de artigos científicos criado a partir de dados experimentais brutos extraídos de estudos em texto integral. Retorna mais de 25 campos estruturados por artigo, incluindo métodos, resultados, tamanhos de amostra e pontuações de qualidade. GitHub

  • Chunk Tuner - Biblioteca Python e servidor MCP de código aberto para comparar estratégias de divisão de documentos em blocos para RAG, pontuar a qualidade da recuperação e recomendar configurações para um corpus.

  • II-Commons - Skill e CLI atualizados diariamente para recuperação determinística em arXiv, PubMed/PMC e corpora selecionados de políticas dos EUA.

  • Spraay x402 Gateway - Gateway de pagamento x402 com 23 endpoints de pesquisa e referência para agentes de IA: Wikipedia, arXiv, PubMed, Wikidata, busca de citações acadêmicas, extração de entidades e muito mais. Pagamento por chamada em USDC na Base e na Solana — sem chaves de API ou assinaturas. Também oferece mais de 150 endpoints em 39 categorias, incluindo dados geoespaciais, inferência de IA, DeFi e computação. GitHub

  • Suppr - Busca de literatura com IA, tradução de documentos e espaço de trabalho para pesquisa aprofundada.

^ voltar ao topo ^

  • sim - A interface do Sim Studio é leve e intuitiva, permitindo criar e implantar rapidamente LLMs conectados às suas ferramentas favoritas.

^ voltar ao topo ^

  • Synthetic Hospital - Uma plataforma de benchmark médico e simulação de prontuários eletrônicos de saúde

^ voltar ao topo ^

Como aprender ciência de dados? Praticando ciência de dados, é claro! Tudo bem, isso talvez não ajude muito quando você está começando. Nesta seção, listamos alguns recursos de aprendizado, em ordem aproximada do menor para o maior nível de dedicação: tutoriais, cursos online abertos e massivos (MOOCs), programas intensivos e faculdades e universidades.

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

Esta seção reúne pacotes, ferramentas, algoritmos e outros recursos úteis do universo da ciência de dados.

^ voltar ao topo ^

Estes são alguns algoritmos e modelos de aprendizado de máquina e mineração de dados que ajudam a entender seus dados e extrair significado deles.

Três tipos de sistemas de aprendizado de máquina

Seção intitulada “Três tipos de sistemas de aprendizado de máquina”
  • Baseados em treinamento com supervisão humana
  • Baseados em aprendizado incremental em tempo real
  • Baseados na comparação de pontos de dados e na detecção de padrões
  • datacompy - DataComPy é um pacote para comparar dois DataFrames do Pandas.

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

LinkDescrição
The Data Science Lifecycle ProcessO Processo do Ciclo de Vida da Ciência de Dados ajuda equipes a transformar ideias em valor de forma contínua e sustentável. O processo está documentado neste repositório.
Repositório-modelo para o ciclo de vida da ciência de dadosRepositório-modelo para projetos do ciclo de vida da ciência de dados
TabGANGeração de dados tabulares sintéticos com GANs, modelos de difusão e LLMs, usando filtragem adversarial e métricas de privacidade.
RexMexBiblioteca de métricas de recomendação de propósito geral para avaliações justas.
ChemicalXBiblioteca de aprendizado profundo baseada em PyTorch para pontuar pares de medicamentos.
FileShot.ioCompartilhamento seguro de arquivos com criptografia de conhecimento zero (AES-256-GCM no navegador). Não exige conta, tem licença MIT, pode ser auto-hospedado e permite definir a expiração dos links.
CorpusExplorerSoftware para linguistas de corpus e entusiastas de mineração de texto e dados. Crie seus próprios corpora em mais de 60 idiomas e use mais de 50 ferramentas e visualizações.
PyTorch Geometric TemporalAprendizado de representações em grafos dinâmicos.
Little Ball of FurBiblioteca de amostragem de grafos para NetworkX, com API semelhante à do Scikit-Learn.
Karate ClubBiblioteca de extensão para aprendizado de máquina não supervisionado no NetworkX, com API semelhante à do Scikit-Learn.
ML WorkspaceIDE completa baseada na web para aprendizado de máquina e ciência de dados. O ambiente é implantado como um contêiner Docker e vem pré-carregado com bibliotecas populares de ciência de dados (como TensorFlow e PyTorch) e ferramentas de desenvolvimento (como Jupyter e VS Code).
xonsh shellShell baseado em Python que permite integrar, gerenciar e orquestrar bibliotecas de ciência de dados, em sua maioria escritas em Python, possibilitando criar pipelines e fluxos de trabalho baseados em código e comandos. Também pode ser usado como kernel do Jupyter Notebook.
Neptune.aiPlataforma colaborativa que ajuda cientistas de dados a criar e compartilhar modelos de aprendizado de máquina. Neptune facilita o trabalho em equipe, o gerenciamento da infraestrutura, a comparação de modelos e a reprodutibilidade.
steppyBiblioteca Python leve para experimentação rápida e reproduzível com aprendizado de máquina. Oferece uma interface simples que permite projetar pipelines de aprendizado de máquina organizados.
steppy-toolkitColeção selecionada de redes neurais, transformers e modelos que tornam seu trabalho com aprendizado de máquina mais rápido e eficaz.
Datalab do GoogleExplore, visualize, analise e transforme dados de forma interativa usando linguagens conhecidas, como Python e SQL.
Hortonworks Sandboxé um ambiente Hadoop pessoal e portátil que inclui uma dúzia de tutoriais interativos sobre Hadoop.
Ré um ambiente de software livre para computação estatística e criação de gráficos.
Tidyverseé uma coleção opinativa de pacotes R voltada à ciência de dados. Todos compartilham uma filosofia de design, uma gramática e estruturas de dados subjacentes.
RStudioIDE — uma interface de usuário poderosa para R. É gratuita, de código aberto e funciona no Windows, Mac e Linux.
Python - Pandas - AnacondaDistribuição Python totalmente gratuita, pronta para uso corporativo em processamento de dados em larga escala, análise preditiva e computação científica.
Interface gráfica para o PandasInterface gráfica para o Pandas
NuriStatAlternativa gratuita e de código aberto ao SPSS: estatística para desktop baseada em menus (testes t, ANOVA, regressão, análise de sobrevivência, ROC), com importação e exportação de arquivos SPSS .sav.
PolarsBiblioteca rápida de DataFrames para Rust e Python, projetada como alternativa mais veloz ao Pandas.
CiteMegerador gratuito de citações acadêmicas com verificador integrado que sinaliza referências inventadas ou alucinadas. Pesquisa em mais de 11 bases acadêmicas (OpenAlex, PubMed, Semantic Scholar, CrossRef, SciELO), formata em mais de 40 estilos de citação e oferece uma API pública. Não exige cadastro; disponível em inglês, espanhol, português, francês e alemão.
Scikit-LearnAprendizado de máquina em Python
NumPyNumPy é essencial para computação científica com Python. Oferece suporte a matrizes e arrays multidimensionais de grande porte e inclui diversas funções matemáticas de alto nível para operar sobre eles.
VaexVaex é uma biblioteca Python que permite visualizar grandes conjuntos de dados e calcular estatísticas em alta velocidade.
SciPySciPy trabalha com arrays NumPy e oferece rotinas eficientes para integração numérica e otimização.
Data Science ToolboxCurso da Coursera
Data Science ToolboxBlog
Wolfram Data Science PlatformAplique a tecnologia Wolfram a dados numéricos, textuais, imagens, GIS e outros: realize uma ampla variedade de análises e visualizações de ciência de dados e gere automaticamente relatórios interativos e detalhados — tudo com a revolucionária linguagem Wolfram, baseada em conhecimento.
DatadogSoluções, código e DevOps para ciência de dados em larga escala.
VarianceCrie visualizações de dados poderosas para a web sem escrever JavaScript.
Kite Development KitO Kit de Desenvolvimento de Software Kite (Apache License, versão 2.0), ou simplesmente Kite, é um conjunto de bibliotecas, ferramentas, exemplos e documentação destinado a facilitar a criação de sistemas sobre o ecossistema Hadoop.
Domino Data LabsExecute, dimensione, compartilhe e implante seus modelos — sem infraestrutura nem configuração.
Apache FlinkUma plataforma eficiente, distribuída e de propósito geral para processamento de dados.
Apache HamaApache Hama é um projeto de código aberto de nível superior da Apache que permite realizar análises avançadas além do MapReduce.
WekaWeka é uma coleção de algoritmos de aprendizado de máquina para tarefas de mineração de dados.
OctaveGNU Octave é uma linguagem interpretada de alto nível, destinada principalmente a cálculos numéricos (Matlab gratuito).
Apache SparkComputação em cluster ultrarrápida
Hydrosphere Mistum serviço para disponibilizar tarefas analíticas do Apache Spark e modelos de aprendizado de máquina como serviços web em tempo real, em lote ou reativos.
Data MechanicsPlataforma de ciência e engenharia de dados que torna o Apache Spark mais amigável para desenvolvedores e econômico.
CaffeFramework de aprendizado profundo
TorchUM FRAMEWORK DE COMPUTAÇÃO CIENTÍFICA PARA LUAJIT
Framework de aprendizado profundo da Nervana baseado em PythonFramework de referência de aprendizado profundo da Intel® Nervana™, voltado ao melhor desempenho em qualquer hardware.
SkaleProcessamento distribuído de dados de alto desempenho em NodeJS.
AerosolveUm pacote de aprendizado de máquina feito para pessoas.
Intel frameworkIntel® Framework de aprendizado profundo
DatawrapperPlataforma de visualização de dados de código aberto que ajuda qualquer pessoa a criar gráficos simples, corretos e incorporáveis. Também disponível em github.com
Tensor FlowTensorFlow é uma biblioteca de software de código aberto para inteligência de máquina.
Kit de ferramentas de linguagem naturalKit de ferramentas introdutório, porém poderoso, para processamento e classificação de linguagem natural.
FunASRKit de ferramentas de reconhecimento de fala de nível industrial, compatível com mais de 50 idiomas e com VAD, pontuação, diarização de locutores e detecção de emoções integrados. Inclui servidor de API compatível com OpenAI.
Annotation LabPlataforma gratuita, completa e sem código para anotação de texto e treinamento/ajuste de modelos de aprendizado profundo. Oferece suporte pronto para uso a modelos Spark NLP de reconhecimento de entidades nomeadas, classificação, extração de relações e status de afirmação. Suporte ilimitado a usuários, equipes, projetos e documentos.
nlp-toolkit for node.jsEste módulo abrange alguns princípios e implementações básicos de PLN. O foco principal é o desempenho. Ao trabalhar com dados de amostra ou treinamento em PLN, a memória pode se esgotar rapidamente. Por isso, cada implementação do módulo é escrita como fluxo, mantendo na memória apenas os dados que estão sendo processados naquele momento.
JuliaLinguagem dinâmica de programação de alto nível e alto desempenho para computação técnica.
IJuliaUm backend da linguagem Julia integrado ao ambiente interativo Jupyter.
Apache ZeppelinNotebook baseado na web que permite análises de dados interativas e orientadas por dados, além de documentos colaborativos com SQL, Scala e outras linguagens.
FeaturetoolsFramework de código aberto para engenharia automatizada de atributos, escrito em Python.
OptimusLimpeza, pré-processamento, engenharia de atributos, análise exploratória de dados e ML simplificado com backend PySpark.
AlbumentationsBiblioteca rápida e independente de frameworks para aumento de imagens, que implementa diversas técnicas de aumento. Oferece suporte imediato a classificação, segmentação e detecção. Foi usada para vencer várias competições de aprendizado profundo no Kaggle, Topcoder e workshops da CVPR.
DVCSistema de controle de versão de código aberto para ciência de dados. Ajuda a acompanhar, organizar e tornar reproduzíveis projetos de ciência de dados. Em seu uso mais básico, permite versionar e compartilhar arquivos grandes de dados e modelos.
Lambdoé um mecanismo de fluxo de trabalho que simplifica bastante a análise de dados ao combinar em um único pipeline: (i) engenharia de atributos e aprendizado de máquina; (ii) treinamento e previsão de modelos; (iii) preenchimento de tabelas e avaliação de colunas.
FeastUm repositório de atributos para gerenciar, descobrir e acessar atributos de aprendizado de máquina. O Feast oferece uma visão consistente dos dados de atributos tanto para treinamento quanto para disponibilização de modelos.
PolyaxonUma plataforma para aprendizado de máquina e aprendizado profundo reproduzíveis e escaláveis.
UBIAIFerramenta de anotação de texto fácil de usar para equipes, com recursos abrangentes de anotação automática. Oferece suporte a NER, relações e classificação de documentos, além de anotação por OCR para rotulagem de faturas.
TrainsGerenciador de experimentos automatizado, controle de versão e DevOps para IA.
HopsworksPlataforma de aprendizado de máquina de código aberto e intensiva em dados, com repositório de atributos. Ingira e gerencie atributos para acesso online (MySQL Cluster) e offline (Apache Hive), e treine e disponibilize modelos em escala.
MindsDBMindsDB é um framework AutoML explicável para desenvolvedores. Com ele, é possível criar, treinar e usar modelos de ML de última geração com apenas uma linha de código.
LightwoodFramework baseado em PyTorch que divide problemas de aprendizado de máquina em blocos menores, facilmente combináveis, para criar modelos preditivos com uma única linha de código.
AWS Data WranglerPacote Python de código aberto que amplia os recursos da biblioteca Pandas na AWS, conectando DataFrames a serviços de dados da AWS (Amazon Redshift, AWS Glue, Amazon Athena, Amazon EMR etc.).
Amazon RekognitionO AWS Rekognition é um serviço que permite a desenvolvedores que usam a Amazon Web Services adicionar análise de imagens aos aplicativos. Catalogue ativos, automatize fluxos de trabalho e extraia significado de suas mídias e aplicações.
Amazon TextractExtraia automaticamente texto impresso, escrita à mão e dados de qualquer documento.
Amazon Lookout for VisionDetecte defeitos em produtos com visão computacional para automatizar a inspeção de qualidade. Identifique componentes ausentes, danos em veículos e estruturas e irregularidades para um controle de qualidade abrangente.
Amazon CodeGuruAutomatize revisões de código e otimize o desempenho de aplicações com recomendações baseadas em ML.
CMLKit de ferramentas de código aberto para usar integração contínua em projetos de ciência de dados. Treine e teste modelos automaticamente em ambientes semelhantes à produção com GitHub Actions e GitLab CI, e gere relatórios visuais automaticamente em pull/merge requests.
DaskBiblioteca Python de código aberto que facilita a migração de código analítico para sistemas de computação distribuída (big data).
DuckDBSistema de gerenciamento de banco de dados OLAP SQL executado no processo.
StatsmodelsFramework baseado em Python para estatística inferencial, teste de hipóteses e regressão.
GensimBiblioteca de código aberto para modelagem de tópicos em textos em linguagem natural.
spaCyKit de ferramentas de alto desempenho para processamento de linguagem natural.
Grid StudioGrid Studio é um aplicativo de planilhas baseado na web, totalmente integrado à linguagem de programação Python.
Manual de ciência de dados com PythonManual de ciência de dados com Python: texto completo em notebooks Jupyter.
ShapleyFramework orientado por dados para quantificar o valor dos classificadores em um conjunto de modelos de aprendizado de máquina.
DAGsHubPlataforma baseada em ferramentas de código aberto para gerenciamento de dados, modelos e pipelines.
DeepnoteUm novo tipo de notebook de ciência de dados. Compatível com Jupyter, com colaboração em tempo real e execução na nuvem.
ValohaiPlataforma MLOps que gerencia a orquestração de máquinas, a reprodutibilidade automática e a implantação.
PyMC3Biblioteca Python para programação probabilística (inferência bayesiana e aprendizado de máquina).
PyStanInterface Python para Stan (inferência e modelagem bayesianas).
hmmlearnAprendizado não supervisionado e inferência de modelos ocultos de Markov.
Chaos GeniusMecanismo analítico com ML para detecção de valores discrepantes/anomalias e análise de causa raiz.
PySADBiblioteca Python para detecção de anomalias em dados em fluxo.
NimbleboxPlataforma MLOps full-stack criada para ajudar cientistas de dados e profissionais de aprendizado de máquina do mundo todo a descobrir, criar e lançar aplicativos multicloud pelo navegador.
TowheeBiblioteca Python que ajuda a codificar dados não estruturados em embeddings.
LineaPyJá se frustrou ao organizar notebooks Jupyter longos e confusos? Com LineaPy, uma biblioteca Python de código aberto, bastam duas linhas de código para transformar código de desenvolvimento desorganizado em pipelines de produção.
envd🏕️ Ambiente de desenvolvimento de aprendizado de máquina para equipes de engenharia de ciência de dados e IA/ML.
Explore bibliotecas de ciência de dadosFerramenta de busca 🔎 para descobrir uma lista selecionada de bibliotecas populares e novas, principais autores, kits de projeto em alta, discussões, tutoriais e recursos de aprendizado.
MLEM🐶 Versione e implante seus modelos de ML seguindo os princípios de GitOps.
MLflowFramework MLOps para gerenciar modelos de ML durante todo o ciclo de vida.
cleanlabBiblioteca Python para IA centrada em dados e detecção automática de vários problemas em conjuntos de dados de ML.
AutoGluonAutoML para gerar facilmente previsões precisas para dados de imagens, textos, tabelas, séries temporais e multimodais.
Arize AIFerramenta de observabilidade da versão comunitária do Arize AI para monitorar modelos de aprendizado de máquina em produção e identificar causas de problemas como qualidade dos dados e desvio de desempenho.
Aureo.ioAureo.io é uma plataforma low-code voltada à criação de inteligência artificial. Ela permite criar pipelines e automações e integrá-los a modelos de IA, tudo a partir de dados básicos.
ERD LabFerramenta gratuita na nuvem para criar diagramas entidade-relacionamento (ERD), desenvolvida para programadores.
Arize-PhoenixMLOps em um notebook: descubra insights, identifique problemas, monitore e ajuste seus modelos.
CometPlataforma MLOps com acompanhamento de experimentos, gerenciamento de modelos em produção, registro de modelos e linhagem completa de dados para apoiar seu fluxo de trabalho de ML, do treinamento à produção.
OpikAvalie, teste e publique aplicações de LLM ao longo dos ciclos de desenvolvimento e produção.
SynthicalAmbiente colaborativo de pesquisa com tecnologia de IA. Encontre artigos relevantes, crie coleções para gerenciar bibliografias e resuma conteúdos — tudo em um só lugar.
teeplotFerramenta de fluxo de trabalho para organizar automaticamente resultados de visualização de dados.
StreamlitFramework de aplicativos para projetos de aprendizado de máquina e ciência de dados.
GradioCrie componentes de interface personalizáveis para modelos de aprendizado de máquina.
Weights & BiasesAcompanhamento de experimentos, controle de versão de conjuntos de dados e gerenciamento de modelos.
DVCSistema de controle de versão de código aberto para projetos de aprendizado de máquina.
OptunaFramework de software para otimização automática de hiperparâmetros.
Ray TuneBiblioteca escalável para ajuste de hiperparâmetros.
Apache AirflowPlataforma para criar, agendar e monitorar fluxos de trabalho de forma programática.
PrefectSistema de gerenciamento de fluxos de trabalho para pilhas modernas de dados.
KedroFramework Python de código aberto para criar código de ciência de dados reproduzível e sustentável.
HamiltonBiblioteca leve para criar e gerenciar transformações de dados confiáveis.
SHAPAbordagem baseada na teoria dos jogos para explicar o resultado de qualquer modelo de aprendizado de máquina.
InterpretMLInterpretML implementa a Explainable Boosting Machine (EBM), um modelo moderno de aprendizado de máquina totalmente interpretável, baseado em modelos aditivos generalizados (GAMs). Este pacote de código aberto também oferece ferramentas de visualização para EBMs, outros modelos de caixa de vidro e explicações de modelos de caixa preta.
LIMEExplicação das previsões de qualquer classificador de aprendizado de máquina.
flytePlataforma de automação de fluxos de trabalho para aprendizado de máquina.
dbtFerramenta de construção de dados.
zasperIDE turbinada para ciência de dados.
skrubBiblioteca Python para facilitar o pré-processamento e a engenharia de atributos em aprendizado de máquina tabular.
GlyphBiblioteca TypeScript independente de frameworks para gerar, buscar e comparar impressões digitais MinHash, possibilitando similaridade de texto, deduplicação e recuperação rápidas.
CodeflashEntregue código Python extremamente rápido — sempre.
Hugging FacePlataforma aberta e popular para compartilhar modelos de ML e conjuntos de dados e colaborar em projetos de PLN e IA generativa.
Chinese-EliteProjeto de código aberto que mapeia automaticamente redes de relacionamentos analisando dados públicos com LLMs e os visualiza como um grafo interativo.
DesbordanteUm criador de perfis de dados de código aberto, voltado especificamente à descoberta e validação de padrões complexos, como regras de associação numéricas, dependências diferenciais, restrições de negação, e muito mais.
dna-claude-analysisKit de ferramentas para análise de genomas pessoais, com scripts Python que analisam dados brutos de DNA em 17 categorias (riscos à saúde, ancestralidade, farmacogenômica, nutrição, psicologia e mais) e geram uma visualização HTML de página única no estilo de terminal.
RunMatAmbiente de execução rápido com sintaxe MATLAB, execução automática em CPU/GPU e kernels de array combinados.
TurbostreamInterface de terminal para experimentar mecanismos de regras personalizados e análise seletiva por LLM em fluxos de dados em tempo real, sem se preocupar com infraestrutura de streaming ou contrapressão.
WFGY ProblemMap“Atlas de falhas” de código aberto com 16 problemas recorrentes em pipelines de LLM e RAG, sintomas observáveis e correções sugeridas para equipes de ciência de dados.
DeploybaseAcompanhe em tempo real os preços de GPUs e LLMs em provedores de nuvem e inferência.
DeepAnalyzeLLM agêntico para ciência de dados autônoma, capaz de executar sozinho uma ampla variedade de tarefas de ciência de dados sem intervenção humana.
DiscoAnálise exploratória de dados sobre-humana. Encontra interações entre atributos e efeitos de subgrupos em dados tabulares que LLMs e análises manuais não percebem — com valores-p, tamanhos de efeito e citações bibliográficas. Gratuito para dados públicos.
AI for DatabaseConverse com seu banco de dados em linguagem natural — sem precisar de SQL. Obtenha insights instantâneos, crie painéis que se atualizam sozinhos e acione fluxos automatizados com base em alterações no banco.
Crypto Pump ScannerBot de negociação de criptomoedas com IA e rede neural LSTM (84,6% de precisão). Detecção de pump em tempo real, modelos validados com walk-forward e suporte a várias exchanges (Bybit, Binance, OKX, Gate.io). Código aberto.
Future AGIPlataforma de código aberto para simular, avaliar, rastrear, proteger, rotear e otimizar aplicações com LLMs e agentes de IA em um único ciclo de feedback, para que os agentes não apenas sejam monitorados, mas também se aprimorem. Pode ser auto-hospedada. Apache-2.0.
ipynbtopdfVisualizador e exportador de notebooks Jupyter baseado no navegador, que converte notebooks .ipynb em PDF, HTML e Python sem instalar Python ou TeX.

^ voltar ao topo ^

Esta seção inclui materiais adicionais de leitura, canais para assistir e palestras para ouvir.

^ voltar ao topo ^

Revistas científicas, publicações e periódicos

Seção intitulada “Revistas científicas, publicações e periódicos”

^ voltar ao topo ^

^ voltar ao topo ^

  • AI Weekly - Boletim selecionado de inteligência artificial, com especialistas do setor abordando modelos, financiamento, políticas e aplicações. Publicado 3 vezes por semana desde 2017, com mais de 40 mil assinantes.
  • DataTalks.Club. Um boletim semanal sobre temas relacionados a dados. Arquivo.
  • The Analytics Engineering Roundup. Um boletim informativo sobre ciência de dados. Arquivo.
  • Techpresso. Boletim diário gratuito que cobre os avanços mais importantes em IA, ML e tecnologia. Arquivo.
  • DiamantAI. Engenharia prática de IA e IA generativa explicadas de forma simples: RAG, agentes e padrões de aplicação de LLM para quem desenvolve.
  • Bamboo Weekly - Exercícios semanais de Pandas baseados em acontecimentos atuais e dados públicos do mundo real, com soluções completas. Edições com mais de dois anos são gratuitas, assim como as duas primeiras perguntas e respostas das edições atuais. Arquivo.

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

^ voltar ao topo ^

Abaixo estão alguns links de redes sociais. Conecte-se com outros cientistas de dados!

^ voltar ao topo ^

^ voltar ao topo ^

TwitterDescrição
Big Data CombineDemonstrações rápidas e ao vivo para cientistas de dados que buscam monetizar seus modelos como estratégias de negociação
Big Data ManiaEspecialista em visualização de dados, jornalista de dados, growth hacker e autor de Data Science for Dummies (2015)
Big Data ScienceBig data, ciência de dados, modelagem preditiva, análise de negócios, Hadoop, pesquisa operacional e de decisão.
Charlie GreenbackerDiretor de ciência de dados na @ExploreAltamira
Chris SaidCientista de dados no Twitter
Clare CorthellDesenvolvimento, design e ciência de dados na @mattermark #hackerei
DADI Charles-Abner#cientistadedados @Ekimetrics. #aprendizadodemaquina #visualizacaodedados #graficosdinamicos #Hadoop #R #Python #PLN #Bitcoin #entusiastadedados
Central de ciência de dadosData Science Central é o principal recurso do setor para profissionais de big data.
Ciência de dados em LondresCiência de dados. Big data. Hacks de dados. Viciados em dados. Startups de dados. Dados abertos.
Data Science ReneeDocumentando minha trajetória de analista de dados SQL cursando mestrado em engenharia até me tornar cientista de dados
Data Science ReportA missão é orientar e impulsionar carreiras em ciência de dados e análise de dados.
Data Science TipsDicas e truques para cientistas de dados do mundo todo! #cienciadedados #bigdata
Data VizzardVisualização de dados, segurança e assuntos militares
DataScienceX
deeplearning4j
DJ PatilChefe de dados da Casa Branca, vice-presidente na @RelateIQ.
Domino Data Lab
Drew ConwayNerd de dados, hacker e estudioso de conflitos.
Emilio Ferrara#Redes, #AprendizadodeMáquina e #CiênciadeDados. Trabalho com #RedesSociais. Pesquisador de pós-doutorado na @IndianaUniv
Erin BartoloTrabalho com #BigData — tenho uma relação de amor e ódio com todo o hype. Gerente do programa de #CiênciadeDados da @iSchoolSU.
Greg RedaTrabalhando com dados e pandas na GrubHub
Gregory PiatetskyPresidente da KDnuggets, especialista em análise, big data, mineração de dados e ciência de dados; cofundador da KDD e da SIGKDD; ex-cientista-chefe de duas startups e filósofo nas horas vagas.
Hadley WickhamCientista-chefe da RStudio e professor adjunto de estatística na Universidade de Auckland, na Universidade Stanford e na Universidade Rice.
Hakan KardasCientista de dados
Hilary MasonCientista de dados residente na @accel.
Jeff HammerbacherCompartilha publicações sobre ciência de dados
John Myles WhiteCientista no Facebook e desenvolvedor de Julia. Autor de Machine Learning for Hackers e Bandit Algorithms for Website Optimization. Os tweets expressam apenas minhas opiniões.
Juan Miguel LavistaCientista de dados principal na equipe de ciência de dados da Microsoft
Julia EvansHacker - Pandas - análise de dados
Kenneth CukierEditor de dados do The Economist e coautor de Big Data (https://www.big-data-book.com/).
Kevin DavenportOrganizador de https://www.meetup.com/San-Diego-Data-Science-R-Users-Group/
Kevin MarkhamInstrutor de ciência de dados e fundador da Data School
Kim ReesVisualização interativa de dados e ferramentas. Flâneur de dados.
Kirk BorneCientista de dados, doutor em astrofísica e grande influenciador de #BigData.
Linda RegberNarrativa de dados e visualizações.
Luis ReiDoutorando. Programação, dispositivos móveis e web. Inteligência artificial, robótica inteligente, aprendizado de máquina, mineração de dados, processamento de linguagem natural e ciência de dados.
Mark StevensonEspecialista em recrutamento de análise de dados na Salt (@SaltJobs). Análise - insights - big data - ciência de dados
Matt HarrisonOpiniões de um profissional Python full-stack, autor e instrutor que atualmente atua como cientista de dados. Às vezes pai, marido e jardineiro orgânico.
Matthew RussellMinerando a web social.
Mert NuhoğluCientista de dados na BizQualify e desenvolvedor
Monica RogatiDados na Jawbone. Transformou dados em histórias e produtos no LinkedIn. Mineração de texto, aprendizado de máquina aplicado e sistemas de recomendação. Ex-jogadora, ex-programadora de máquinas e criadora de nomes.
Noah IliinskyDesigner de visualização e interação. Ciclista prática. Autora de livros sobre visualização: https://www.oreilly.com/pub/au/4419
Paul MillerAnalista e consultor de computação em nuvem, big data e dados abertos. Escritor, palestrante e moderador. Analista de pesquisa da Gigaom.
Peter SkomorochCriando sistemas inteligentes para automatizar tarefas e melhorar decisões. Empreendedor, ex-cientista de dados principal no @LinkedIn. Aprendizado de máquina, ProductRei e redes.
Prash ChanArquiteto de soluções na IBM, blogueiro de gerenciamento de dados mestres, qualidade de dados e governança de dados. Ciência de dados, Hadoop, big data e nuvem.
Quora Data ScienceTópico de ciência de dados do Quora
R-BloggersPublica posts da blogosfera de R, conferências de ciência de dados e (!) vagas abertas para cientistas de dados.
Rand Hindi
Randy OlsonCientista da computação que pesquisa inteligência artificial. Entusiasta de dados. Líder comunitário da @DataIsBeautiful. Defensor da #CiênciaAberta.
Recep ErolEntusiasta de ciência de dados na UALR
Ryan OrbanCientista de dados, origamista genético e entusiasta de hardware
Sean J. TaylorCientista social. Hacker. Equipe de ciência de dados do Facebook. Temas: experimentos, inferência causal, estatística, aprendizado de máquina e economia.
Silvia K. Spiva#CiênciadeDados na Cisco
Harsh B. GuptaCientista de dados no BBVA Compass
Spencer NelsonNerd de dados
Talha OzGosta de ABM, SNA, DM, ML, PLN, HI, Python e Java. Está entre os melhores participantes do Kaggle/cientistas de dados.
Tasos SkarlatidisProcessamento de eventos complexos, big data, inteligência artificial e aprendizado de máquina. Apaixonado por programação e código aberto.
Terry TimkoGovernança da informação; big data; dados como serviço; ciência de dados; convergência de dados abertos, sociais e empresariais
Tony BaerAnalista de TI da Ovum, cobrindo big data e gerenciamento de dados, com um pouco de engenharia de sistemas.
Tony OjedaCientista de dados, autor e empreendedor. Cofundador da @DataCommunityDC. Fundador da @DistrictDataLab. #CiênciadeDados #BigData #DataDC
Vamshi AmbatiCiência de dados no PayPal. #PLN, #aprendizadodemaquina; doutor e ex-aluno da Carnegie Mellon (blog: https://allthingsds.wordpress.com )
Wes McKinneyPandas (biblioteca de análise de dados para Python).
WileyEdGerente sênior de análise de big data na @Seagate, ex-McKinsey. Evangelista de #BigData e #Analytics. Entusiasta de #Hadoop, #Nuvem, #Digital e #R.
WNYC Data News TeamA equipe de notícias de dados da @WNYC. Fazemos jornalismo orientado por dados, damos forma visual às histórias e mostramos nosso trabalho.
Alexey GrigorevAutor de ciência de dados
İlker ArslanAutor de ciência de dados. Compartilha principalmente sobre programação em Julia.
INEVITABLEStartup de IA e ciência de dados sediada na Inglaterra, Reino Unido
Jan Oliver RüdigerML, aprendizado profundo e ciência de dados — com foco em mineração de texto e dados

^ voltar ao topo ^

  • Open Data Science – Primeiro canal de ciência de dados do Telegram. Aborda temas técnicos e populares relacionados à ciência de dados: IA, big data, aprendizado de máquina, estatística, matemática em geral e suas aplicações.
  • Loss function porn — Publicações bonitas sobre ciência de dados e aprendizado de máquina, com visualizações em vídeo ou gráficos.
  • Machinelearning – Notícias diárias sobre ML.

voltar ao topo

Algumas plataformas de competições de mineração de dados

^ voltar ao topo ^

PréviaDescrição
Principais diferenças entre cientista de dados e engenheiro de dados
Um guia visual para se tornar cientista de dados em 8 etapas, por DataCamp (img)
Mapa mental das habilidades necessárias (img)
Swami Chandrasekaran criou um currículo em forma de mapa de metrô.
por @kzawadz via Twitter
Por Central de ciência de dados
Batalha da ciência de dados: R vs. Python
Como escolher técnicas estatísticas ou de aprendizado de máquina
Escolhendo o estimador certo
O setor de ciência de dados: quem faz o quê
Diagrama de Venn Euler da ciência de dados
Diferentes habilidades e funções em ciência de dados, da Springboard
Falácias sobre dados a evitarUma maneira simples e amigável de ensinar aos colegas que não são cientistas de dados nem estatísticos como evitar erros com dados. Das Lições de alfabetização em dados da Geckoboard.

^ voltar ao topo ^

^ voltar ao topo ^

HagiCode

O HagiCode é um ambiente de programação com agentes. Interações de interface ricas e práticas tornam o planejamento, a execução de agentes e o trabalho em projetos mais acessíveis e fáceis de acompanhar, criando uma experiência de desenvolvimento envolvente.

Uma experiência de desenvolvimento envolvente, com interações de interface ricas e práticas.

Acessar HagiCodeLer a documentação
  • InteligenteOs fluxos de trabalho do OpenSpec transformam a intenção em um caminho executável, da proposta ao design, às tarefas e à entrega.
  • EficienteA execução multiagente mantém pesquisa, implementação e revisão em andamento em paralelo, em vários repositórios e com os Agent CLI que você já usa.
  • InteressanteInterações de interface ricas e práticas tornam o planejamento, a execução de agentes e o trabalho em projetos mais acessíveis e fáceis de acompanhar.

Baixar para Windows

Obter na Microsoft StoreTodos os downloads

Transforme ideias em software entregue.

O HagiCode é um ambiente de programação com agentes: os fluxos de trabalho do OpenSpec planejam a mudança, a execução multiagente a realiza e o Hero Scenario torna o longo percurso visível, para transformar ideias em software entregue.

Inteligente
Os fluxos do OpenSpec transformam a intenção em um caminho da proposta à entrega.
Eficiente
A execução multiagente conduz pesquisa, implementação e revisão em paralelo.
Divertido
As interações de interface facilitam o planejamento, a execução de agentes e os projetos.

Sair do Awesome Site?

Você está prestes a visitar um site externo. Não controlamos o conteúdo nem as práticas de privacidade dele.

Destino

Continuar para o site