跳转到内容
HagiCodeAwesome Site

选择语言

当前语言: 简体中文

Data Science

Source: https://github.com/academic/awesome-datascience at ccc90503018e
License: MIT
Read the English original

This edition is an AI-assisted translation.

数据科学精选集

Section titled “数据科学精选集”

Awesome

欢迎贡献——请参阅 CONTRIBUTING.md。

一个开源数据科学资料库，帮助你学习并应用相关概念，以解决现实世界的问题。

这是一条开始学习数据科学的捷径。只需按步骤回答以下问题：“什么是数据科学？要学习数据科学，我应该学些什么？”


$ academic

Section titled “$ academic”
$ brew tap academic/tap
$ brew install academic

赞助商

Section titled “赞助商”

Creavit Studio：在一个应用中录制、编辑并制作动态图形

Graphyn：可视化专业智能体工作流

成为赞助商！github@academic.io

目录

Section titled “目录”

什么是数据科学？

Section titled “什么是数据科学？”

^ 返回顶部 ^

如今，数据科学是计算机和互联网领域最热门的话题之一。人们至今已从应用程序和系统中收集了大量数据，现在正是分析这些数据的时候。接下来要根据数据提出建议，并对未来进行预测。你可以在这里找到关于数据科学的核心问题，以及数百位专家给出的回答。

链接预览
数据科学入门Microsoft 很高兴推出这套为期 10 周、共 20 课的数据科学课程。
O’Reilly：什么是数据科学数据科学家将创业精神与耐心结合起来，愿意逐步构建数据产品，能够探索并迭代解决方案。他们天生具备跨学科能力，能够处理问题的各个方面，从最初的数据收集和整理到得出结论。他们善于跳出思维定式，以新的方式看待问题，也能应对定义宽泛的问题，例如：“这里有很多数据，你能用它做什么？”
Quora：什么是数据科学数据科学结合了数据领域的多个方面，例如技术、算法开发和数据推断，以研究和分析数据，并为难题找到创新解决方案。归根结底，数据科学就是分析数据，并通过创造性的方法推动业务增长。
21 世纪最性感的职业如今的数据科学家类似于 20 世纪 80、90 年代华尔街的“量化分析师”。当时，拥有物理学和数学背景的人纷纷进入投资银行和对冲基金，设计全新的算法和数据策略。随后，多所大学开设了金融工程硕士项目，培养出更容易被主流公司聘用的第二代人才。20 世纪 90 年代末，搜索工程师也经历了类似的发展，他们原本稀缺的技能很快就在计算机科学课程中教授。
维基百科数据科学是一门跨学科领域，运用科学方法、流程、算法和系统，从大量结构化与非结构化数据中提取知识和洞见。数据科学与数据挖掘、机器学习和大数据相关。
如何成为数据科学家数据科学家是大数据的整理者，负责收集和分析大量结构化与非结构化数据。数据科学家的工作结合了计算机科学、统计学和数学。他们分析、处理并建模数据，再解读结果，为公司和其他组织制定可执行的计划。
数据科学简史数据科学家为何成为热门职业，主要是因为成熟的统计学与年轻的计算机科学相结合。“数据科学”一词直到最近才出现，用以特指一种新职业，其目标是理解海量大数据。但理解数据由来已久，多年来一直受到科学家、统计学家、图书管理员、计算机科学家等人的讨论。以下时间线追溯“数据科学”一词及其用法的发展、对其定义的尝试，以及相关术语。
面向数据科学家的软件开发资源数据科学家通过探索性分析、统计和模型来理解数据。软件开发者运用另一套知识和不同的工具。虽然两者关注点似乎无关，数据科学团队仍可从采用软件开发最佳实践中获益。版本控制、自动化测试等开发技能有助于构建可复现、可用于生产的代码和工具。
数据科学家路线图在当今由数据驱动的世界中，数据科学是一个绝佳的职业选择：每天大约会产生 3.2877 亿 TB 数据，而且这个数字逐日增加，进而提升了对能够利用数据推动业务增长的专业数据科学家的需求。
规划成为数据科学家的道路数据科学是当今需求最高的职业之一。随着企业日益依赖数据做决策，对熟练数据科学家的需求迅速增长。从科技公司、医疗机构到政府部门，数据科学家都在将原始数据转化为宝贵洞见的过程中发挥关键作用。但如果你刚刚起步，该如何成为一名数据科学家？

从哪里开始？

Section titled “从哪里开始？”

^ 返回顶部 ^

虽然并非绝对必要，但掌握一门编程语言是成为高效数据科学家的关键技能。目前最流行的语言是_Python_，其次是_R_。Python 是一种通用脚本语言，应用领域广泛。R 是面向统计学的领域专用语言，内置了大量常用统计工具。

Python 远远领先于其他语言，是科学领域最受欢迎的语言，这很大程度上得益于其易用性以及活跃的用户软件包生态系统。安装软件包主要有两种方式：随 Python 一同提供的软件包管理器 Pip（使用 pip install 调用），以及功能强大的软件包管理器 Anaconda（使用 conda install 调用），后者可以安装 Python、R 的软件包，还能下载 Git 等可执行程序。

与 R 不同，Python 并非从一开始就为数据科学而设计，但丰富的第三方库弥补了这一点。本文后面会列出更完整的软件包清单，而以下四个软件包是开启数据科学之旅的不错选择：Scikit-Learn 是通用数据科学软件包，实现了最受欢迎的算法，并提供丰富的文档、教程和模型示例。即使你更愿意自己实现算法，Scikit-Learn 也是了解许多常见算法基本原理的宝贵参考。Pandas 可以将数据收集并分析为方便的表格格式。Numpy 提供高速数学运算工具，重点支持向量和矩阵。Seaborn 基于 Matplotlib，可快速生成精美的数据可视化，内置许多实用默认设置，并提供展示常见可视化绘制方式的图库。

开始成为数据科学家的旅程时，语言选择并非特别重要，Python 和 R 各有优缺点。选择你喜欢的语言，并查看下方列出的免费课程！

初学者路线图

Section titled “初学者路线图”

如果你刚刚起步，推荐按照以下简单路径学习：

  1. 学习 Python – 从基础开始：变量、循环、函数
  2. 学习核心库 – Pandas、NumPy、Matplotlib、Scikit-Learn
  3. 通过入门项目练习 – 在 Kaggle 上尝试泰坦尼克号生存预测或房价预测
  4. 学习数学基础 – 统计学、线性代数、概率论
  5. 进阶学习机器学习 – 监督学习 → 无监督学习 → 深度学习

智能体

Section titled “智能体”

本节介绍适用于数据科学工作流的智能体框架和工具。

框架

Section titled “框架”
  • ADK-Rust - 面向 Rust 的生产级 AI 智能体开发套件，采用模型无关设计（Gemini、OpenAI、Anthropic），支持多种智能体类型（LLM、图、工作流）、MCP 和内置遥测。
  • Lumen - 用于与数据对话的智能体框架，可将自然语言转换为 SQL、转换流水线和可视化。输出为声明式规范，可供检查、编辑、在笔记本中重新打开，或组合成仪表板。

工具

Section titled “工具”
  • Frostbyte MCP - 为 AI 智能体提供 13 种数据工具的 MCP 服务器：实时加密货币价格、IP 地理定位、DNS 查询、网页转 Markdown、代码执行和截图。一个 API 密钥即可使用 40 多项服务。
  • Arch Tools - 提供 61 种可用于生产环境的 AI API 工具，适用于数据科学工作流，包括代码分析、网页抓取、NLP、图像生成、加密货币数据和搜索。支持 REST API 和 MCP 协议。GitHub
  • Not Human Search - 面向 AI 智能体的搜索引擎，索引了 9,000 多种 AI 工具和 API，并根据智能体就绪程度（llms.txt、OpenAPI、MCP、ai-plugin.json）进行评分。提供 REST API 和 MCP 服务器，以编程方式发现工具。GitHub
  • DeepAlpha - 使用 LightGBM + XGBoost 集成模型的 AI 加密货币交易框架，具备 72 个机器学习特征。在样本外数据上经滚动前向验证的准确率为 70.9%。支持 Bybit 和 Binance。采用 MIT 许可证，可从 PyPI 获取。
  • CAJAL - 本地 AI 智能体，可生成包含真实 arXiv 引文、IMRaD 结构和评审评分的出版级科学论文。通过 Ollama 和 4B–9B 模型实现 100% 离线运行。采用 MIT 许可证。HuggingFace
  • ai-evaluation - 开源 LLM 与智能体评估框架，包含 50 多项指标、LLM-as-Judge 增强功能和防护扫描器（越狱、PII、提示注入）。适用于为 RAG 输出、智能体轨迹和函数调用行为评分。
  • Kitaru - 开源平台，可记录真实 AI 智能体运行过程、针对变更重放，并在部署前评估结果。
  • Jev Social - 只读社交研究智能体，可让 Jev 选择有限范围内的 Instagram、TikTok 和 LinkedIn 操作，通过 Chrome 中的本地 socai CLI 执行，并在带引文的报告旁保留链接到来源的证据。
  • YYLO Benchmark - 开源、可信主机上的实验运行器，适用于历史智能体任务、提供的编码提示和工作流。它可运行彼此独立的尝试并保留输出，之后还能用不同检查或评审器比较模型、工具框架和配置。采用 MIT 许可证。
  • YYLO - 面向编码智能体和可重复工作流的开源命令行编排工具，具有类型化的任务、验证、合并和发布就绪边界，并通过凭据记录支持仓库变更。采用 MIT 许可证，可通过 npm 安装。
  • YYLO Ledger - 面向编码智能体项目的命令行任务与工作流台账：在仓库内以哈希链 Markdown 保存看板和任务状态、跟踪凭据并归档，同时通过智能体工作树驱动类型化的合并与发布流程。采用 MIT 许可证。

研究与知识检索

Section titled “研究与知识检索”

  • BGPT MCP - 为 AI 智能体提供科学论文数据库访问的 MCP 服务器。数据库基于从全文研究中提取的原始实验数据构建，每篇论文返回 25 多个结构化字段，包括方法、结果、样本量和质量分数。GitHub

  • Chunk Tuner - 开源 Python 库和 MCP 服务器，用于评测 RAG 的文档分块策略、评估检索质量，并为语料推荐配置。

  • II-Commons - 每日更新的技能和 CLI，可对 arXiv、PubMed/PMC 及受支持的美国政策语料进行确定性检索。

  • Spraay x402 Gateway - 面向 AI 智能体的 x402 支付网关，提供 23 个研究与参考端点，包括 Wikipedia、arXiv、PubMed、Wikidata、学术引用查询、实体提取等。通过 Base 和 Solana 上的 USDC 按次付费——无需 API 密钥或订阅。另提供 39 个类别的 150 多个端点，涵盖地理空间、AI 推理、DeFi 和计算等。GitHub

  • Suppr - 面向研究人员的 AI 文献搜索、文档翻译和深度研究工作空间。

工作流

Section titled “工作流”

^ 返回顶部 ^

  • sim - Sim Studio 的界面轻量直观，可快速构建并部署连接常用工具的 LLM。

项目

Section titled “项目”

^ 返回顶部 ^

培训资源

Section titled “培训资源”

^ 返回顶部 ^

如何学习数据科学？当然是通过实践！好吧，这个建议对刚起步的人来说可能不太有帮助。本节按投入程度由低到高列出了一些学习资源：教程、大规模开放在线课程（MOOC）、密集课程和高校。

教程

Section titled “教程”

^ 返回顶部 ^

免费课程

Section titled “免费课程”

^ 返回顶部 ^

大规模开放在线课程（MOOC）

Section titled “大规模开放在线课程（MOOC）”

^ 返回顶部 ^

密集课程

Section titled “密集课程”

^ 返回顶部 ^

高校

Section titled “高校”

^ 返回顶部 ^

数据科学工具箱

Section titled “数据科学工具箱”

^ 返回顶部 ^

本节汇集了数据科学领域的软件包、工具、算法和其他实用资源。

算法

Section titled “算法”

^ 返回顶部 ^

以下是一些机器学习和数据挖掘算法及模型，可帮助你理解数据并从中提取意义。

三类机器学习系统

Section titled “三类机器学习系统”
  • 基于人类监督训练
  • 基于在线增量学习
  • 基于数据点比较和模式检测

比较工具

Section titled “比较工具”
  • datacompy - 用于比较两个 Pandas DataFrame 的软件包。

监督学习

Section titled “监督学习”

无监督学习

Section titled “无监督学习”

半监督学习

Section titled “半监督学习”

强化学习

Section titled “强化学习”

数据挖掘算法

Section titled “数据挖掘算法”

现代数据挖掘算法

Section titled “现代数据挖掘算法”

深度学习架构

Section titled “深度学习架构”

通用机器学习软件包

Section titled “通用机器学习软件包”

^ 返回顶部 ^

深度学习软件包

Section titled “深度学习软件包”

PyTorch 生态

Section titled “PyTorch 生态”

TensorFlow 生态

Section titled “TensorFlow 生态”

Keras 生态

Section titled “Keras 生态”

可视化工具

Section titled “可视化工具”

^ 返回顶部 ^

其他工具

Section titled “其他工具”

^ 返回顶部 ^

链接描述
数据科学生命周期流程数据科学生命周期流程帮助数据科学团队持续、可持续地将创意转化为价值。本仓库记录了该流程。
数据科学生命周期模板仓库数据科学生命周期项目模板仓库
TabGAN使用 GAN、扩散模型和 LLM 生成合成表格数据，并采用对抗性过滤和隐私指标。
RexMex通用推荐系统指标库，可用于公平评估。
ChemicalX基于 PyTorch 的药物配对评分深度学习库。
FileShot.io安全的零知识加密文件共享（浏览器内 AES-256-GCM）。无需账户，采用 MIT 许可证，可自行托管，并支持设置链接有效期。
CorpusExplorer面向语料库语言学家和文本/数据挖掘爱好者的软件。可构建涵盖 60 多种语言的语料库，并使用 50 多种工具和可视化功能。
PyTorch Geometric Temporal动态图上的表示学习。
Little Ball of Fur面向 NetworkX 的图采样库，提供类似 Scikit-Learn 的 API。
Karate Club面向 NetworkX 的无监督机器学习扩展库，提供类似 Scikit-Learn 的 API。
ML Workspace一体化的 Web 机器学习与数据科学 IDE。该工作空间以 Docker 容器部署，预装多种常用数据科学库（如 TensorFlow、PyTorch）和开发工具（如 Jupyter、VS Code）。
xonsh shell由 Python 驱动的 Shell，可集成、管理和编排主要使用 Python 编写的数据科学库，从而构建流水线、代码和命令式工作流。也可用作 Jupyter Notebook 内核。
Neptune.ai面向社区的平台，支持数据科学家创建和分享机器学习模型。Neptune 支持团队协作、基础设施管理、模型比较和可复现性。
steppy轻量级 Python 库，可快速、可复现地开展机器学习实验。它提供非常简单的接口，便于清晰地设计机器学习流水线。
steppy-toolkit精选的神经网络、转换器和模型集合，可让机器学习工作更快速、更高效。
Google Datalab使用 Python、SQL 等熟悉的语言，以交互方式轻松探索、可视化、分析和转换数据。
Hortonworks Sandbox个人便携式 Hadoop 环境，内含十余个交互式 Hadoop 教程。
R用于统计计算和绘图的免费软件环境。
Tidyverse一组秉持统一理念、专为数据科学设计的 R 软件包。所有软件包共享底层设计理念、语法和数据结构。
RStudioR 的强大 IDE 用户界面。免费、开源，适用于 Windows、Mac 和 Linux。
Python - Pandas - Anaconda完全免费的企业级 Python 发行版，适用于大规模数据处理、预测分析和科学计算。
Pandas GUIPandas 图形用户界面
NuriStat免费开源的 SPSS 替代品——菜单驱动的桌面统计软件，支持 t 检验、ANOVA、回归、生存分析、ROC 及 SPSS .sav 导入/导出。
Polars面向 Rust 和 Python 的高速 DataFrame 库，旨在提供比 Pandas 更快的替代方案。
CiteMe免费的学术引用生成器，内置参考文献检查器，可标记伪造或幻觉式引用。搜索 11 个以上学术数据库（OpenAlex、PubMed、Semantic Scholar、CrossRef、SciELO），支持 40 多种引文格式并提供公共 API。无需注册；支持英语、西班牙语、葡萄牙语、法语和德语。
Scikit-LearnPython 机器学习
NumPyNumPy 是 Python 科学计算的基础，支持大型多维数组和矩阵，并提供一系列可对这些数组执行操作的高级数学函数。
VaexVaex 是一个 Python 库，可高速可视化大型数据集并计算统计量。
SciPySciPy 可处理 NumPy 数组，并提供高效的数值积分和优化例程。
数据科学工具箱Coursera 课程
数据科学工具箱博客
Wolfram 数据科学平台对数值、文本、图像、GIS 等数据进行 Wolfram 式处理，完成全方位的数据科学分析与可视化，并自动生成丰富的交互式报告——全部由革命性的知识型 Wolfram 语言驱动。
Datadog面向高规模数据科学的解决方案、代码和 DevOps。
Variance无需编写 JavaScript，即可为 Web 构建强大的数据可视化。
Kite 开发工具包Kite 软件开发工具包（Apache 2.0 许可证）是一组库、工具、示例和文档，旨在简化基于 Hadoop 生态构建系统的过程。
Domino Data Labs无需基础设施或设置，即可运行、扩展、分享和部署模型。
Apache Flink高效、分布式、通用的数据处理平台。
Apache HamaApache Hama 是 Apache 顶级开源项目，可执行 MapReduce 之外的高级分析。
Weka用于数据挖掘任务的机器学习算法集合。
OctaveGNU Octave 是一种高级解释型语言，主要用于数值计算（免费版 Matlab）。
Apache Spark闪电般快速的集群计算
Hydrosphere Mist将 Apache Spark 分析任务和机器学习模型作为实时、批处理或响应式 Web 服务对外提供。
Data Mechanics数据科学与工程平台，让 Apache Spark 更易于开发且更具成本效益。
Caffe深度学习框架
Torch面向 LuaJIT 的科学计算框架
Nervana 的 Python 深度学习框架Intel® Nervana™ 参考深度学习框架，致力于在所有硬件上实现最佳性能。
SkaleNodeJS 高性能分布式数据处理
Aerosolve为人类设计的机器学习软件包。
Intel 框架Intel® 深度学习框架
Datawrapper开源数据可视化平台，帮助每个人创建简洁、准确且可嵌入的图表。另见 github.com
Tensor FlowTensorFlow 是一个面向机器智能的开源软件库。
自然语言工具包入门友好而功能强大的自然语言处理和分类工具包
FunASR工业级语音识别工具包，支持 50 多种语言，内置 VAD、标点恢复、说话人分离和情绪检测。包含兼容 OpenAI 的 API 服务器。
Annotation Lab免费的端到端无代码平台，用于文本标注和深度学习模型训练/调优。开箱即用支持 Spark NLP 模型的命名实体识别、分类、关系抽取和断言状态。用户、团队、项目和文档数量不限。
Node.js 的 nlp-toolkit本模块涵盖一些基础 NLP 原理和实现，重点关注性能。处理 NLP 样本或训练数据时，内存很快就会耗尽。因此，本模块中的所有实现都采用流式方式，只在内存中保留当前步骤正在处理的数据。
Julia面向技术计算的高级、高性能动态编程语言
IJuliaJulia 语言后端与 Jupyter 交互式环境的结合
Apache Zeppelin基于 Web 的笔记本，可使用 SQL、Scala 等开展数据驱动的交互式数据分析并协同编写文档
Featuretools用 Python 编写的开源自动特征工程框架
Optimus基于 PySpark 后端进行数据清洗、预处理、特征工程、探索性数据分析和简便机器学习。
Albumentations快速且与框架无关的图像增强库，实现了多种增强技术。开箱即支持分类、分割和检测。曾用于赢得 Kaggle、Topcoder 以及 CVPR 研讨会中的多项深度学习竞赛。
DVC开源数据科学版本控制系统，帮助跟踪和组织项目并实现可复现性。在最基本的场景中，它可对大型数据和模型文件进行版本控制与共享。
Lambdo工作流引擎，通过在一个分析流水线中结合（i）特征工程与机器学习、（ii）模型训练与预测、（iii）表填充与列评估，大幅简化数据分析。
Feast用于管理、发现和访问机器学习特征的特征存储。Feast 为模型训练和模型服务提供一致的特征数据视图。
Polyaxon用于可复现、可扩展机器学习和深度学习的平台。
UBIAI易用的团队文本标注工具，提供全面的自动标注功能。支持命名实体识别、关系和文档分类，以及发票标注的 OCR 标注。
Trains自动化实验管理器、版本控制与 AI DevOps
Hopsworks开源数据密集型机器学习平台，内置特征存储。可导入和管理供在线（MySQL Cluster）及离线（Apache Hive）访问的特征，并大规模训练和部署模型。
MindsDB面向开发者的可解释 AutoML 框架。借助 MindsDB，只需一行代码即可构建、训练和使用先进的机器学习模型。
Lightwood基于 PyTorch 的框架，将机器学习问题拆解为可无缝组合的小模块，目标是用一行代码构建预测模型。
AWS Data Wrangler开源 Python 软件包，扩展 Pandas 的功能，将 DataFrame 与 AWS 数据服务（Amazon Redshift、AWS Glue、Amazon Athena、Amazon EMR 等）相连接。
Amazon RekognitionAWS Rekognition 服务可让开发者在应用中添加图像分析功能。对资产编目、自动化工作流，并从媒体和应用中提取含义。
Amazon Textract自动从任意文档中提取印刷文本、手写内容和数据。
Amazon Lookout for Vision使用计算机视觉发现产品缺陷，实现质量检测自动化。识别缺失的产品部件、车辆和结构损坏及异常，全面保障质量。
Amazon CodeGuru利用机器学习驱动的建议自动执行代码审查并优化应用性能。
CML用于在数据科学项目中采用持续集成的开源工具包。可使用 GitHub Actions 和 GitLab CI 在近似生产环境中自动训练和测试模型，并在拉取/合并请求中自动生成可视化报告。
Dask开源 Python 库，可轻松将分析代码迁移到分布式计算系统（大数据）。
DuckDB进程内 SQL OLAP 数据库管理系统
Statsmodels基于 Python 的推断统计、假设检验和回归框架
Gensim用于自然语言文本主题建模的开源库
spaCy高性能自然语言处理工具包
Grid Studio基于 Web 的电子表格应用，可完整集成 Python 编程语言。
Python 数据科学手册Python 数据科学手册：Jupyter Notebook 全文
Shapley基于数据的框架，用于量化机器学习集成中分类器的价值。
DAGsHub基于开源工具构建的数据、模型和流水线管理平台。
Deepnote新型数据科学笔记本，兼容 Jupyter，支持实时协作并在云端运行。
Valohai负责机器编排、自动可复现性和部署的 MLOps 平台。
PyMC3用于概率编程（贝叶斯推断和机器学习）的 Python 库
PyStanStan 的 Python 接口（贝叶斯推断与建模）
hmmlearn隐马尔可夫模型的无监督学习与推断
Chaos Genius由机器学习驱动的分析引擎，用于离群值/异常检测和根因分析
PySAD用于流式数据异常检测的 Python 库
Nimblebox全栈 MLOps 平台，帮助全球数据科学家和机器学习从业者通过浏览器发现、创建并启动多云应用。
Towhee帮助将非结构化数据编码为嵌入向量的 Python 库。
LineaPy是否曾因清理冗长杂乱的 Jupyter 笔记本而感到沮丧？借助开源 Python 库 LineaPy，只需两行代码就能将杂乱的开发代码转换为生产流水线。
envd面向数据科学与 AI/ML 工程团队的机器学习开发环境
探索数据科学库搜索引擎工具 🔎，用于发现热门和新兴库、顶尖作者、热门项目套件、讨论、教程与学习资源精选列表
MLEM🐶 遵循 GitOps 原则对机器学习模型进行版本管理和部署
MLflow用于管理机器学习模型完整生命周期的 MLOps 框架
cleanlab面向以数据为中心的 AI 并自动检测机器学习数据集各种问题的 Python 库
AutoGluonAutoML 可轻松为图像、文本、表格、时间序列和多模态数据生成准确预测
Arize AIArize AI 社区版可观测性工具，用于监控生产中的机器学习模型，并追查数据质量、性能漂移等问题的根因。
Aureo.io专注于构建人工智能的低代码平台。用户可以使用自己的基础数据创建流水线和自动化流程，并与 AI 模型集成。
ERD Lab为开发者打造的免费云端实体关系图（ERD）工具。
Arize-Phoenix笔记本中的 MLOps——发掘洞见、发现问题、监控并微调模型。
CometMLOps 平台，提供实验跟踪、模型生产管理、模型注册表和完整数据沿袭，支持机器学习工作流从训练直达生产环境。
Opik在开发和生产生命周期中评估、测试并交付 LLM 应用。
SynthicalAI 驱动的协作研究环境。可查找相关论文、创建文献集并汇总内容，一站式完成。
teeplot自动整理数据可视化输出的工作流工具
Streamlit面向机器学习与数据科学项目的应用框架
Gradio为机器学习模型创建可定制的 UI 组件
Weights & Biases实验跟踪、数据集版本管理和模型管理
DVC面向机器学习项目的开源版本控制系统
Optuna自动超参数优化软件框架
Ray Tune可扩展的超参数调优库
Apache Airflow以编程方式编写、安排和监控工作流的平台
Prefect面向现代数据技术栈的工作流管理系统
Kedro用于编写可复现、可维护数据科学代码的开源 Python 框架
Hamilton用于编写和管理可靠数据转换的轻量级库
SHAP一种基于博弈论的方法，用于解释任意机器学习模型的输出
InterpretMLInterpretML 实现了可解释提升机（EBM），这是一种基于广义可加模型（GAM）的现代、完全可解释机器学习模型。此开源软件包还提供 EBM、其他白盒模型和黑盒解释的可视化工具。
LIME解释任意机器学习分类器的预测
flyte面向机器学习的工作流自动化平台
dbt数据构建工具
zasper功能强大的数据科学 IDE
skrub用于简化表格机器学习预处理和特征工程的 Python 库
Glyph与框架无关的 TypeScript 库，用于生成、搜索和比较 MinHash 指纹，以快速完成文本相似度计算、去重和检索。
Codeflash每次都交付闪电般快速的 Python 代码
Hugging Face广受欢迎的开放平台，用于分享机器学习模型和数据集，并协作开展 NLP 与生成式 AI 项目。
Chinese-Elite开源项目，使用 LLM 解析公开数据并自动绘制关系网络，将其可视化为交互式图谱。
Desbordante开源数据剖析工具，专注于发现和验证复杂模式，例如数值关联规则、差异依赖、否定约束等。
dna-claude-analysis个人基因组分析工具包，使用 Python 脚本分析 17 个类别的原始 DNA 数据（健康风险、祖源、药物基因组学、营养、心理学等），并生成终端风格的单页 HTML 可视化。
RunMat高速 MATLAB 语法运行时，支持自动 CPU/GPU 执行和融合数组内核。
Turbostream终端 UI，可在实时数据流上试验自定义规则引擎和选择性 LLM 分析，无需操心流式基础设施或背压。
WFGY ProblemMap开源“故障图谱”，汇总 LLM 与 RAG 流水线中 16 种反复出现的问题、可观察症状及建议修复方法，供数据科学团队参考。
Deploybase跟踪所有云和推理服务提供商的实时 GPU 与 LLM 定价。
DeepAnalyze面向自主数据科学的智能体 LLM，无需人工干预即可自主完成多种数据科学任务。
Disco超强探索性数据分析工具，可发现 LLM 和人工探索容易遗漏的表格数据特征交互与子群体效应，并提供 p 值、效应量和文献引用。公开数据免费使用。
AI for Database用自然语言与数据库对话，无需编写 SQL。即时获取洞见、构建自动刷新的仪表板，并根据数据库变更触发自动化工作流。
Crypto Pump ScannerAI 驱动的加密货币交易机器人，采用 LSTM 神经网络（准确率 84.6%）。支持实时拉盘检测、经滚动前向验证的模型以及多交易所（Bybit、Binance、OKX、Gate.io）。开源。
Future AGI开源平台，可在一个反馈循环中模拟、评估、跟踪、设置防护、路由和优化 LLM 与 AI 智能体应用，让智能体不只是被监控，还能自我改进。可自行托管。Apache-2.0 许可证。
ipynbtopdf基于浏览器的 Jupyter 笔记本查看和导出工具，可将 .ipynb 笔记本转换为 PDF、HTML 和 Python 文件，无需安装 Python 或 TeX。

文献与媒体

Section titled “文献与媒体”

^ 返回顶部 ^

本节包含一些延伸阅读材料、可观看的频道和可收听的演讲。

书籍

Section titled “书籍”

^ 返回顶部 ^

图书优惠（联盟推广）

Section titled “图书优惠（联盟推广）”

期刊、出版物与杂志

Section titled “期刊、出版物与杂志”

^ 返回顶部 ^

新闻通讯

Section titled “新闻通讯”

^ 返回顶部 ^

  • AI Weekly - 汇集行业领袖观点的 AI 情报简报，涵盖模型、融资、政策和应用。自 2017 年起每周发布 3 次，拥有 4 万多名订阅者。
  • DataTalks.Club. 每周分享数据相关内容的新闻通讯。存档。
  • Analytics Engineering Roundup. 关于数据科学的新闻通讯。存档。
  • Techpresso. 每日免费新闻通讯，介绍 AI、机器学习和科技领域最具影响力的进展。存档。
  • DiamantAI. 用简单语言讲解实用 AI 工程与生成式 AI：RAG、智能体和面向开发者的 LLM 应用模式。
  • Bamboo Weekly - 基于时事和真实公开数据的每周 Pandas 练习，附完整解答。两年以上的往期内容免费，当前期刊的前两道题及答案也免费。存档。

邮件列表

Section titled “邮件列表”

^ 返回顶部 ^

博主

Section titled “博主”

^ 返回顶部 ^

演示文稿

Section titled “演示文稿”

^ 返回顶部 ^

播客

Section titled “播客”

^ 返回顶部 ^

YouTube 视频与频道

Section titled “YouTube 视频与频道”

^ 返回顶部 ^

社交交流

Section titled “社交交流”

^ 返回顶部 ^

以下是一些社交媒体链接。来认识其他数据科学家吧！

Facebook 账号

Section titled “Facebook 账号”

^ 返回顶部 ^

Twitter 账号

Section titled “Twitter 账号”

^ 返回顶部 ^

Twitter 账号描述
Big Data Combine面向希望将模型变现为交易策略的数据科学家，提供快速、实时的试验机会
Big Data Mania数据可视化专家、数据记者、增长黑客、《傻瓜数据科学》（2015）作者
Big Data Science大数据、数据科学、预测建模、商业分析、Hadoop、决策与运筹研究。
Charlie Greenbacker@ExploreAltamira 数据科学总监
Chris SaidTwitter 数据科学家
Clare Corthell@mattermark 开发、设计与数据科学从业者 #hackerei
DADI Charles-Abner@Ekimetrics 的 #datascientist；关注 #machinelearning #dataviz #DynamicCharts #Hadoop #R #Python #NLP #Bitcoin，数据爱好者
Data Science Central行业内大数据从业者的一站式资源。
Data Science London数据科学、大数据、数据黑客、数据迷、数据初创企业、开放数据
Data Science Renee记录从 SQL 数据分析师到攻读工程硕士学位、再到数据科学家的历程
Data Science Report致力于引导并推动数据科学与分析领域的职业发展
Data Science Tips为世界各地的数据科学家提供提示与技巧！#datascience #bigdata
Data Vizzard数据可视化、安全、军事
DataScienceX
deeplearning4j
DJ Patil白宫首席数据科学家，RelateIQ 副总裁。
Domino Data Lab
Drew Conway数据迷、黑客、冲突研究者。
Emilio Ferrara研究网络、机器学习和数据科学；关注社交媒体。印第安纳大学博士后
Erin Bartolo在大数据浪潮中奔忙，对其炒作既爱又恨。@iSchoolSU #DataScience 项目经理。
Greg Reda在 GrubHub 从事数据与 pandas 工作
Gregory PiatetskyKDnuggets 总裁，分析/大数据/数据挖掘/数据科学专家，KDD 与 SIGKDD 联合创始人，曾任两家初创公司的首席科学家，也是一位兼职哲学家。
Hadley WickhamRStudio 首席科学家，同时任奥克兰大学、斯坦福大学和莱斯大学统计学兼职教授。
Hakan Kardas数据科学家
Hilary Mason@accel 驻场数据科学家。
Jeff Hammerbacher转发数据科学相关内容
John Myles WhiteFacebook 科学家、Julia 开发者。《黑客机器学习》和《网站优化的多臂老虎机算法》作者。推文仅代表个人观点。
Juan Miguel LavistaMicrosoft 数据科学团队首席数据科学家
Julia Evans黑客、Pandas、数据分析
Kenneth Cukier《经济学人》数据编辑，《大数据》合著者 (https://www.big-data-book.com/).
Kevin Davenporthttps://www.meetup.com/San-Diego-Data-Science-R-Users-Group/ 的组织者
Kevin Markham数据科学讲师，Data School 创始人
Kim Rees交互式数据可视化与工具。数据漫游者。
Kirk Borne数据科学家、天体物理学博士、大数据领域顶尖影响者。
Linda Regber数据故事讲述者、可视化从业者。
Luis Rei博士生。关注编程、移动、Web、人工智能、智能机器人、机器学习、数据挖掘、自然语言处理和数据科学。
Mark StevensonSalt（@SaltJobs）数据分析招聘专家；分析、洞见、大数据与数据科学
Matt Harrison全栈 Python 从业者、作者、讲师，目前从事数据科学工作。偶尔谈育儿、婚姻和有机园艺。
Matthew Russell挖掘社交网络。
Mert NuhoğluBizQualify 数据科学家、开发者
Monica RogatiJawbone 数据从业者。曾在 LinkedIn 将数据转化为故事和产品。关注文本挖掘、应用机器学习、推荐系统。前游戏玩家、前机器编码员、命名者。
Noah Iliinsky可视化与交互设计师、实用主义骑行者、可视化书籍作者：https://www.oreilly.com/pub/au/4419
Paul Miller云计算/大数据/开放数据分析师与顾问。作家、演讲者和主持人。Gigaom Research 分析师。
Peter Skomoroch创建智能系统以自动执行任务并改进决策。企业家，前 LinkedIn 首席数据科学家。关注机器学习、产品、网络
Prash ChanIBM 解决方案架构师，主数据管理、数据质量与数据治理博主。关注数据科学、Hadoop、大数据与云。
Quora 数据科学Quora 的数据科学主题
R-Bloggers转发 R 博客圈文章、数据科学会议及数据科学家职位信息。
Rand Hindi
Randy Olson研究人工智能的计算机科学家。数据探索者。@DataIsBeautiful 社区领袖。#OpenScience 倡导者。
Recep ErolUALR 数据科学爱好者
Ryan Orban数据科学家、遗传折纸爱好者、硬件发烧友
Sean J. Taylor社会科学家、黑客、Facebook 数据科学团队成员。关注实验、因果推断、统计学、机器学习和经济学。
Silvia K. SpivaCisco 数据科学从业者
Harsh B. GuptaBBVA Compass 数据科学家
Spencer Nelson数据迷
Talha Oz喜爱 ABM、SNA、DM、ML、NLP、HI、Python 和 Java。Kaggle 及数据科学领域顶尖百分位选手
Tasos Skarlatidis复杂事件处理、大数据、人工智能与机器学习爱好者，热衷编程和开源。
Terry Timko信息治理、大数据、数据即服务、数据科学、开放/社交/商业数据融合
Tony BaerOvum IT 分析师，研究大数据与数据管理，也涉及一些系统工程。
Tony Ojeda数据科学家、作者、企业家。@DataCommunityDC 联合创始人，@DistrictDataLab 创始人。#DataScience #BigData #DataDC
Vamshi AmbatiPayPal 数据科学从业者。关注 #NLP、#machinelearning；卡内基梅隆大学博士及校友（博客：https://allthingsds.wordpress.com ）
Wes McKinneyPandas（Python 数据分析库）。
WileyEdSeagate 高级经理，@McKinsey 校友；大数据分析布道者，热衷 #Hadoop、#Cloud、#Digital 和 #R
WNYC 数据新闻团队@WNYC 的数据新闻团队。践行数据驱动新闻报道，将数据可视化并展示工作过程。
Alexey Grigorev数据科学作者
İlker Arslan数据科学作者，主要分享 Julia 编程内容
INEVITABLE总部位于英国的 AI 与数据科学初创公司
Jan Oliver Rüdiger机器学习、深度学习与数据科学，重点关注文本/数据挖掘

Telegram 频道

Section titled “Telegram 频道”

^ 返回顶部 ^

  • 开放数据科学 – 第一个数据科学 Telegram 频道，涵盖与数据科学相关的各种技术和热门内容：AI、大数据、机器学习、统计学、基础数学及其应用。
  • 损失函数福利 — 以视频或图形可视化方式呈现的精彩数据科学/机器学习主题内容。
  • 机器学习 – 每日机器学习新闻。

Slack 社区

Section titled “Slack 社区”

返回顶部

GitHub 群组

Section titled “GitHub 群组”

数据科学竞赛

Section titled “数据科学竞赛”

一些数据挖掘竞赛平台

趣味内容

Section titled “趣味内容”

信息图

Section titled “信息图”

^ 返回顶部 ^

预览描述
数据科学家与数据工程师的主要区别
DataCamp 制作的八步成为数据科学家的可视化指南 (图片)
所需技能思维导图（图片）
Swami Chandrasekaran 制作的地铁图式课程。
由 @kzawadz 制作，经由 Twitter 分享
来自 Data Science Central
数据科学之争：R 还是 Python
如何选择统计学或机器学习技术
选择合适的估计器
数据科学行业：各类从业者的职责
数据科学 维恩 欧拉图
Springboard 提供的数据科学技能与职位分类
Data Fallacies To Avoid一种简单友好的方式，帮助非数据科学家/非统计学家的同事学习如何避免数据错误。来自 Geckoboard 的数据素养课程。

数据集

Section titled “数据集”

^ 返回顶部 ^

漫画

Section titled “漫画”

^ 返回顶部 ^

其他精选列表

Section titled “其他精选列表”

爱好

Section titled “爱好”

HagiCode

HagiCode 是面向项目开发的 AI 编码工作台：丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

丰富、便捷的界面交互，让规划、Agent 执行与项目工作更容易上手和跟进。

访问 HagiCode阅读文档
  • 智能OpenSpec 工作流把意图转化为从提案、设计、任务到交付的可执行路径。
  • 高效多 Agent 并行推进调研、实现与审阅，并支持多仓库变更和你熟悉的 Agent CLI。
  • 有趣丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

下载 Windows 版

从 Microsoft Store 获取全部下载

让想法变成真正交付的软件。

HagiCode 是面向项目开发的 AI 编码工作台：用 OpenSpec 工作流规划变更，多 Agent 并行执行，再由 Hero Scenario 让进度一目了然，把想法变成真正交付的软件。

下载 HagiCode产品文档
智能
OpenSpec 工作流把意图变成从提案到交付的可执行路径。
高效
多 Agent 并行推进调研、实现与审阅。
有趣
丰富、便捷的界面交互，让规划、Agent 执行和项目工作更容易跟进。

© 2026 HagiCode | Powered By hagilight-starlight@0.21.0 | Branch: main | Commit: 745b50b | Built:

离开 Awesome Site？

你即将访问外部网站。我们无法控制其内容或隐私惯例。

目标地址

继续访问网站