コンテンツにスキップ
HagiCodeAwesome Site

言語の選択

現在の言語: 日本語

Data Science

Source: https://github.com/academic/awesome-datascience at ccc90503018e
License: MIT
Read the English original

This edition is an AI-assisted translation.

AWESOME DATA SCIENCE

Section titled “AWESOME DATA SCIENCE”

Awesome

コントリビューションを歓迎します。詳細は CONTRIBUTING.md をご覧ください。

現実世界の問題を解決するための概念を学び、実践するオープンソースのデータサイエンスリポジトリです。

これはデータサイエンスの学習を始めるための近道です。手順に沿って、「データサイエンスとは何か、学ぶには何を勉強すればよいか」という問いに答えていきましょう。


$ academic

Section titled “$ academic”
$ brew tap academic/tap
$ brew install academic

スポンサー

Section titled “スポンサー”

Creavit Studio: recording, editing, and motion in one app

Graphyn: visualize specialized agent workflows

スポンサーになりませんか？ github@academic.io

目次

Section titled “目次”

データサイエンスとは？

Section titled “データサイエンスとは？”

^ トップに戻る ^

データサイエンスは、今日のコンピューターとインターネットの分野で最も注目されている話題の一つです。これまで人々はアプリケーションやシステムからデータを収集してきました。そして今、それらを分析する時が来ています。次の段階では、データから提案を導き出し、将来を予測します。こちらでは、データサイエンスについて最もよく問われる質問と、専門家による数百件の回答を確認できます。

リンクプレビュー
データサイエンス入門Microsoftがデータサイエンスを学ぶための10週間・全20レッスンのカリキュラムを提供しています。
データサイエンスとは？（O’Reilly）データサイエンティストは、起業家精神と忍耐力、データ製品を段階的に構築する意欲、探索する能力、解決策を反復改善する能力を兼ね備えています。本質的に学際的な職種であり、最初のデータ収集やデータの整備から結論の導出まで、問題のあらゆる側面に取り組みます。既成概念にとらわれず問題を捉える新しい方法を考えたり、「大量のデータがある。何ができるだろう？」という幅広い問題に取り組んだりできます。
データサイエンスとは？（Quora）データサイエンスとは、テクノロジー、アルゴリズム開発、データ推論など、データに関するさまざまな要素を組み合わせ、データを調査・分析して難題への革新的な解決策を見つける分野です。基本的には、創造的な方法でデータを分析し、事業成長につなげることを目的とします。
21世紀で最も魅力的な職業今日のデータサイエンティストは、1980年代から90年代のウォール街の「クオンツ」に似ています。当時、物理学や数学を専門とする人々が投資銀行やヘッジファンドに集まり、まったく新しいアルゴリズムやデータ戦略を考案しました。その後、各大学が金融工学の修士課程を設置し、より一般企業でも採用しやすい次世代の人材を育成しました。1990年代後半には検索エンジニアでも同じことが起こり、希少だった専門技能がやがてコンピューターサイエンスの課程で教えられるようになりました。
Wikipediaデータサイエンスは、科学的手法、プロセス、アルゴリズム、システムを用いて、構造化・非構造化データから知識や洞察を引き出す学際的な分野です。データマイニング、機械学習、ビッグデータと関連しています。
データサイエンティストになる方法データサイエンティストは、構造化・非構造化データの大規模な集合を収集・分析する、いわばビッグデータの専門家です。コンピューターサイエンス、統計学、数学を組み合わせ、データを分析・処理・モデル化したうえで結果を解釈し、企業やその他の組織が実行できる計画を作成します。
データサイエンスのごく短い歴史データサイエンティストが魅力的な職業となった経緯は、成熟した統計学と、まだ若いコンピューターサイエンスが結び付いた歴史でもあります。「データサイエンス」という用語は、膨大なビッグデータを解釈する新しい職業を指すものとして近年登場しました。しかし、データを理解する営みには長い歴史があり、科学者、統計学者、司書、コンピューター科学者などが長年議論してきました。以下の年表では、「データサイエンス」という用語とその用法の変遷、定義の試み、関連用語をたどります。
データサイエンティスト向けソフトウェア開発リソースデータサイエンティストは探索的分析、統計、モデルを通じてデータを理解することに注力します。一方、ソフトウェア開発者は異なるツールを使い、別の知識を活用します。一見関係がないようでも、データサイエンスチームがソフトウェア開発のベストプラクティスを取り入れるメリットは大きくあります。バージョン管理、自動テストなどの開発スキルは、再現可能で本番運用に適したコードやツールの作成に役立ちます。
データサイエンティストへのロードマップ1日あたり約3億2,877万テラバイトのデータが生み出される今日のデータ主導の世界では、データサイエンスは優れたキャリアの選択肢です。この量は日々増え続けており、データを活用して事業成長を促せる熟練したデータサイエンティストへの需要も高まっています。
データサイエンティストになる道のり_データサイエンスは、現在最も需要の高い職業の一つです。企業が意思決定にデータを活用するにつれて、熟練したデータサイエンティストの必要性は急速に高まっています。テクノロジー企業、医療機関、政府機関などあらゆる組織で、データサイエンティストは生データを価値ある洞察に変える重要な役割を担います。では、特に学び始めたばかりの場合、どうすればデータサイエンティストになれるのでしょうか？ _

何から始める？

Section titled “何から始める？”

^ トップに戻る ^

必須ではありませんが、プログラミング言語を使えることは、データサイエンティストとして効果的に働くための重要なスキルです。現在最も人気がある言語は_Python_で、_R_が僅差で続きます。Pythonは幅広い分野で利用される汎用スクリプト言語です。Rは統計に特化した言語で、一般的な統計ツールが標準で数多く備わっています。

Pythonは科学分野で圧倒的に人気の高い言語です。その理由には、使いやすさと、ユーザー作成のパッケージが充実した活発なエコシステムがあります。パッケージのインストール方法は主に2つあります。Pythonに同梱されるパッケージマネージャーのPip（pip installで実行）と、PythonやRのパッケージに加えてGitのような実行ファイルもダウンロードできる強力なパッケージマネージャーAnaconda（conda installで実行）です。

Rとは異なり、Pythonはデータサイエンスを念頭にゼロから作られた言語ではありませんが、それを補うサードパーティー製ライブラリが豊富にあります。より網羅的なパッケージ一覧は後述しますが、データサイエンスを始める際には次の4つがおすすめです。Scikit-Learnは、人気の高いアルゴリズムを実装した汎用データサイエンスパッケージです。充実したドキュメント、チュートリアル、実装モデルの例も用意されています。自分で実装する場合でも、Scikit-Learnは一般的なアルゴリズムの仕組みを学べる貴重な資料になります。Pandasを使うと、データを扱いやすい表形式で収集・分析できます。Numpyはベクトルや行列を中心とする数学演算を高速に行うツールを提供します。Matplotlibを基盤とするSeabornは、適切な既定値を活用しながら美しいデータ可視化をすばやく作成でき、一般的な可視化の方法を示すギャラリーも備えています。

データサイエンティストを目指すうえで、最初に選ぶ言語はそれほど重要ではありません。PythonにもRにも長所と短所があります。自分の好きな言語を選び、以下に掲載した無料コースを確認してみましょう！

初心者向けロードマップ

Section titled “初心者向けロードマップ”

学習を始めたばかりの方には、次の学習経路がおすすめです。

  1. Pythonを学ぶ – 変数、ループ、関数などの基本から始めましょう
  2. 主要なライブラリを学ぶ – Pandas、NumPy、Matplotlib、Scikit-Learn
  3. 初心者向けプロジェクトで練習する – Kaggleでタイタニック号の生存予測や住宅価格予測に挑戦しましょう
  4. 数学の基礎を学ぶ – 統計学、線形代数、確率論
  5. 機械学習に進む – 教師あり学習 → 教師なし学習 → 深層学習

エージェント

Section titled “エージェント”

このセクションでは、データサイエンスのワークフローに役立つエージェントのフレームワークとツールを紹介します。

フレームワーク

Section titled “フレームワーク”
  • ADK-Rust - Rust向けの本番対応AIエージェント開発キットです。モデル非依存の設計（Gemini、OpenAI、Anthropic）、複数のエージェント種別（LLM、Graph、Workflow）、MCP対応、組み込みテレメトリーを備えています。
  • Lumen - データとの対話、自然言語からSQLへの変換、変換パイプラインや可視化の作成に使えるエージェントフレームワークです。宣言的な仕様を出力するため、内容を確認・編集したり、ノートブックで再度開いたり、ダッシュボードに組み込んだりできます。

ツール

Section titled “ツール”
  • Frostbyte MCP - AIエージェント向けに、リアルタイムの暗号資産価格、IPジオロケーション、DNS検索、Markdown形式のウェブスクレイピング、コード実行、スクリーンショットなど13種類のデータツールを提供するMCPサーバーです。1つのAPIキーで40以上のサービスを利用できます。
  • Arch Tools - データサイエンスのワークフロー向けに、コード分析、ウェブスクレイピング、NLP、画像生成、暗号資産データ、検索など、本番対応のAI APIツールを61種類提供します。REST APIとMCPプロトコルに対応しています。GitHub
  • Not Human Search - 9,000以上のAIツールとAPIをインデックス化し、エージェント対応状況（llms.txt、OpenAPI、MCP、ai-plugin.json）を評価するAIエージェント向け検索エンジンです。REST APIとMCPサーバーを備え、プログラムからツールを検索できます。GitHub
  • DeepAlpha - 72個の機械学習特徴量を使うLightGBMとXGBoostのアンサンブル型AI暗号資産取引フレームワークです。アウト・オブ・サンプルデータで、ウォークフォワード検証済みの正解率70.9%を達成。BybitとBinanceに対応し、MITライセンスで公開されています。PyPIから入手できます。
  • CAJAL - 実在するarXiv引用、IMRaD構成、審査スコアリングを備えた、投稿可能な科学論文を生成するローカルAIエージェントです。Ollamaと4B～9Bモデルを使い完全オフラインで動作します。MITライセンスです。HuggingFace
  • ai-evaluation - 50種類以上の指標、LLM-as-Judgeによる拡張、安全対策スキャナー（ジェイルブレイク、個人情報、プロンプトインジェクション）を備えたオープンソースのLLM・エージェント評価フレームワークです。データサイエンスのワークフローにおけるRAG出力、エージェントの軌跡、関数呼び出し動作の評価に役立ちます。
  • Kitaru - 実際のAIエージェント実行を記録し、変更後の条件で再実行して、デプロイ前に結果を評価できるオープンソースプラットフォームです。
  • Jev Social - Jevが範囲を限定したInstagram、TikTok、LinkedIn操作を選び、Chrome上のローカルsocai CLIで実行する読み取り専用のソーシャル調査エージェントです。出典付きレポートとともに、出典に紐づく証拠を保持します。
  • YYLO Benchmark - 過去のエージェントタスク、提供されたコーディングプロンプト、ワークフローを実行する、信頼済みホスト向けのオープンソース実験ランナーです。独立した試行と出力を保持し、後から異なる検査や判定器を使ってモデル、ハーネス、設定を比較できます。MITライセンスです。
  • YYLO - コーディングエージェントと再現可能なワークフローを統括するオープンソースのコマンドラインツールです。型付きのタスク、検証、マージ、リリース準備の境界と、記録で裏付けられたリポジトリ変更を提供します。MITライセンスで、npmからインストールできます。
  • YYLO Ledger - コーディングエージェントのプロジェクト向けコマンドライン・タスク／ワークフロー台帳です。リポジトリ内にハッシュチェーン化したMarkdownとしてカンバンボードとタスク状態を保存し、記録とアーカイブを追跡します。エージェントのワークツリー間で型付きのマージ・リリース手順を実行でき、MITライセンスです。

研究・知識検索

Section titled “研究・知識検索”

  • BGPT MCP - 全文研究論文から抽出した実験データを基に構築された科学論文データベースに、AIエージェントがアクセスできるMCPサーバーです。各論文について、方法、結果、サンプル数、品質スコアなど25種類以上の構造化フィールドを返します。GitHub

  • Chunk Tuner - RAG向けの文書チャンク分割戦略をベンチマークし、検索品質を評価して、コーパスに適した設定を推奨するオープンソースのPythonライブラリ兼MCPサーバーです。

  • II-Commons - arXiv、PubMed/PMC、および対応する米国の政策コーパスを横断して決定論的に検索する、毎日更新のスキルとCLIです。

  • Spraay x402 Gateway - AIエージェント向けの研究・参照エンドポイントを23種類備えたx402決済ゲートウェイです。Wikipedia、arXiv、PubMed、Wikidata、学術引用検索、エンティティ抽出などを利用できます。BaseとSolana上でUSDCによる従量課金に対応し、APIキーやサブスクリプションは不要です。地理空間、AI推論、DeFi、コンピューティングなど39カテゴリにわたる150以上のエンドポイントも提供します。GitHub

  • Suppr - 研究者向けのAI文献検索、文書翻訳、詳細調査ワークスペースです。

ワークフロー

Section titled “ワークフロー”

^ トップに戻る ^

  • sim - Sim Studioのインターフェースは軽量で直感的です。お気に入りのツールと連携するLLMをすばやく構築・デプロイできます。

プロジェクト

Section titled “プロジェクト”

^ トップに戻る ^

  • Synthetic Hospital - 医療ベンチマークと電子カルテ（EHR）シミュレーションのプラットフォーム

学習リソース

Section titled “学習リソース”

^ トップに戻る ^

データサイエンスを学ぶには？もちろん、データサイエンスを実践することです！……と言っても、学び始めたばかりの方にはあまり役立たないかもしれません。このセクションでは、必要な取り組みが比較的少ないものから順に、チュートリアル、大規模公開オンライン講座（MOOC）、集中プログラム、大学などの学習リソースを紹介します。

チュートリアル

Section titled “チュートリアル”

^ トップに戻る ^

無料コース

Section titled “無料コース”

^ トップに戻る ^

MOOC（大規模公開オンライン講座）

Section titled “MOOC（大規模公開オンライン講座）”

^ トップに戻る ^

集中プログラム

Section titled “集中プログラム”

^ トップに戻る ^

大学

Section titled “大学”

^ トップに戻る ^

データサイエンス・ツールボックス

Section titled “データサイエンス・ツールボックス”

^ トップに戻る ^

このセクションでは、データサイエンス分野で役立つパッケージ、ツール、アルゴリズムなどを紹介します。

アルゴリズム

Section titled “アルゴリズム”

^ トップに戻る ^

ここでは、データを理解して意味を引き出すのに役立つ機械学習・データマイニングのアルゴリズムとモデルを紹介します。

機械学習システムの3つの種類

Section titled “機械学習システムの3つの種類”
  • 人間による教師あり学習に基づく
  • 逐次的なオンライン学習に基づく
  • データポイントの比較とパターン検出に基づく

比較

Section titled “比較”
  • datacompy - DataComPyは、2つのPandas DataFrameを比較するパッケージです。

教師あり学習

Section titled “教師あり学習”

教師なし学習

Section titled “教師なし学習”

半教師あり学習

Section titled “半教師あり学習”

強化学習

Section titled “強化学習”

データマイニング・アルゴリズム

Section titled “データマイニング・アルゴリズム”

最新のデータマイニング・アルゴリズム

Section titled “最新のデータマイニング・アルゴリズム”

深層学習アーキテクチャ

Section titled “深層学習アーキテクチャ”

汎用機械学習パッケージ

Section titled “汎用機械学習パッケージ”

^ トップに戻る ^

深層学習パッケージ

Section titled “深層学習パッケージ”

PyTorchエコシステム

Section titled “PyTorchエコシステム”

TensorFlowエコシステム

Section titled “TensorFlowエコシステム”

Kerasエコシステム

Section titled “Kerasエコシステム”

可視化ツール

Section titled “可視化ツール”

^ トップに戻る ^

その他のツール

Section titled “その他のツール”

^ トップに戻る ^

リンク説明
データサイエンス・ライフサイクルのプロセスデータサイエンス・ライフサイクル・プロセスは、データサイエンスチームがアイデアから価値創出までを持続的かつ反復的に実現するためのプロセスです。このリポジトリに手順を記載しています。
Data Science Lifecycle Template Repoデータサイエンスのライフサイクル・プロジェクト向けテンプレートリポジトリです。
TabGAN敵対的フィルタリングとプライバシー指標を用いて、GAN、拡散モデル、LLMで合成テーブルデータを生成します。
RexMex公平な評価を目的とする汎用レコメンダー指標ライブラリです。
ChemicalX医薬品ペアのスコアリング向けPyTorchベース深層学習ライブラリです。
FileShot.ioゼロ知識暗号化（ブラウザー内AES-256-GCM）に対応した安全なファイル共有サービスです。アカウント不要、MITライセンス、自前ホスト可能で、共有リンクに有効期限を設定できます。
CorpusExplorerコーパス言語学者やテキスト／データマイニング愛好家向けのソフトウェアです。60以上の言語で独自コーパスを構築し、50以上のツールや可視化機能を利用できます。
PyTorch Geometric Temporal動的グラフ上の表現学習です。
Little Ball of FurScikit-Learn風のAPIを備えたNetworkX向けグラフサンプリングライブラリです。
Karate ClubScikit-Learn風APIを備えた、NetworkX向けの教師なし機械学習拡張ライブラリです。
ML Workspace機械学習とデータサイエンス向けのオールインワンWeb IDEです。Dockerコンテナーとしてデプロイされ、TensorflowやPyTorchなどの人気ライブラリ、JupyterやVS Codeなどの開発ツールがあらかじめ用意されています。
xonsh shellPythonで動作するシェルです。主にPythonで書かれたデータサイエンス・ライブラリを統合・管理・オーケストレーションし、パイプラインやコード／コマンドベースのワークフローを構築できます。Jupyter Notebookのカーネルとしても使用できます。
Neptune.aiデータサイエンティストによる機械学習モデルの作成・共有を支援する、コミュニティに開かれたプラットフォームです。チーム作業、インフラ管理、モデル比較、再現性確保をサポートします。
steppy機械学習実験を高速かつ再現可能にする軽量なPythonライブラリです。シンプルなインターフェースにより、すっきりとした機械学習パイプラインを設計できます。
steppy-toolkit機械学習の作業をより高速かつ効果的にするニューラルネットワーク、Transformer、モデルを厳選してまとめています。
Datalab from GooglePythonやSQLなどの使い慣れた言語を使って、データを対話形式で簡単に探索、可視化、分析、変換できます。
Hortonworks Sandbox十数種類の対話型Hadoopチュートリアルが付属する、個人向けのポータブルなHadoop環境です。
R統計計算とグラフィックスのための無料ソフトウェア環境です。
Tidyverseデータサイエンス向けに設計された、統一された考え方を持つRパッケージ群です。すべてのパッケージが共通の設計思想、文法、データ構造を共有します。
RStudioR向けの強力なユーザーインターフェースを備えたIDEです。無料のオープンソースで、Windows、Mac、Linuxで動作します。
Python - Pandas - Anaconda大規模データ処理、予測分析、科学計算向けの、完全無料でエンタープライズ対応のPythonディストリビューションです。
Pandas GUIPandasのGUIです。
NuriStat無料のオープンソースSPSS代替ソフトです。t検定、ANOVA、回帰、生存分析、ROCなどのメニュー操作型デスクトップ統計機能を備え、SPSS .savのインポート／エクスポートに対応します。
PolarsPandasより高速な代替を目指して設計された、RustおよびPython向けの高速DataFrameライブラリです。
CiteMe架空・幻覚的な参考文献を検出する参照チェック機能を備えた無料の学術引用生成ツールです。11以上の学術データベース（OpenAlex、PubMed、Semantic Scholar、CrossRef、SciELO）を検索し、40以上の引用スタイルと公開APIを提供します。登録不要で、英語、スペイン語、ポルトガル語、フランス語、ドイツ語に対応します。
Scikit-LearnPythonでの機械学習
NumPyNumPyはPythonによる科学計算の基盤です。大規模な多次元配列や行列を扱え、それらを操作するためのさまざまな高水準数学関数を備えています。
VaexVaexは、大規模なデータセットを可視化し、高速に統計量を計算できるPythonライブラリです。
SciPySciPyはNumPy配列を扱い、数値積分や最適化のための効率的なルーチンを提供します。
データサイエンス・ツールボックスCourseraの講座
データサイエンス・ツールボックスブログ
Wolfram Data Science Platform数値、テキスト、画像、GISなどのデータをWolfram Languageで処理し、幅広いデータサイエンス分析や可視化を行い、豊富な対話型レポートを自動生成できます。すべてを革新的な知識ベース言語Wolfram Languageで実現します。
Datadog大規模データサイエンス向けのソリューション、コード、DevOpsです。
VarianceJavaScriptを書かずに、Web向けの強力なデータ可視化を作成できます。
Kite Development KitKite Software Development Kit（略称Kite、Apache License 2.0）は、Hadoopエコシステム上のシステム構築を簡単にするためのライブラリ、ツール、サンプル、ドキュメントの一式です。
Domino Data Labsインフラの構築や設定を行わずに、モデルの実行、スケーリング、共有、デプロイができます。
Apache Flink効率的で分散型の汎用データ処理プラットフォームです。
Apache HamaApache HamaはApacheのトップレベル・オープンソースプロジェクトであり、MapReduceを超える高度な分析を可能にします。
WekaWekaは、データマイニング向け機械学習アルゴリズムのコレクションです。
OctaveGNU Octaveは主に数値計算を目的とする高水準インタープリター言語です。（無料のMatlab）
Apache Spark超高速なクラスターコンピューティング
Hydrosphere MistApache Sparkの分析ジョブや機械学習モデルを、リアルタイム、バッチ、リアクティブなWebサービスとして公開するサービスです。
Data MechanicsApache Sparkを開発者にとって使いやすく、費用対効果の高いものにするデータサイエンス／エンジニアリング・プラットフォームです。
Caffe深層学習フレームワーク
TorchLuaJIT向け科学計算フレームワーク
Nervana’s python based Deep Learning Frameworkあらゆるハードウェアで最高の性能を目指す、Intel® Nervana™のリファレンス深層学習フレームワークです。
SkaleNodeJSによる高性能な分散データ処理
Aerosolve人間にとって使いやすい機械学習パッケージです。
Intel frameworkIntel®深層学習フレームワーク
Datawrapper誰でも簡単で正確な埋め込み可能チャートを作成できる、オープンソースのデータ可視化プラットフォームです。github.comにもあります。
Tensor FlowTensorFlowは機械知能のためのオープンソース・ソフトウェアライブラリです。
Natural Language Toolkit自然言語処理と分類のための、入門向けでありながら強力なツールキットです。
FunASRVAD、句読点付与、話者ダイアライゼーション、感情検出を内蔵し、50以上の言語に対応する産業用途向け音声認識ツールキットです。OpenAI互換APIサーバーも含まれています。
Annotation Labテキストアノテーションと深層学習モデルの学習・調整に対応する、無料のエンドツーエンド・ノーコードプラットフォームです。固有表現認識、分類、関係抽出、アサーション状態に対応したSpark NLPモデルを標準サポートし、ユーザー、チーム、プロジェクト、文書数に制限はありません。
nlp-toolkit for node.jsこのモジュールでは、NLPの基本原則と実装を扱います。主な焦点はパフォーマンスです。NLPのサンプルデータや学習データを扱うと、すぐにメモリ不足になります。そのため、各実装はストリームとして記述され、各時点で処理中のデータだけをメモリに保持します。
Julia技術計算向けの高水準・高性能な動的プログラミング言語です。
IJuliaJulia言語のバックエンドとJupyter対話環境を組み合わせています。
Apache ZeppelinSQL、Scalaなどを使ったデータ主導の対話型分析や共同編集ドキュメントを可能にするWebベースのノートブックです。
FeaturetoolsPythonで書かれた、オープンソースの自動特徴量エンジニアリング・フレームワークです。
OptimusPySparkバックエンドを使って、データクレンジング、前処理、特徴量エンジニアリング、探索的データ分析、機械学習を簡単に行えます。
Albumentations多様な拡張手法を実装した、高速でフレームワークに依存しない画像拡張ライブラリです。分類、セグメンテーション、検出を標準でサポートします。Kaggle、Topcoder、CVPRワークショップの複数の深層学習コンペティションで優勝に貢献しました。
DVCオープンソースのデータサイエンス向けバージョン管理システムです。プロジェクトの追跡・整理・再現性確保を支援し、基本機能として大容量のデータやモデルファイルのバージョン管理と共有を可能にします。
Lambdo特徴量エンジニアリングと機械学習、モデルの学習と予測、テーブル作成と列の評価を1つの分析パイプラインに統合し、データ分析を大幅に簡素化するワークフローエンジンです。
Feast機械学習の特徴量を管理、発見、利用するための特徴量ストアです。Feastはモデル学習とモデルサービングの両方で、特徴量データの一貫したビューを提供します。
Polyaxon再現性と拡張性に優れた機械学習・深層学習のプラットフォームです。
UBIAI包括的な自動アノテーション機能を備えた、チーム向けの使いやすいテキストアノテーションツールです。NER、関係抽出、文書分類に加え、請求書ラベル付け用のOCRアノテーションもサポートします。
TrainsAI向けの自動化された実験管理、バージョン管理、DevOpsです。
Hopsworks特徴量ストアを備えたオープンソースのデータ集約型機械学習プラットフォームです。オンライン（MySQL Cluster）とオフライン（Apache Hive）の両方の利用に向けた特徴量を取り込み・管理し、大規模なモデル学習とサービングを実現します。
MindsDBMindsDBは開発者向けの説明可能なAutoMLフレームワークです。わずか1行のコードで最先端の機械学習モデルを構築、学習、利用できます。
Lightwood機械学習の問題を小さなブロックに分割してシームレスに組み合わせ、1行のコードで予測モデルを構築することを目指すPyTorchベースのフレームワークです。
AWS Data WranglerPandasの機能をAWSに拡張し、DataFrameとAWSのデータ関連サービス（Amazon Redshift、AWS Glue、Amazon Athena、Amazon EMRなど）を接続するオープンソースPythonパッケージです。
Amazon RekognitionAWS Rekognitionは、Amazon Web Servicesを利用する開発者がアプリケーションに画像分析機能を追加できるサービスです。アセットのカタログ化、ワークフローの自動化、メディアやアプリケーションからの情報抽出が可能です。
Amazon Textractあらゆる文書から印刷テキスト、手書き文字、データを自動抽出します。
Amazon Lookout for Visionコンピュータービジョンを使って製品の欠陥を検出し、品質検査を自動化します。部品の欠落、車両や構造物の損傷、異常を特定し、包括的な品質管理を実現します。
Amazon CodeGuru機械学習を活用した推奨事項により、コードレビューを自動化し、アプリケーションのパフォーマンスを最適化します。
CMLデータサイエンス・プロジェクトで継続的インテグレーションを利用するためのオープンソース・ツールキットです。GitHub ActionsとGitLab CIで本番に近い環境でモデルを自動的に学習・テストし、プル／マージリクエストに可視化レポートを自動生成します。
Dask分析コードを分散コンピューティングシステム（ビッグデータ）へ簡単に移行できる、オープンソースのPythonライブラリです。
DuckDBプロセス内で動作するSQL OLAPデータベース管理システムです。
StatsmodelsPythonベースの推測統計、仮説検定、回帰分析フレームワークです。
Gensim自然言語テキストのトピックモデリング向けオープンソースライブラリです。
spaCy高性能な自然言語処理ツールキットです。
Grid StudioGrid StudioはPythonプログラミング言語と完全に統合されたWebベースのスプレッドシート・アプリケーションです。
Python Data Science HandbookPython Data Science Handbookの全文をJupyter Notebookで読めます。
Shapley機械学習アンサンブルにおける分類器の価値を定量化する、データ主導型フレームワークです。
DAGsHubデータ、モデル、パイプラインを管理するオープンソース・ツールを基盤としたプラットフォームです。
Deepnote新しいタイプのデータサイエンス・ノートブックです。Jupyter互換で、リアルタイム共同作業に対応し、クラウド上で動作します。
Valohai機械学習のオーケストレーション、自動再現性確保、デプロイを扱うMLOpsプラットフォームです。
PyMC3確率的プログラミング（ベイズ推論と機械学習）のためのPythonライブラリです。
PyStanStan（ベイズ推論とモデリング）のPythonインターフェースです。
hmmlearn隠れマルコフモデルの教師なし学習と推論を行います。
Chaos Genius機械学習を活用した、外れ値・異常検知と根本原因分析のための分析エンジンです。
PySADストリーミングデータの異常検知向けPythonライブラリです。
Nimblebox世界中のデータサイエンティストや機械学習実践者が、Webブラウザーからマルチクラウドアプリを発見、作成、公開できるよう設計されたフルスタックMLOpsプラットフォームです。
Towhee非構造化データを埋め込み表現に変換するPythonライブラリです。
LineaPy長く雑然としたJupyter Notebookの整理に困ったことはありませんか？オープンソースのPythonライブラリLineaPyなら、わずか2行のコードで開発用コードを本番向けパイプラインに変換できます。
envd🏕️ データサイエンスおよびAI／MLエンジニアリングチーム向けの機械学習開発環境です。
Explore Data Science Libraries人気・新着ライブラリ、著名な作者、注目のプロジェクトキット、ディスカッション、チュートリアル、学習リソースを厳選して検索・発見できる検索エンジン🔎です。
MLEM🐶 GitOpsの原則に従って機械学習モデルをバージョン管理・デプロイできます。
MLflow機械学習モデルのライフサイクル全体を管理するMLOpsフレームワークです。
cleanlabデータ中心AIと機械学習データセットのさまざまな問題の自動検出に使えるPythonライブラリです。
AutoGluon画像、テキスト、表形式、時系列、マルチモーダルデータについて高精度な予測を簡単に行うAutoMLです。
Arize AI本番環境の機械学習モデルを監視し、データ品質や性能ドリフトなどの問題の根本原因を特定する、Arize AIのコミュニティ向けオブザーバビリティ・ツールです。
Aureo.ioAureo.ioは人工知能の構築に特化したローコード・プラットフォームです。基礎データを使ってパイプラインや自動化を作成し、AIモデルと連携できます。
ERD Lab開発者向けに作られた無料のクラウド型ER図（ERD）ツールです。
Arize-Phoenixノートブックで利用できるMLOpsツールです。洞察を発見し、問題を明らかにし、モデルを監視・微調整できます。
Comet実験追跡、本番モデル管理、モデルレジストリ、完全なデータリネージを備え、学習から本番運用まで機械学習ワークフローを支援するMLOpsプラットフォームです。
Opik開発から本番運用まで、LLMアプリケーションの評価、テスト、リリースを行えます。
SynthicalAIを活用した研究向け共同作業環境です。関連論文の検索、文献管理用コレクションの作成、コンテンツの要約を一か所で行えます。
teeplotデータ可視化の出力を自動整理するワークフロー・ツールです。
Streamlit機械学習・データサイエンス・プロジェクト向けアプリケーション・フレームワークです。
Gradio機械学習モデルを利用するカスタマイズ可能なUIコンポーネントを作成できます。
Weights & Biases実験追跡、データセットのバージョン管理、モデル管理ができます。
DVC機械学習プロジェクト向けのオープンソース・バージョン管理システムです。
Optunaハイパーパラメーターの自動最適化フレームワークです。
Ray Tuneスケーラブルなハイパーパラメーター調整ライブラリです。
Apache Airflowワークフローをプログラムで作成、スケジュール、監視するためのプラットフォームです。
Prefect最新のデータスタック向けワークフロー管理システムです。
Kedro再現可能で保守しやすいデータサイエンス・コードを作成するためのオープンソースPythonフレームワークです。
Hamilton信頼性の高いデータ変換を記述・管理する軽量ライブラリです。
SHAPゲーム理論に基づき、あらゆる機械学習モデルの出力を説明します。
InterpretMLInterpretMLは、一般化加法モデル（GAM）に基づく最新の完全に解釈可能な機械学習モデル、Explainable Boosting Machine（EBM）を実装します。このオープンソースパッケージは、EBMやその他のグラスボックス・モデル、ブラックボックスの説明向け可視化ツールも提供します。
LIMEあらゆる機械学習分類器の予測を説明します。
flyte機械学習向けワークフロー自動化プラットフォームです。
dbtデータ構築ツールです。
zasperデータサイエンス向けの高機能IDEです。
skrub表形式データの機械学習における前処理と特徴量エンジニアリングを簡単にするPythonライブラリです。
Glyph高速なテキスト類似度計算、重複除去、検索に向けて、MinHashフィンガープリントを生成・検索・比較するフレームワーク非依存のTypeScriptライブラリです。
Codeflash常に超高速なPythonコードをリリースできます。
Hugging Face機械学習モデルやデータセットの共有、NLP・生成AIプロジェクトでの共同作業に使われる人気のオープンプラットフォームです。
Chinese-EliteLLMで公開データを解析して関係ネットワークを自動的にマッピングし、対話型グラフとして可視化するオープンソース・プロジェクトです。
Desbordante複雑なパターンの発見と検証に特化したオープンソースのデータプロファイラーです。たとえば数値的な関連ルール、差分依存関係、否定制約などを扱います。
dna-claude-analysis生のDNAデータを17カテゴリ（健康リスク、祖先、薬理ゲノミクス、栄養、心理学など）にわたって分析するPythonスクリプトを備え、ターミナル風の単一ページHTML可視化を生成する個人ゲノム解析ツールキットです。
RunMatCPU／GPUでの自動実行と融合配列カーネルに対応する、高速なMATLAB構文ランタイムです。
Turbostreamストリーミング基盤やバックプレッシャーを気にせず、リアルタイムデータストリームに対する独自ルールエンジンや選択的LLM分析を試せるターミナルUIです。
WFGY ProblemMapLLMおよびRAGパイプラインで繰り返し発生する16種類の問題について、観測可能な症状とデータサイエンスチーム向けの対処策をまとめたオープンソースの「失敗アトラス」です。
Deploybaseすべてのクラウドおよび推論プロバイダーにわたるGPUとLLMの価格をリアルタイムで追跡できます。
DeepAnalyze人間の介入なしに幅広いデータサイエンス・タスクを自律的に完了できる、エージェント型の自律データサイエンス向けLLMです。
Disco人間を超える探索的データ分析を実現します。LLMや手作業の探索では見逃されがちな表形式データの特徴量間相互作用やサブグループ効果を、p値、効果量、文献引用とともに発見します。公開データは無料です。
AI for DatabaseSQLを使わず自然言語でデータベースと対話できます。すぐに洞察を得て、自動更新ダッシュボードを構築し、データベースの変更をトリガーとしてワークフローを自動実行できます。
Crypto Pump ScannerLSTMニューラルネットワーク（正解率84.6%）を用いたAI暗号資産取引ボットです。リアルタイムの急騰検出、ウォークフォワード検証済みモデル、複数取引所（Bybit、Binance、OKX、Gate.io）に対応するオープンソースです。
Future AGILLMやAIエージェントのアプリをシミュレーション、評価、トレース、安全制御、ルーティング、最適化するオープンソース・プラットフォームです。単一のフィードバックループで監視するだけでなく、エージェントの自己改善を実現します。セルフホスト可能で、Apache-2.0ライセンスです。
ipynbtopdfPythonやTeXをインストールせずに、.ipynbノートブックをPDF、HTML、Pythonに変換できるブラウザーベースのJupyterノートブック閲覧・エクスポートツールです。

文献とメディア

Section titled “文献とメディア”

^ トップに戻る ^

このセクションでは、追加で読める資料、視聴できるチャンネル、聴講できる講演を紹介します。

書籍

Section titled “書籍”

^ トップに戻る ^

書籍の割引（アフィリエイト）

Section titled “書籍の割引（アフィリエイト）”

学術誌・出版物・雑誌

Section titled “学術誌・出版物・雑誌”

^ トップに戻る ^

ニュースレター

Section titled “ニュースレター”

^ トップに戻る ^

  • AI Weekly - モデル、資金調達、政策、応用を扱う、業界リーダー厳選のAI情報ブリーフィングです。2017年以来週3回配信され、購読者は4万人以上です。
  • DataTalks.Club. データ関連の話題を扱う週刊ニュースレターです。アーカイブ。
  • The Analytics Engineering Roundup. データサイエンスに関するニュースレターです。アーカイブ。
  • Techpresso. AI、機械学習、テクノロジーにおける重要な動向を紹介する無料の日刊ニュースレターです。アーカイブ。
  • DiamantAI. RAG、エージェント、LLMアプリケーションのパターンなど、実践的なAIエンジニアリングと生成AIを分かりやすく解説します。
  • Bamboo Weekly - 時事問題や実世界の公開データを題材とする週刊pandas演習で、詳しい解答付きです。2年以上前の号は無料で、最新号も最初の2問と解答を無料で利用できます。アーカイブ。

メーリングリスト

Section titled “メーリングリスト”

^ トップに戻る ^

ブロガー

Section titled “ブロガー”

^ トップに戻る ^

プレゼンテーション

Section titled “プレゼンテーション”

^ トップに戻る ^

ポッドキャスト

Section titled “ポッドキャスト”

^ トップに戻る ^

YouTube動画・チャンネル

Section titled “YouTube動画・チャンネル”

^ トップに戻る ^

コミュニティ

Section titled “コミュニティ”

^ トップに戻る ^

以下にソーシャルメディアのリンクを紹介します。他のデータサイエンティストと交流しましょう！

Facebookアカウント

Section titled “Facebookアカウント”

^ トップに戻る ^

Twitterアカウント

Section titled “Twitterアカウント”

^ トップに戻る ^

Twitter説明
Big Data Combineモデルを取引戦略として収益化したいデータサイエンティスト向けの、テンポの速いライブ試行
Big Data Maniaデータ可視化の専門家、データジャーナリスト、グロースハッカー、『Data Science for Dummies（ダミーのためのデータサイエンス）』（2015年）の著者
Big Data Scienceビッグデータ、データサイエンス、予測モデリング、ビジネス分析、Hadoop、意思決定・オペレーションズリサーチ。
Charlie Greenbacker@ExploreAltamiraのデータサイエンス責任者
Chris SaidTwitterのデータサイエンティスト
Clare Corthell@mattermarkの開発、デザイン、データサイエンス #hackerei
DADI Charles-Abner@Ekimetricsの#データサイエンティスト。#機械学習 #データ可視化 #DynamicCharts #Hadoop #R #Python #NLP #Bitcoin #データ好き
Data Science CentralData Science Centralは、業界のビッグデータ実践者向け総合リソースです。
Data Science Londonデータサイエンス。ビッグデータ。データ活用。データ愛好家。データ系スタートアップ。オープンデータ
Data Science ReneeSQLデータアナリストから工学修士課程を経てデータサイエンティストを目指す道のりを記録しています
Data Science Reportデータサイエンスと分析分野のキャリア形成を導き、発展させることを使命としています
Data Science Tips世界中のデータサイエンティストに向けたヒントとコツです！ #データサイエンス #ビッグデータ
Data Vizzardデータ可視化、セキュリティ、軍事
DataScienceX
deeplearning4j
DJ Patilホワイトハウスのデータ責任者、@RelateIQの副社長
Domino Data Lab
Drew Conwayデータ好き、ハッカー、紛争研究者。
Emilio Ferrara#ネットワーク、#機械学習、#データサイエンス。#ソーシャルメディアを研究。@IndianaUnivの博士研究員
Erin Bartolo#ビッグデータと付き合い、その過熱ぶりに愛憎入り混じる思いを抱いています。@iSchoolSUの#データサイエンス・プログラムマネージャー
Greg Reda_GrubHub_でデータとpandasを担当
Gregory PiatetskyKDnuggets代表。分析、ビッグデータ、データマイニング、データサイエンスの専門家。KDDとSIGKDDの共同創設者で、2社のスタートアップで最高研究責任者を務め、哲学者としても活動。
Hadley WickhamRStudioのチーフサイエンティスト。オークランド大学、スタンフォード大学、ライス大学の統計学非常勤教授。
Hakan Kardasデータサイエンティスト
Hilary Mason@accelのレジデント・データサイエンティスト
Jeff Hammerbacherデータサイエンスに関する投稿をリツイート
John Myles WhiteFacebookの研究者でJulia開発者。『Machine Learning for Hackers（ハッカーのための機械学習）』と『Bandit Algorithms for Website Optimization（ウェブサイト最適化のためのバンディット・アルゴリズム）』の著者。投稿は個人の見解です。
Juan Miguel LavistaMicrosoftデータサイエンスチームの主任データサイエンティスト
Julia Evansハッカー。Pandas。データ分析。
Kenneth CukierThe Economistのデータ編集者。『Big Data』の共著者 (https://www.big-data-book.com/).
Kevin Davenporthttps://www.meetup.com/San-Diego-Data-Science-R-Users-Group/ の主催者
Kevin Markhamデータサイエンス講師、Data Schoolの創設者
Kim Rees対話型データ可視化とツール。データ散策者。
Kirk Borneデータサイエンティスト、天体物理学博士、トップクラスの#ビッグデータ・インフルエンサー。
Linda Regberデータを語る人、可視化。
Luis Rei博士課程学生。プログラミング、モバイル、Web、人工知能、知能ロボット、機械学習、データマイニング、自然言語処理、データサイエンス。
Mark StevensonSalt（@SaltJobs）のデータ分析採用スペシャリスト。分析、洞察、ビッグデータ、データサイエンス
Matt HarrisonフルスタックPython開発者、著者、講師としての見解を発信。現在はデータサイエンティストとして活動中。時折、父親業や夫業、有機園芸にも取り組みます。
Matthew Russellソーシャルウェブのマイニング。
Mert NuhoğluBizQualifyのデータサイエンティスト、開発者
Monica RogatiJawboneでデータを担当。LinkedInではデータをストーリーや製品に変換。テキストマイニング、応用機械学習、レコメンダーシステム。元ゲーマー、元マシンコーダー、命名者。
Noah Iliinsky可視化・インタラクションデザイナー。実用派サイクリスト。可視化関連書籍の著者： https://www.oreilly.com/pub/au/4419
Paul Millerクラウドコンピューティング、ビッグデータ、オープンデータのアナリスト兼コンサルタント。ライター、講演者、司会者。Gigaom Researchアナリスト。
Peter Skomorochタスクを自動化し、意思決定を改善する知的システムを構築。起業家。元LinkedIn主任データサイエンティスト。機械学習、ProductRei、ネットワーク。
Prash ChanIBMのソリューションアーキテクト。マスターデータ管理、データ品質、データガバナンスのブロガー。データサイエンス、Hadoop、ビッグデータ、クラウド。
Quora Data ScienceQuoraのデータサイエンス・トピック
R-BloggersRブログ界の記事、データサイエンス会議、そしてデータサイエンティストの (!) 公開求人を投稿します。
Rand Hindi
Randy Olson人工知能を研究するコンピューター科学者。データいじりが好き。@DataIsBeautifulのコミュニティリーダー。#オープンサイエンス推進者。
Recep ErolUALRのデータサイエンス好き
Ryan Orbanデータサイエンティスト、遺伝的折り紙作家、ハードウェア愛好家
Sean J. Taylor社会科学者。ハッカー。Facebookデータサイエンスチーム。キーワード：実験、因果推論、統計学、機械学習、経済学。
Silvia K. SpivaCiscoの#データサイエンス
Harsh B. GuptaBBVA Compassのデータサイエンティスト
Spencer Nelsonデータ好き
Talha OzABM、SNA、DM、ML、NLP、HI、Python、Javaが好き。Kaggle上位層のデータサイエンティスト
Tasos Skarlatidis複合イベント処理、ビッグデータ、人工知能、機械学習。プログラミングとオープンソースに情熱を注いでいます。
Terry Timko情報ガバナンス、ビッグデータ、サービスとしてのデータ、データサイエンス、オープンデータ・ソーシャルデータ・ビジネスデータの融合
Tony BaerOvumのITアナリスト。ビッグデータとデータ管理を担当し、システムエンジニアリングにも取り組みます。
Tony Ojedaデータサイエンティスト、著者、起業家。@DataCommunityDC共同創設者。@DistrictDataLab創設者。#データサイエンス #ビッグデータ #DataDC
Vamshi AmbatiPayPalでデータサイエンスを担当。#NLP、#機械学習。カーネギーメロン大学博士課程修了（ブログ： https://allthingsds.wordpress.com )
Wes McKinneyPandas（Pythonデータ分析ライブラリ）。
WileyEd@Seagateのシニアマネージャー。元@McKinsey。#ビッグデータと#分析のエバンジェリスト。#Hadoop、#クラウド、#デジタル、#R愛好家
WNYC Data News Team@WNYCのデータニュースチームです。データジャーナリズムを実践し、可視化して、取り組みを公開しています。
Alexey Grigorevデータサイエンス関連書籍の著者
İlker Arslanデータサイエンス書籍の著者。主にJuliaプログラミングについて発信。
INEVITABLE英国を拠点とするAI・データサイエンスのスタートアップ企業
Jan Oliver Rüdigerテキスト／データマイニングを中心とする機械学習、深層学習、データサイエンス

Telegramチャンネル

Section titled “Telegramチャンネル”

^ トップに戻る ^

  • Open Data Science – Telegram初のデータサイエンス・チャンネルです。AI、ビッグデータ、機械学習、統計、数学とその応用など、データサイエンスに関する技術・一般向けの幅広い情報を紹介します。
  • Loss function porn — データサイエンス／機械学習をテーマに、動画やグラフィックで可視化した美しい投稿です。
  • Machinelearning – 機械学習の最新ニュースを毎日配信します。

Slackコミュニティ

Section titled “Slackコミュニティ”

トップ

GitHubグループ

Section titled “GitHubグループ”

データサイエンス・コンペティション

Section titled “データサイエンス・コンペティション”

データマイニング・コンペティションのプラットフォームを紹介します。

楽しもう

Section titled “楽しもう”

インフォグラフィック

Section titled “インフォグラフィック”

^ トップに戻る ^

プレビュー説明
データサイエンティストとデータエンジニアの主な違い
DataCampによる「データサイエンティストになる8つのステップ」の図解ガイド (画像)
必要なスキルのマインドマップ (画像)
Swami Chandrasekaranによる地下鉄路線図形式のカリキュラムです。
@kzawadzによる投稿：Twitter
Data Science Centralによるものです。
データサイエンス論争：R対Python
統計手法または機械学習手法の選び方
適切な推定器の選択
データサイエンス業界：誰が何をするのか
データサイエンスのベンオイラー図
Springboardによるデータサイエンスのさまざまなスキルと役割
Data Fallacies To Avoidデータサイエンティストや統計学者ではない同僚に、データに関する間違いを避ける方法を教えるための、シンプルで親しみやすい方法です。Geckoboardのデータリテラシー講座より。

データセット

Section titled “データセット”

^ トップに戻る ^

コミック

Section titled “コミック”

^ トップに戻る ^

その他のAwesomeリスト

Section titled “その他のAwesomeリスト”

趣味

Section titled “趣味”

HagiCode

HagiCode はエージェント型コーディングワークスペースです。豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくし、開発をより魅力的な体験にします。

豊富で便利な UI インタラクションで、計画からプロジェクト作業までを分かりやすく進められます。

HagiCode を見るドキュメントを読む
  • スマートOpenSpec ワークフローが意図を、提案・設計・タスクから変更のリリースまで実行可能な道筋にします。
  • 効率的マルチエージェント実行で調査・実装・レビューを並行して進め、複数リポジトリや使い慣れた Agent CLI にも対応します。
  • 興味深い豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくします。

Windows 版をダウンロード

Microsoft Store で入手すべてのダウンロード

アイデアを、出荷できるソフトウェアへ。

HagiCode はエージェント型コーディングワークスペースです。OpenSpec ワークフローで変更を計画し、マルチエージェント実行で進め、Hero Scenario で長い作業の進み具合を見える化して、アイデアを出荷できるソフトウェアにします。

HagiCode をダウンロード製品ドキュメント
スマート
OpenSpec ワークフローが、意図を提案からリリースまでの実行可能な道筋にします。
効率的
マルチエージェント実行で、調査・実装・レビューを並行して進めます。
楽しい
使いやすい UI で、計画・Agent 実行・プロジェクト作業を進めやすくします。

© 2026 HagiCode | Powered By hagilight-starlight@0.21.0 | Branch: main | Commit: 745b50b | Built:

Awesome Site を離れますか？

外部のウェブサイトに移動しようとしています。そのサイトのコンテンツやプライバシーの取り扱いは管理していません。

移動先

ウェブサイトに進む