Chinese NLP

Source: https://github.com/crownpku/Awesome-Chinese-NLP at 923e20ae6872
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Chinese NLP

Eine kuratierte Liste von Ressourcen für NLP (Natural Language Processing) für die chinesische Sprache.

Materialien zum natürlichen Sprachverarbeitung des Chinesischen

Bild vom Professor Qiu Xipeng der Fudan-Universität

Inhalt Contents

1. Chinesische NLP-Werkzeuge Chinese NLP Toolkits

• Umfassende NLP-Werkzeugkästen Toolkits

• Beliebte englische oder mehrsprachige NLP-Werkzeugkästen Popular NLP Toolkits for English/Multi-Language

• Chinesische Wortsegmentierung Chinese Word Segment

• Informationsextraktion Information Extraction

• Frage-Antwort und Chatbot QA & Chatbot

• Multimodale Repräsentation & Retrieval Multi-Modal Representation & Retrieval

2. Chinesisches Korpus Corpus

3. Chinesische NLP-Akademien und Wettbewerbe Organizations

4. Kommerzielle chinesische NLP-Dienste Industry

5. Lernmaterialien Learning Materials

Chinesische NLP-Werkzeuge Chinese NLP Toolkits

Umfassende NLP-Werkzeugkästen Toolkits

• THULAC 中文词法分析工具包 von 清华 (C++/Java/Python)

• NLPIR von 中科院 (Java)

• LTP 语言技术平台 von 哈工大 (C++) pylyp Python-Wrapper für LTP

• FudanNLP von 复旦 (Java)

• BaiduLac von 百度 Baidus open-source lexikalische Analyse für Chinesisch, inkl. Segmentierung, POS-Tagging & Named-Entity-Erkennung.

• HanLP (Java)

• FastNLP (Python) ein leichtgewichtiges NLP-Paket.

• SnowNLP (Python) Python-Bibliothek zur Verarbeitung chinesischer Texte

• YaYaNLP (Python) rein in Python geschriebenes chinesisches NLP-Paket, benannt nach „牙牙学语“ (Lallen lernen)

• 小明NLP (Python) leichtgewichtiges chinesisches NLP-Werkzeug

• DeepNLP (Python) Deep-Learning-NLP-Pipeline auf Tensorflow mit vortrainierten chinesischen Modellen.

• chinese_nlp (C++ & Python) chinesische NLP-Werkzeuge und Beispiele

• lightNLP (Python) Deep-Learning-Framework für NLP basierend auf Pytorch und torchtext

• Chinese-Annotator (Python) Annotator für chinesische Textkorpora Annotator for Chinese Text Corpus

• Poplar (Typescript) ein webbasiertes Annotationswerkzeug für NLP

• Jiagu (Python) Jiagu basiert auf Modellen wie BiLSTM und wurde mit großen Korpora trainiert. Bietet Segmentierung, POS-Tagging, NER, Sentimentanalyse, Relationsextraktion für Wissensgraphen, Schlüsselwortextraktion, Textzusammenfassung, Neuwortfindung u. a.

• SmoothNLP (Python & Java) fokussiert auf erklärbare NLP-Techniken

• FoolNLTK (Python & Java) eine chinesische Sprachwerkzeugkiste A Chinese Nature Language Toolkit

Beliebte englische oder mehrsprachige NLP-Werkzeugkästen Popular NLP Toolkits for English/Multi-Language

• CoreNLP von Stanford (Java) eine Java-Suite zentraler NLP-Werkzeuge.

• Stanza von Stanford (Python) eine Python-NLP-Bibliothek für viele menschliche Sprachen

• NLTK (Python) Natural Language Toolkit

• spaCy (Python) NLP in Industriequalität mit einem Online-Kurs

• textacy (Python) NLP, vor und nach spaCy

• OpenNLP (Java) ein auf maschinellem Lernen basierendes Werkzeug zur Verarbeitung natürlicher Sprache.

• gensim (Python) Gensim ist eine Python-Bibliothek für Topic-Modelling, Dokumentindizierung und Ähnlichkeitssuche in großen Korpora.

• Kashgari - einfaches und mächtiges NLP-Framework, baue in 5 Minuten ein modernes Modell für NER, PoS und Textklassifikation. Beinhaltet BERT und word2vec.

Chinesische Wortsegmentierung Chinese Word Segment

• Jieba 结巴中文分词 (Python und viele weitere Sprachvarianten) die beste Python-Komponente für chinesische Segmentierung

• 北大中文分词工具 (Python) hochpräzises Segmentierungswerkzeug, einfach zu nutzen, deutlich genauer als bestehende Open-Source-Tools.

• kcws 深度学习中文分词 (Python) BiLSTM+CRF und IDCNN+CRF

• ID-CNN-CWS (Python) Iterierte dilatierte Faltungen für chinesische Wortsegmentierung Iterated Dilated Convolutions for Chinese Word Segmentation

• Genius 中文分词 (Python) Genius ist eine open-source Python-Komponente für chinesische Segmentierung, nutzt den CRF-Algorithmus (Conditional Random Field).

• loso 中文分词 (Python)

• yaha “哑哈”中文分词 (Python)

• ChineseWordSegmentation (Python) chinesischer Segmentierungsalgorithmus ohne Korpus Chinese word segmentation algorithm without corpus

• Go 语言高性能分词 (Go) effiziente Go-Textsegmentierung; unterstützt Englisch, Chinesisch, Japanisch u. a.

• Ansj中文分词 (java) Java-Implementierung chinesischer Segmentierung basierend auf n-Gram+CRF+HMM

Informationsextraktion Information Extraction

• MITIE (C++) Bibliothek und Werkzeuge zur Informationsextraktion

• Duckling (Haskell) Sprache, Engine und Werkzeug zum Ausdrücken, Testen und Bewerten komponierbarer Sprachregeln auf Eingabezeichenfolgen.

• IEPY (Python) IEPY ist ein Open-Source-Werkzeug für Informationsextraktion mit Fokus auf Relationsextraktion.

• Snorkel ein System zur Erstellung und Verwaltung von Trainingsdaten mit Fokus auf Informationsextraktion

• Neuronale Relationsextraktion mit LSTM in TensorFlow

• Ein neuronales Netzmodell für chinesische Named-Entity-Erkennung

• bert-chinese-ner verwendet das vortrainierte Sprachmodell BERT für chinesisches NER

• Information-Extraction-Chinese chinesische NER mit IDCNN/biLSTM+CRF und Relationsextraktion mit biGRU+2ATT 中文实体识别与关系提取

• Familia von Baidu, A Toolkit for Industrial Topic Modeling

• Text Classification alle Arten von Textklassifikationsmodellen und mehr mit Deep Learning. Nutzt Zhihu-Frage-Antwort-Korpus als Testdaten.

• ComplexEventExtraction Konzepte und explizite Muster zusammengesetzter chinesischer Ereignisse, inkl. konditionaler, kausaler, sequenzieller, inverser Ereignisse, bildet ein Ereignisgraphen.

• TextRank4ZH extrahiert automatisch Schlüsselwörter und Zusammenfassungen aus chinesischem Text

Frage-Antwort und Chatbot QA & Chatbot

• Rasa NLU (Python) wandelt natürliche Sprache in strukturierte Daten, ein chinesischer Fork unter Rasa NLU Chi

• Rasa Core (Python) dialogbasierte Engine auf ML-Basis für Konversationssoftware

• Chatstack eine vollständige Pipeline-UI zum Aufbau eines chinesischen NLU-Systems

• Snips NLU (Python) Snips NLU ist eine Python-Bibliothek, die natürliche Sätze parst und strukturierte Informationen extrahiert.

• DeepPavlov (Python) eine Open-Source-Bibliothek zum Bau end-to-end Dialogsysteme und Trainieren von Chatbots.

• ChatScript NLP-Werkzeug/Dialogmanager, eine regelbasierte Chatbot-Engine.

• Chatterbot (Python) ChatterBot ist eine maschinelle Lern-Engine für konversationelle Dialoge zum Erstellen von Chatbots.

• Chatbot (Python) kontextbasierter Chatbot auf Vektormatching

• Tipask (PHP) ein open-source PHP-Frage-Antwort-System auf Laravel, leicht erweiterbar, hohe Lastfähigkeit und Stabilität.

• QuestionAnsweringSystem (Java) ein Java-Frage-Antwort-System, das Fragen automatisch analysiert und Kandidatenantworten liefert.

• QA-Snake (Python) automatische Frage-Antwort auf Basis mehrerer Suchmaschinen und Deep Learning

• Sequence-to-Sequence-Chatbot-Modell mit TensorFlow (Python)

• Chinesisches Leseverständnis-Frage-Antwort-System mit Deep Learning (Python)

• AnyQ by Baidu umfasst hauptsächlich ein FAQ-Frage-Antwort-Framework und das Textsemantik-Matching-Werkzeug SimNet.

• DuReader-Baseline-Code für chinesisches Leseverständnis (Python)

• Automatisches Bot-Framework basierend auf SmartQQ (Python)

• QASystemOnMedicalKG (Python) ein medizinisches Wissensgraph gewisser Größe, zentriert auf Krankheiten, der automatische Frage-Antwort und Analyse bietet.

• GPT2-chitchat (Python) GPT2-Modell für chinesisches Smalltalk

• CDial-GPT (Python) bietet einen großen chinesischen Dialogdatensatz und ein darauf vortrainiertes chinesisches Dialogmodell (chinesisches GPT-Modell)

Multimodale Repräsentation & Retrieval Multi-Modal Representation & Retrieval

• Chinese-CLIP (Python) Chinese-CLIP ist ein vortrainiertes chinesisches multimodales Text-Bild-Repräsentationsmodell. Basierend auf OpenAIs CLIP-Struktur, mit großem einheimischem chinesischem Text-Bild-Korpus vortrainiert; mehrere Modellgrößen open-source, mit technischem Bericht und Retrieval-Demo.

Chinesisches Korpus Corpus

• OpenKG.cn 开放知识图谱

• Schema des offenen chinesischen Wissensgraphen

• CN-Probase, großer chinesischer Konzeptgraph Konto-Vorstellung

• Open-Source-Download eines großen chinesischen Wissensgraphen von 1,4 Mrd.

• Landwirtschaftlicher Wissensgraph Informationsretrieval, NER, Relationsextraktion, Klassifikationsbaum, Data-Mining im Agrarbereich

• CLDC 中文语言资源联盟

• Chinesischer Wikipedia-Dump

• Chinesische Pretrain-Modelle nach verschiedenen Korpora/Modellen (BERT, GPT usw.) Framework für chinesische Pretrain-Modelle, unterstützt verschiedene Korpora, Encoder, Ziele (from RUC and Tencent)

• OpenCLaP mehrdomäniges open-source Repository chinesischer Pretrain-Sprachmodelle (from Tsinghua)

• POS-annotiertes Korpus der Volkszeitung 1998@Baidu Disk

• Sogou-Nachrichtenkorpus 20061127 (mit Klassifikation)@Baidu Disk

• UDChinese (zum Trainieren von spaCy-POS)

• Chinesisches word2vec-Modell

• Über hundert vortrainierte chinesische Wortvektoren

• Tencent AI Lab Embedding Corpus for Chinese Words and Phrases

• Chinesisches BERT mit Whole Word Masking vortrainiert

• Chinesischer GPT2-Trainingscode kann Gedichte, Nachrichten, Romane schreiben oder ein allgemeines Sprachmodell trainieren.

• ChineseGLUE, Benchmark für chinesisches Sprachverständnis umfasst repräsentative Datensätze, Referenz-(Pretrain-)Modelle, Korpora, Leaderboard.

• Datenbank des Xinhua-Wörterbuchs umfasst Sprichwörter, Idiome, Wörter, Zeichen.

• Synonyms: chinesisches Synonym-Werkzeug auf Wikipedia-Chinesisch und word2vec trainierte Synonymbibliothek, als Python-Paket verpackt.

• Chinese_conversation_sentiment ein chinesischer Sentiment-Datensatz, nützlich für Sentimentanalyse.

• Chinesisches Notfall-Korpus Chinese Emergency Corpus

• dgk_lost_conv, chinesisches Dialogkorpus chinese conversation corpus

• Korpus zum Trainieren chinesisch-englischer Dialogsysteme Datasets for Training Chatbot System

• Gossiping-Chinesisch-Korpus (Frage-Antwort)

• Öffentliches chinesisches Chat-Korpus

• Crawler für chinesische Börsenankündigungen Python-Skripte zum Abrufen von Ankündigungen (börsennotierte Unternehmen und Aufsicht) der chinesischen Märkte sz, sh von Juchao-Servern

• tushare Finanzdaten-Schnittstelle TuShare ist ein kostenloses, open-source Python-Finanzdaten-Paket.

• Finanztext-Datensatz SmoothNLP 金融文本数据集(公开) Public Financial Datasets for NLP Researches

• Versicherungs-Korpus [52nlp-Blog] OpenData im Versicherungsbereich für ML-Aufgaben OpenData in insurance area for Machine Learning Tasks

• Vollständigste Datenbank alter chinesischer Poesie nahe 14000 Dichter der Tang/Song, ~55000 Tang-Gedichte + 260000 Song-Gedichte. 1564 Ci-Autoren der Song, 21050 Ci.

• Chinesische DuReader-Leseverständnisdaten

• Kleine chinesische Korpora enthält etwas chinesische NER, Relationserkennung, Leseverständnis

• Chinese-Literature-NER-RE-Dataset Diskurs-Ebene NER- und Relationsextraktionsdatensatz für chinesischen Literaturtext A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text

• ChineseTextualInference chinesisches Textinferenz-Projekt, inkl. Übersetzung/Bau eines 880k Text-Implikationsdatensatzes und eines DL-basierten Implikationsmodells.

• Großes chinesisches NLP-Korpus Wikipedia (wiki2019zh), Nachrichten (news2016zh), Enzyklopädie-QA (baike2018qa)

• Korpus chinesischer Personennamen chinesische Namen, Familiennamen, Vornamen, Anreden, japanische, übersetzte, englische Namen.

• Korpus von Firmen- und Organisationnamen Firmenkurzformen, Akronyme, Marken, Unternehmensnamen.

• Chinesisches Wörterbuch sensibler Wörter mehrere Filter-Implementierungen + ein ~10k sensibles Wörterbuch

• Korpus chinesischer Abkürzungen ein Korpus chinesischer Abkürzungen inkl. negativer Langformen A corpus of Chinese abbreviation, including negative full forms.

• Chinesisches Datenmaterial zur Vorverarbeitung chinesisches Segmentierungswörterbuch und Stoppwörter

• 漢語拆字字典

• SentiBridge: chinesische Entitäts-Sentiment-Wissensdatenbank beschreibt, wie Menschen eine Entität beschreiben, 300000 Paare aus Nachrichten, Reise, Gastronomie.

• OpenCorpus eine Sammlung frei verfügbarer (chinesischer) Korpora.

• ChineseNlpCorpus Sentiment/Meinung/Kommentar-Tendenzanalyse, chinesische NER, Empfehlungssystem

• FinancialDatasets SmoothNLP 金融文本数据集(公开) Public Financial Datasets for NLP Researches Only

• People’s Daily & Children’s Fairy Tale PD&CFT: ein chinesischer Leseverständnis-Datensatz A Chinese Reading Comprehension Dataset

• Chinesische Wikipedia 230k hochwertige Einträge - Stand 07/2023 - sensible/strittige Infos gefiltert

Chinesische NLP-Akademien und Wettbewerbe Organizations

• Labor für NLP und Geistesrechnen der Tsinghua-Universität

• Schlüssellabor für Computerlinguistik der Peking-Universität

• NLP-Forschungsgruppe des Instituts für Informatik der Akademie

• Labor für intelligente Technik und NLP von 哈工大

• Forschungszentrum für Sozialberechnung und Informationsretrieval von 哈工大

• NLP-Gruppe der Fudan-Universität

• NLP-Gruppe der Soochow-Universität

• NLP-Forschungsgruppe der Nanjing-Universität

• NLP-Labor der Northeastern-Universität

• NLP-Labor der Xiamen-Universität

• NLP-Labor der Zhengzhou-Universität

• NLP von Microsoft Research Asia

• Huawei Noah’s Ark Laboratory

• CUHK Text Mining Group

• PolyU Social Media Mining Group

• HKUST Human Language Technology Center

• National Taiwan University NLP Lab

• Chinesische Gesellschaft für Informationsverarbeitung in chinesischer Sprache

• NLP Conference Calender wichtige Konferenzen, Journale, Workshops und Shared Tasks der NLP-Gemeinschaft.

• 2017 1. „iFlytek Cup“ chinesische Maschinenlese-Evaluierung

• 2017 AI-Challenger Bildunterschrift auf Chinesisch die Hauptinformation eines Bildes in einem Satz beschreiben, Bildverständnis im chinesischen Kontext.

• 2017 AI-Challenger englisch-chinesische Textübersetzung mit großen Daten die Fähigkeit englisch-chinesischer Übersetzungsmodelle verbessern.

• 2017 Zhihu Kanshan Cup Machine-Learning-Wettbewerb aus Trainingsdaten von Zhihu-Fragen und Themen-Tags ein Modell zum automatischen Taggen unmarkierter Daten trainieren.

• 2018 chinesische Frage-Antwort-Aufgabe in offenem Bereich für eine chinesische Frage wählt das System Entitäten/Werte aus der Wissensbasis als Antwort.

• 2018 WeBank-Wettbewerb zum Abgleich von Kundenfrage-Sätzen auf echtem chinesischen Kundenservice-Korpus, Intent-Matching; gegeben zwei Sätze, Intentionsnähe beurteilen.

Kommerzielle chinesische NLP-Dienste Industry

• Huawei Cloud NLP Cloud-Dienst für Textanalyse und -mining für Unternehmen und Entwickler, hilft Texte effizient zu verarbeiten

• Baidu Cloud NLP bietet führende NLP-Technik, hochwertige Textverarbeitung und -verständnis

• Alibaba Cloud NLP zentrales Werkzeug für Textanalyse und -mining für Unternehmen und Entwickler

• Tencent Cloud NLP basierend auf Parallelrechnen und verteiltem Crawler, kombiniert mit einzigartiger Semantikanalyse, deckt NLP, Transcodierung, Extraktion, Datenerfassung ab

• iFlytek Open Platform KI-Open-Platform mit Fokus auf Sprachinteraktion

• Sogou Labs Segmentierung und POS-Tagging

• BosonNLP 玻森数据 Shanghai Boson, spezialisiert auf chinesische Semantikanalyse

• Yunfu Tech 云孚科技 NLP-Werkzeuge, Wissensgraphen, Textmining, Dialogsysteme, Meinungsanalyse usw.

• Zhiyan Tech 智言科技 KI-Unternehmen fokussiert auf Deep Learning und Wissensgraphen

• Zhuiyi Tech 追一科技 fokussiert auf Deep Learning und NLP

Lernmaterialien Learning Materials

• Chinesisches Deep Learning Book

• Stanford CS224n Natural Language Processing with Deep Learning 2017

• Oxford CS DeepNLP 2017

• [Kursmaterialien für Georgia Tech CS 4650 und 7650, „Natural Language“] (https://github.com/jacobeisenstein/gt-nlp-class)

• Speech and Language Processing von Dan Jurafsky und James H. Martin

• 52nlp 我爱自然语言处理

• hankcs 码农场

• Materialien zum Praxiskurs Textverarbeitung inkl. Feature-Extraktion (TF-IDF), Textklassifikation, -clustering, word2vec-Training, ähnlichkeitsberechnung, automatische Zusammenfassung, Informationsextraktion, Sentimentanalyse u. a.

• nlp_tasks Natural Language Processing Tasks and Selected References

• Einstieg in die NLP-Forschung von Professor Liu Zhiyuan der 清华

• Chinese NLP Shared Tasks, Datensätze und Spitzenergebnisse für die Verarbeitung der chinesischen Sprache