Chinese NLP

Source: https://github.com/crownpku/Awesome-Chinese-NLP at 923e20ae6872
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Chinese NLP

Una lista curada de recursos para el PLN (procesamiento del lenguaje natural) del chino.

Materiales relacionados con el procesamiento del lenguaje natural en chino

Imagen del profesor Qiu Xipeng de la Universidad Fudan

Contenido Contents

1. Herramientas NLP chinas Chinese NLP Toolkits

• Paquetes NLP integrados Toolkits

• Paquetes NLP ingleses o multilingües habituales Popular NLP Toolkits for English/Multi-Language

• Segmentación de palabras chinas Chinese Word Segment

• Extracción de información Information Extraction

• Preguntas y respuestas y Chatbot QA & Chatbot

• Representación y recuperación multimodal Multi-Modal Representation & Retrieval

2. Corpus chino Corpus

3. Organizaciones académicas y concursos NLP chinos Organizations

4. Servicios comerciales NLP chinos Industry

5. Material de aprendizaje Learning Materials

Herramientas NLP chinas Chinese NLP Toolkits

Paquetes NLP integrados Toolkits

• THULAC 中文词法分析工具包 por 清华 (C++/Java/Python)

• NLPIR por 中科院 (Java)

• LTP 语言技术平台 por 哈工大 (C++) pylyp envoltorio Python para LTP

• FudanNLP por 复旦 (Java)

• BaiduLac por 百度 herramienta abierta de análisis léxico de Baidu para chino, incluye segmentación, etiquetado gramatical y reconocimiento de entidades nombradas.

• HanLP (Java)

• FastNLP (Python) un conjunto NLP ligero.

• SnowNLP (Python) biblioteca Python para procesar texto chino

• YaYaNLP (Python) paquete NLP chino escrito en Python puro, nombre inspirado en «牙牙学语» (balbucear)

• 小明NLP (Python) herramienta NLP china ligera

• DeepNLP (Python) pipeline NLP de deep learning sobre Tensorflow con modelos chinos preentrenados.

• chinese_nlp (C++ & Python) herramientas y ejemplos de PLN chino

• lightNLP (Python) framework de deep learning NLP basado en Pytorch y torchtext

• Chinese-Annotator (Python) anotador para corpus de texto chino Annotator for Chinese Text Corpus

• Poplar (Typescript) una herramienta de anotación web para NLP

• Jiagu (Python) Jiagu se basa en modelos como BiLSTM y se entrena con corpus a gran escala. Ofrece segmentación, etiquetado gramatical, NER, análisis de sentimiento, extracción de relaciones de grafos de conocimiento, extracción de palabras clave, resumen, descubrimiento de neologismos, etc.

• SmoothNLP (Python & Java) centrado en técnicas NLP explicables

• FoolNLTK (Python & Java) un conjunto de lenguaje natural chino A Chinese Nature Language Toolkit

Paquetes NLP ingleses o multilingües habituales Popular NLP Toolkits for English/Multi-Language

• CoreNLP por Stanford (Java) una suite Java de herramientas NLP centrales.

• Stanza por Stanford (Python) una biblioteca NLP de Python para muchos idiomas humanos

• NLTK (Python) Natural Language Toolkit

• spaCy (Python) PLN de nivel industrial con un curso en línea

• textacy (Python) NLP, antes y después de spaCy

• OpenNLP (Java) un conjunto basado en aprendizaje automático para el procesamiento de texto en lenguaje natural.

• gensim (Python) Gensim es una biblioteca Python para modelado de temas, indexación de documentos y recuperación de similitud en corpus grandes.

• Kashgari - framework NLP simple y potente, construye un modelo de vanguardia en 5 minutos para NER, PoS y clasificación de texto. Incluye BERT y word2vec.

Segmentación de palabras chinas Chinese Word Segment

• Jieba 结巴中文分词 (Python y muchas otras variantes) el mejor componente de segmentación china para Python

• 北大中文分词工具 (Python) herramienta de segmentación china de alta precisión, fácil de usar, mejora mucho la precisión frente a herramientas abiertas existentes.

• kcws 深度学习中文分词 (Python) BiLSTM+CRF e IDCNN+CRF

• ID-CNN-CWS (Python) Convoluciones dilatadas iteradas para segmentación de palabras chinas Iterated Dilated Convolutions for Chinese Word Segmentation

• Genius 中文分词 (Python) Genius es un componente abierto de segmentación china en python, usa el algoritmo CRF (Campo aleatorio condicional).

• loso 中文分词 (Python)

• yaha “哑哈”中文分词 (Python)

• ChineseWordSegmentation (Python) algoritmo de segmentación china sin corpus Chinese word segmentation algorithm without corpus

• Segmentación de alto rendimiento en Go (Go) segmentación eficiente en Go; soporta inglés, chino, japonés y otros.

• Ansj中文分词 (java) implementación java de segmentación china basada en n-Gram+CRF+HMM

Extracción de información Information Extraction

• MITIE (C++) biblioteca y herramientas para extracción de información

• Duckling (Haskell) lenguaje, motor y herramientas para expresar, probar y evaluar reglas de lenguaje componibles sobre cadenas de entrada.

• IEPY (Python) IEPY es una herramienta abierta de extracción de información centrada en extracción de relaciones.

• Snorkel un sistema de creación y gestión de datos de entrenamiento centrado en extracción de información

• Extracción de relaciones neuronal implementada con LSTM en TensorFlow

• Un modelo de red neuronal para reconocimiento de entidades nombradas chinas

• bert-chinese-ner usa el modelo de lenguaje preentrenado BERT para NER chino

• Information-Extraction-Chinese NER china con IDCNN/biLSTM+CRF y extracción de relaciones con biGRU+2ATT 中文实体识别与关系提取

• Familia de Baidu, A Toolkit for Industrial Topic Modeling

• Text Classification todo tipo de modelos de clasificación de texto y más con deep learning. Usa el corpus de preguntas y respuestas Zhihu como datos de prueba.

• ComplexEventExtraction conceptos y patrones explícitos de eventos compuestos chinos, incluyendo eventos condicionales, causales, secuenciales, inversos, formando un grafo de eventos.

• TextRank4ZH extrae automáticamente palabras clave y resúmenes de texto chino

Preguntas y respuestas y Chatbot QA & Chatbot

• Rasa NLU (Python) convierte lenguaje natural en datos estructurados, una rama china en Rasa NLU Chi

• Rasa Core (Python) motor de diálogo basado en aprendizaje automático para software conversacional

• Chatstack una UI de pipeline completo para construir un sistema NLU chino

• Snips NLU (Python) Snips NLU es una biblioteca Python que analiza frases en lenguaje natural y extrae información estructurada.

• DeepPavlov (Python) una biblioteca abierta para construir sistemas de diálogo de extremo a extremo y entrenar chatbots.

• ChatScript herramienta/gestor de diálogo en lenguaje natural, un motor de chatbot basado en reglas.

• Chatterbot (Python) ChatterBot es un motor de diálogo conversacional de aprendizaje automático para crear chatbots.

• Chatbot (Python) chatbot contextual basado en emparejamiento de vectores

• Tipask (PHP) un sistema de preguntas y respuestas PHP de código abierto, basado en Laravel, fácil de extender, con gran capacidad de carga y estabilidad.

• QuestionAnsweringSystem (Java) un sistema hombre-máquina de preguntas y respuestas en Java que analiza automáticamente las preguntas y da respuestas candidatas.

• QA-Snake (Python) preguntas y respuestas automáticas basadas en varios motores de búsqueda y deep learning

• Modelo de chatbot Sequence to Sequence con TensorFlow (Python)

• Sistema de preguntas y respuestas de comprensión lectora china con deep learning (Python)

• AnyQ by Baidu incluye principalmente un framework de preguntas y respuestas para colecciones FAQ y la herramienta de coincidencia semántica SimNet.

• Código baseline DuReader de comprensión lectora china (Python)

• Framework de bot automático basado en SmartQQ (Python)

• QASystemOnMedicalKG (Python) un grafo de conocimiento médico de cierta escala centrado en enfermedades, que ofrece preguntas y respuestas y análisis automáticos.

• GPT2-chitchat (Python) modelo GPT2 para charla china

• CDial-GPT (Python) proporciona un gran corpus de diálogo chino y un modelo de preentrenamiento de diálogo chino (modelo GPT chino) sobre él

Representación y recuperación multimodal Multi-Modal Representation & Retrieval

• Chinese-CLIP (Python) Chinese-CLIP es un modelo preentrenado de representación multimodal texto-imagen chino. Basado en la estructura CLIP de OpenAI, preentrenado con un gran corpus nativo chino texto-imagen; varios tamaños de modelo abiertos, con informe técnico y demo de recuperación.

Corpus chino Corpus

• OpenKG.cn 开放知识图谱

• Esquema del grafo de conocimiento chino abierto

• CN-Probase, gran grafo de conceptos chinos introducción en cuenta oficial

• Descarga abierta de un gran grafo de conocimiento chino de 140 millones

• Grafos de conocimiento agrícola recuperación de información, reconocimiento de entidades, extracción de relaciones, construcción de árboles de clasificación, minería de datos en el ámbito agrícola

• CLDC 中文语言资源联盟

• Volcado de Wikipedia china

• Modelos preentrenados chinos según distintos corpus y modelos (BERT, GPT, etc.) framework de modelos preentrenados chinos que soporta distintos corpus, codificadores y tareas (from RUC and Tencent)

• OpenCLaP repositorio abierto multidisciplinar de modelos de lenguaje preentrenados chinos (from Tsinghua)

• Corpus etiquetado gramaticalmente del Diario del Pueblo 1998@Baidu Disk

• Corpus de noticias Sogou 20061127 (con clasificación)@Baidu Disk

• UDChinese (para entrenar PoS de spaCy)

• Modelo word2vec chino

• Más de cien vectores de palabras chinos preentrenados

• Tencent AI Lab Embedding Corpus for Chinese Words and Phrases

• BERT chino preentrenado con Whole Word Masking

• Código de entrenamiento GPT2 chino puede escribir poemas, noticias, novelas, o entrenar un modelo de lenguaje general.

• ChineseGLUE, banco de evaluación de comprensión del lenguaje chino incluye conjuntos de datos representativos, modelos de referencia (preentrenados), corpus, leaderboard.

• Base de datos del diccionario Xinhua chino incluye refranes, modismos, palabras, caracteres.

• Synonyms: paquete de sinónimos chinos biblioteca de sinónimos entrenada con Wikipedia china y word2vec, empaquetada como paquete python.

• Chinese_conversation_sentiment un conjunto de datos de sentimiento chino útil para análisis de sentimiento.

• Corpus de emergencias chinas Chinese Emergency Corpus

• dgk_lost_conv, corpus de diálogos chinos chinese conversation corpus

• Corpus para entrenar sistemas de diálogo chino-inglés Datasets for Training Chatbot System

• Corpus de preguntas y respuestas del foro Gossiping en chino

• Corpus de chat chino público

• Crawler de anuncios bursátiles chinos scripts python para obtener anuncios (cotizadas y reguladores) de los mercados chinos sz, sh desde servidores de Juchao

• Interfaz de datos financieros tushare TuShare es un paquete python gratuito y abierto de datos financieros.

• Conjunto de datos de texto financiero SmoothNLP 金融文本数据集(公开) Public Financial Datasets for NLP Researches

• Corpus del sector seguros [Blog 52nlp] OpenData en seguros para tareas de aprendizaje automático OpenData in insurance area for Machine Learning Tasks

• Base de datos más completa de poesía china antigua cerca de 14000 poetas de Tang/Song, ~55000 poemas Tang + 260000 poemas Song. 1564 autores de ci de Song, 21050 ci.

• Datos de comprensión lectora china DuReader

• Pequeños corpus chinos incluye algo de NER china, reconocimiento de relaciones, comprensión lectora china

• Chinese-Literature-NER-RE-Dataset conjunto de datos de NER y extracción de relaciones a nivel de discurso para texto literario chino A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text

• ChineseTextualInference proyecto de inferencia textual china, incluyendo traducción/construcción de un conjunto de 880k pares de implicación textual y un modelo de implicación basado en deep learning.

• Gran corpus de PLN chino Wikipedia (wiki2019zh), noticias (news2016zh), QA de enciclopedia (baike2018qa)

• Corpus de nombres de personas chinos nombres, apellidos, nombres de pila, tratamientos chinos, nombres japoneses, traducidos, ingleses.

• Corpus de nombres de empresas y organizaciones abreviaturas, acrónimos, marcas, nombres de empresas.

• Diccionario de palabras sensibles chinas varias implementaciones de filtrado de palabras sensibles + un diccionario de ~10k palabras

• Corpus de abreviaturas chinas un corpus de abreviaturas chinas incluyendo formas completas negativas A corpus of Chinese abbreviation, including negative full forms.

• Material de preprocesamiento de datos chinos diccionario de segmentación y palabras vacías chinas

• 漢語拆字字典

• SentiBridge: base de conocimiento de sentimiento de entidades chinas describe cómo la gente describe una entidad, 300000 pares de noticias, viajes, restauración.

• OpenCorpus una colección de corpus (chinos) libremente disponibles.

• ChineseNlpCorpus análisis de tendencia sentimiento/opinión/comentario, NER china, sistema de recomendación

• FinancialDatasets SmoothNLP 金融文本数据集(公开) Public Financial Datasets for NLP Researches Only

• People’s Daily & Children’s Fairy Tale PD&CFT: un conjunto de datos de comprensión lectora china A Chinese Reading Comprehension Dataset

• Wikipedia china 230k entradas de calidad - actualizado 07/2023 - info sensible/controvertida filtrada

Organizaciones académicas y concursos NLP chinos Organizations

• Laboratorio de PLN y computación humana de la Universidad Tsinghua

• Laboratorio clave del ministerio de lingüística computacional de Peking

• Grupo de investigación NLP del instituto de computación de la Academia

• Laboratorio de tecnología inteligente y NLP de 哈工大

• Centro de computación social y recuperación de información de 哈工大

• Grupo NLP de la Universidad Fudan

• Grupo NLP de la Universidad Soochow

• Grupo de investigación NLP de la Universidad Nanjing

• Laboratorio NLP de la Universidad Northeastern

• Laboratorio NLP de la Universidad Xiamen

• Laboratorio NLP de la Universidad Zhengzhou

• NLP de Microsoft Research Asia

• Laboratorio Noah’s Ark de Huawei

• CUHK Text Mining Group

• PolyU Social Media Mining Group

• HKUST Human Language Technology Center

• National Taiwan University NLP Lab

• Sociedad china de información en lengua china

• NLP Conference Calender principales conferencias, revistas, talleres y tareas compartidas de la comunidad NLP.

• 2017 1.ª evaluación de lectura automática china «iFlytek Cup»

• 2017 AI-Challenger descripción de imagen en chino describir en una frase la información principal de una imagen dada, reto de comprensión de imagen en contexto chino.

• 2017 AI-Challenger traducción de texto inglés-chino con grandes datos mejorar la capacidad de modelos de traducción automática inglés-chino.

• 2017 concurso de aprendizaje automático Zhihu Kanshan Cup a partir de datos de entrenamiento de preguntas y etiquetas de temas de Zhihu, entrenar un modelo de etiquetado automático de datos no etiquetados.

• 2018 tarea de preguntas y respuestas china en dominio abierto para una pregunta china dada, el sistema elige entidades o valores de la base de conocimiento como respuesta.

• 2018 concurso de emparejamiento de preguntas de atención al cliente de WeBank sobre corpus real de atención al cliente chino, emparejamiento de intención; dadas dos frases, juzgar si las intenciones son cercanas.

Servicios comerciales NLP chinos Industry

• Huawei Cloud NLP servicio en la nube de análisis y minería de texto para empresas y desarrolladores, ayuda a procesar texto eficientemente

• Baidu Cloud NLP ofrece tecnología NLP líder, procesamiento y comprensión de texto de alta calidad

• Alibaba Cloud NLP herramienta central de análisis y minería de texto para empresas y desarrolladores

• Tencent Cloud NLP basado en computación paralela y crawler distribuido, combinado con análisis semántico único, cubre NLP, transcodificación, extracción, captura de datos

• Plataforma abierta iFlytek plataforma de IA centrada en la interacción por voz

• Laboratorio Sogou segmentación y etiquetado gramatical

• BosonNLP 玻森数据 Shanghai Boson, especializada en análisis semántico chino

• Yunfu Tech 云孚科技 paquetes NLP, grafos de conocimiento, minería de texto, sistemas de diálogo, análisis de opinión, etc.

• Zhiyan Tech 智言科技 empresa de IA centrada en deep learning y grafos de conocimiento

• Zhuiyi Tech 追一科技 centrada en deep learning y PLN

Material de aprendizaje Learning Materials

• Libro Deep Learning en chino

• Stanford CS224n Natural Language Processing with Deep Learning 2017

• Oxford CS DeepNLP 2017

• [Materiales de curso para Georgia Tech CS 4650 y 7650, «Natural Language»] (https://github.com/jacobeisenstein/gt-nlp-class)

• Speech and Language Processing por Dan Jurafsky y James H. Martin

• 52nlp 我爱自然语言处理

• hankcs 码农场

• Materiales del curso práctico de procesamiento de texto incluye extracción de características (TF-IDF), clasificación, clustering, entrenamiento word2vec, cálculo de similitud, resumen automático, extracción de información, análisis de sentimiento y minería de opiniones.

• nlp_tasks Natural Language Processing Tasks and Selected References

• Camino de entrada a la investigación NLP del profesor Liu Zhiyuan de 清华

• Chinese NLP Tareas compartidas, conjuntos de datos y resultados de vanguardia para el procesamiento del lenguaje natural en chino