chatbot_simbert 检索类型的微信聊天机器人/问答系统，通过API异步通信，实现在微信上交互，可以查询天气、重复问句识别等情况；本项目包括模型和工程化部署一体化。用到SimBert等模型。 描述 各位可以根据自己的需求部署或修改： 问答库如果是任务型的，就是一个任务型聊天机器人，如果闲聊的问答库，那就是闲聊型聊天机器人； 后续也可以添加意图，用来用意图识别的匹配；也可以添加个知识图谱的API... 总之可以添加的模块很多，扩展性非常强大。 品尝方式（使用说明） 准备： 环境准备：安装requirement中的依赖包 下载模型，并放置在code/1.retrieve_match/3.simbert_match/config路径下： simbert模型： 启动： 1、 启动code/2.API_serve/KG_service.py 2、 启动code/3.wx_project/c

命名实体识别（Named Entity Recognition，NER）是自然语言处理领域的一项关键任务，旨在从文本中识别和分类特定的命名实体，如人名、地名、组织机构名等。NER的目标是标记文本中的实体，并将其归类到预定义的实体类型中。 NER通常使用机器学习和深度学习技术来完成任务。以下是一种常见的NER流程： 数据收集和标注：收集包含命名实体的文本数据，并为每个实体标注相应的标签（实体类型）。 特征提取：从文本数据中提取有用的特征，如词性、词形、上下文等。这些特征将作为输入提供给模型。 模型训练：使用标注好的数据和提取的特征来训练NER模型。常用的模型包括条件随机场（CRF）、循环神经网络（RNN）、注意力机制等。 模型评估和调优：使用评估数据集来评估训练得到的模型性能，并进行调优以提高准确性和召回率。 实体识别：使用训练好的NER模型对新的文本进行实体识别。模型将识别并标记文本中的命名实体，使其易于提取和理解。 NER在许多应用中起着重要作用，例如信息抽取、问答系统、文本摘要、机器翻译等。以帮助自动化处理大量文本数据，并提供有关实体的结构化信息，为后续的分析和应用提供基础。

1) app.py是整个系统的主入口
2) templates文件夹是HTML的页面
|-index.html 欢迎界面
|-search.html 搜索人物关系页面
|-all_relation.html 所有人物关系页面
|-KGQA.html 人物关系问答页面
3) static文件夹存放css和js，是页面的样式和效果的文件
4) raw_data文件夹是存在数据处理后的三元组文件
5) neo_db文件夹是知识图谱构建模块
|-config.py 配置参数
|-create_graph.py 创建知识图谱，图数据库的建立
|-query_graph.py 知识图谱的查询 6) KGQA文件夹是问答系统模块 |-ltp.py 分词、词性标注、命名实体识别 7) spider文件夹是模块 |- get_*.py 是之前取人物资料的代码，已经产生好ima

NLP-study 记录做过的NLP任务,包含但不限于文本分类，关系分类，命名实体识别，文本摘要，文本生成等，基于tensorflow2.0或者pytorch框架。

这是GMB语料库的摘录，经过标记，注释和构建，专门用于训练分类器以预测命名实体，例如名称，位置等。 使用GMB（Groningen Meaning Bank）语料库进行命名实体识别的带注释语料库，该语料库通过自然语言处理将具有增强和流行特征的实体分类应用于数据集。

给大家分享一套课程——自然语言处理NLP企业级项目课程合集课程（实体关系抽取+情感分析+新闻文本分类+火车票识别+命名实体识别），大家下载学习。

主要是用来处理中文的命名实体识别，主要是用tensorflow

分享自然语言处理课程——自然语言处理NLP企业级项目课程合集（实体关系抽取+情感分析+新闻文本分类+火车票识别+命名实体识别），视频，源码，数据，课件，资料完整

使用BERT的越南语NER（bert-vn-ner） 由Trong-Dat Ngo编写的代码。 引言 BERT模型的Pytorch实现为越南语执行命名实体识别（NER）。 此外，单词中的特征也用于表示单词。 该系统使用预训练模型 安装 要求： Python 3.6+ 火炬1.4+ 安装依赖项： pip3 install -r requirements.txt 数据集格式 bert-vn-ner的输入数据格式遵循CoNLL-2003格式，其中四列由制表符分隔，包括word ， pos ， chunk和named实体。 每个单词都放在单独的行上，每个句子后面都有一个空行。 请注意，分词不用于匹配BERT的预训练（以bert-base-multilingual-cased表示） 。 有关详细信息，请参见“数据”目录中的样本数据。 下表描述了数据集中的越南语例句示例。 单词 销售点

命名实体识别数据集ccks2020