双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒，抽取你的专属好礼

— 惊喜奖品抢先看 —

十几种模型复现！文本分类相似度计算--tf/pytorch双版本

2022-03-27 17:58:46 837 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›
BoCong-Deng BoCong-Deng 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 + 加入社区
PiML Toolbox：工业级机器学习可解释性工程化实践 机器学习可解释性是AI落地的核心瓶颈，本质是将黑箱模型的决策逻辑转化为人类可理解、业务可验证、合规可审计的归因结论。其技术原理依赖特征重要性量化（如SHAP值）、局部近似建模（如LIME）与语义映射机制，核心价值在于弥合算法输出与业务决策之间的信任鸿沟。典型应用场景覆盖信贷风控、医疗辅助诊断、工业预测性维护等高责任领域，尤其需满足解释稳定性、规则可锚定、服务可部署三大工程要求。PiML Toolbox正是面向此类需求设计的生产就绪型工具包，深度融合StableBackgroundGenerator与Rule 阅读详情

本文的代码仓库地址：https://github.com/DengBoCong/text-similarity

Overview

  • Dataset: 中文/English 语料, ☞ 点这里
  • Paper: 相关论文详解, ☞ 点这里
  • The implemented method is as follows:：
    • TF-IDF
    • BM25
    • LSH
    • SIF/uSIF
    • FastText
    • RNN Base (Siamese RNN, Stack RNN)
    • CNN Base (Fast Text, Text CNN, Char CNN, VDCNN)
    • Bert Base
    • Albert
    • NEZHA
    • RoBERTa
    • SimCSE
    • Poly-Encoder
    • ColBERT

Usages

1：examples目录下有不同模型对应的 preprocess/train/evalute代码，可自行修改
2：如下示例从examples中引入actuator方法，准备好对应的模型配置文件即可执行
3：examples目录下的inference.py为训练好的模型推理代码

TF-IDF

# Example
# Sklearn version
from examples.run_tfidf_sklearn import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# Custom version
from examples.run_tfidf import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# 工具调用
from sim.tf_idf import TFIdf

tokens_list = ["这是 一个 什么 样 的 工具", "..."]
query = ["非常 好用 的 工具"]

tf_idf = TFIdf(tokens_list, split=" ")
print(tf_idf.get_score(query, 0))  # score
print(tf_idf.get_score_list(query, 10))  # [(index, score), ...]
print(tf_idf.weight())  # list or numpy array

BM25

# Example
from examples.run_bm25 import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# 工具调用
from sim.bm25 import BM25

tokens_list = ["这是 一个 什么 样 的 工具", "..."]
query = ["非常 好用 的 工具"]

bm25 = BM25(tokens_list, split=" ")
print(bm25.get_score(query, 0))  # score
print(bm25.get_score_list(query, 10))  # [(index, score), ...]
print(bm25.weight())  # list or numpy array

LSH

from sim.lsh import E2LSH
from sim.lsh import MinHash

e2lsh = E2LSH()
min_hash = MinHash()

candidates = [[3.6216, 8.6661, -2.8073, -0.44699, 0], ...]
query = [-2.7769, -5.6967, 5.9179, 0.37671, 1]
print(e2lsh.search(candidates, query))  # index in candidates
print(min_hash.search(candidates, query))  # index in candidates

SIF

sentences = [["token1", "token2", "..."], ...]
vector = [[[1, 1, 1], [2, 2, 2], [...]], ...]
from sim.sif_usif import SIF
from sim.sif_usif import uSIF

sif = SIF(n_components=5, component_type="svd")
sif.fit(tokens_list=sentences, vector_list=vector)

usif = uSIF(n_components=5, n=1, component_type="svd")
usif.fit(tokens_list=sentences, vector_list=vector)

FastText

# TensorFlow version
from examples.tensorflow.run_fast_text import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_L-12_H-768_A-12")

# Pytorch version
from examples.pytorch.run_fast_text import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_pytorch")

RNN Base

# TensorFlow version
from examples.tensorflow.run_siamese_rnn import actuator
actuator("./data/config/siamse_rnn.json", execute_type="train")

# Pytorch version
from examples.pytorch.run_siamese_rnn import actuator
actuator("./data/config/siamse_rnn.json", execute_type="train")

CNN Base

# TensorFlow version
from examples.tensorflow.run_cnn_base import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_L-12_H-768_A-12")

# Pytorch version
from examples.pytorch.run_cnn_base import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_pytorch")

Bert Base

# TensorFlow version
from examples.tensorflow.run_basic_bert import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train")

# Pytorch version
from examples.pytorch.run_basic_bert import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train")

Albert

# TensorFlow version
from examples.tensorflow.run_albert import actuator
actuator(model_dir="./data/albert_small_zh_google", execute_type="train")

# Pytorch version
from examples.pytorch.run_albert import actuator
actuator(model_dir="./data/albert_chinese_small", execute_type="train")

NEZHA

# TensorFlow version
from examples.tensorflow.run_nezha import actuator
actuator(model_dir="./data/NEZHA-Base-WWM", execute_type="train")

# Pytorch version
from examples.pytorch.run_nezha import actuator
actuator(model_dir="./data/nezha-base-wwm", execute_type="train")

RoBERTa

# TensorFlow version
from examples.tensorflow.run_basic_bert import actuator
actuator(model_dir="./data/chinese_roberta_L-6_H-384_A-12", execute_type="train")

# Pytorch version
from examples.pytorch.run_basic_bert import actuator
actuator(model_dir="./data/chinese-roberta-wwm-ext", execute_type="train")

SimCSE

# TensorFlow version
from examples.tensorflow.run_simcse import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_simcse import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")

Poly-Encoder

# TensorFlow version
from examples.tensorflow.run_poly_encoder import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_poly_encoder import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")

ColBERT

# TensorFlow version
from examples.tensorflow.run_colbert import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_colbert import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")
...全文
可解释、负责任、以人为中心的AI工程实践指南 可解释AI（XAI）不是附加功能，而是现代AI系统的核心架构约束；它通过SHAP、Grad-CAM等技术将黑箱决策转化为人类可理解、可验证、可追责的证据链。负责任AI则需将公平性、隐私合规、鲁棒性等抽象要求，编译为代码级控制点——如AIF360偏差检测、ML Privacy Meter成员推断测试、CI/CD中强制运行的Responsible AI Test Suite。其技术价值在于规避法律风险、提升用户信任、支撑高敏场景落地。典型应用场景覆盖金融风控的实时归因、医疗辅诊的临床语义对齐、招聘系统的公平性动 阅读详情

相关推荐

使用pytorch和torchtext进行文本分类的实例

整个文本分类任务流程涉及到数据预处理、特征提取、模型构建和训练等多个环节，是机器学习和自然语言处理的基础，而PyTorch和TorchText则为这一过程提供了强大的工具集。

weixin_38723683

多语言聊天机器人架构：检测-理解-生成三层解耦设计

多语言聊天机器人是企业出海与本地化服务的核心基础设施，其本质是解决跨语言意图识别、低延迟响应与可维护性之间的工程矛盾。传统方案依赖多语言大模型微调，但面临语义漂移、资源消耗高、低资源语言性能差等瓶颈。本文聚焦轻量化、分层解耦的落地实践，以语言检测（FastText）、跨语言意图理解（共享底层+独立分类头的TinyBERT集群）、上下文感知生成（模板DSL+轻量翻译）为技术主线，强调零样本增强、伪标签蒸馏、RTL适配等关键能力，兼顾越南语、阿拉伯语等12种语言的准确率与实时性，适用于中小团队快速扩展语种及NL

weixin_30416871

文本分类-基于Pytorch实现的文本分类算法-附项目源码-优质项目实战.zip

Pytorch基础：Pytorch是Facebook开源的深度学习库，它提供了动态计算图的功能，使得模型构建和调试更加灵活。

__AtYou__

基于 PyTorch 和京东商品评价数据集的多模型文本分类研究

PyTorch是一个开源的机器学习库，它提供了强大的张量计算能力，并且支持动态计算图，非常适合进行深度学习的研究和开发。在本研究中，PyTorch被用作实现多模型文本分类的基础框架。

fenfang2

机器学习中的文本分类

三、模型选择与训练在Python中，有很多机器学习库可以用于文本分类，如scikit-learn、TensorFlow、PyTorch等。常见的算法有：1.

薯条说影
评论 1
收藏 已收藏
分享
返回顶部
BoCong-Deng
BoCong-Deng 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
自然语言处理(NLP) 692 成员 193 内容
+ 加入社区