Blog of viewsetting

Who shall say what prospect life offers to another?

CS224n Lecture 17 Coreference Resolution

Lecture Note

指代消解的步骤 指代消解任务可以分为两步式的任务: 检测Mention的边界 对于Mention进行聚类 对于第一个任务,举个例子: “I voted for Nader because he was most aligned with my values,” she said 在这一句中,如果只是做mention检测的任务的话我们得到的结果应该是: “...

HotpotQA数据集探索

Dataset笔记

HotpotQA数据集备注 文件 TRAIN: hotpot_train_v1.1.json http://curtis.ml.cmu.edu/datasets/hotpot/hotpot_train_v1.1.json DEV: hotpot_dev_distractor_v1.json http://curtis.ml.cmu.edu/datasets/hotpot/hotpot_...

pytorch-transformers本地加载

备忘录

本文将以Pytorch-transformers库中的Bert为例。 从本地文件中加载模型 下载至本地 BERT的预训练模型下载地址如下: https://github.com/huggingface/transformers/blob/master/transformers/modeling_bert.py line 37 BERT_PRETRAINED_MODEL_ARCHIV...

闲聊Attention

机器翻译的一组实验demo

实验目的 比较三种Attention机制在机器翻译任务上的表现。分别为:Bahdanau Attention(D. Bahdanau et al. ,2015),Convolutional Attention(Jonas Gehring et al. , 2017),以及基于Self Attention机制的Transformer(Vaswani et al. ,2017)。 ​ ...

NLTK Tokenizer

notes

nltk.tokenize To be updated… sent_tokenize nltk.tokenize.sent_tokenize(context) code: Tokenize a paragraph in sentence level, then shuffle it. def shuffle_context(context): sent_tokenize_...

自然语言处理课堂作业

NLP Course Assignment

Regular Syntax to NFA Data 示例数据位于:\data.txt 中,如下所示格式: S->aA|$ A->aB|bA B->aS|bA|$ S->bB 实现位于/model.py中,基于Python 3。 节点类: 每个节点的属性就是名字,作为键值在Graph对象中可以直接查询以访问。节点中还保存了后继节点的信息。 class ...

PyTorch模型保存与加载

pytorch notes

整个模型的保存与加载 torch.save(model_object, 'model.pth') model = torch.load('model.pth') 只保存以及加载模型参数 torch.save(model_object.state_dict(), 'params.pth') model_object.load_state_dict(torch.load('p...

Shift from CPU to GPU

PyTorch Notes

Check CUDA status if torch.cuda.is_available(): print("CUDA is READY") Model model = Seq2Seq() model.cuda(0) Variable hidden = Variable(torch.zeros(1, 1, n_hidden)) # Previous hidden =...

Numpy Guidebook

A Memo

Basic Import Numpy import numpy as np Initialize An Array a = np.array([4,5,6]) print(a.dtype) print(a.shape) print: int32 (3,) 2-D Array b = np.array([[4,5,6],[1,2,3]]) print(b.shape) p...

贝叶斯网络

Bayesian Network

动机 对于一个全联合的概率分布,如果随机变量为$n$个二值变量,那么其计算的复杂度就为$ O(2^{n}-1)$ ,很显然如果维数稍稍增大的话,计算量便会非常恐怖。因此为了减少概率的计算数量,我们可以利用条件独立关系减少相关的概率。贝叶斯网络便是通过一个有向图的结构,表示变量间的条件独立关系。 Bayesian Network的定义是: 每个节点就是一个随机变量,可以是连续也可以...