Blog of viewsetting

Who shall say what prospect life offers to another?

HotpotQA数据集探索

Dataset笔记

HotpotQA数据集备注 文件 TRAIN: hotpot_train_v1.1.json http://curtis.ml.cmu.edu/datasets/hotpot/hotpot_train_v1.1.json DEV: hotpot_dev_distractor_v1.json http://curtis.ml.cmu.edu/datasets/hotpot/hotpot_...

pytorch-transformers本地加载

备忘录

本文将以Pytorch-transformers库中的Bert为例。 从本地文件中加载模型 下载至本地 BERT的预训练模型下载地址如下: https://github.com/huggingface/transformers/blob/master/transformers/modeling_bert.py line 37 BERT_PRETRAINED_MODEL_ARCHIV...

闲聊Attention

机器翻译的一组实验demo

实验目的 比较三种Attention机制在机器翻译任务上的表现。分别为:Bahdanau Attention(D. Bahdanau et al. ,2015),Convolutional Attention(Jonas Gehring et al. , 2017),以及基于Self Attention机制的Transformer(Vaswani et al. ,2017)。 ​ ...

NLTK Tokenizer

notes

nltk.tokenize To be updated… sent_tokenize nltk.tokenize.sent_tokenize(context) code: Tokenize a paragraph in sentence level, then shuffle it. def shuffle_context(context): sent_tokenize_...

自然语言处理课堂作业

NLP Course Assignment

Regular Syntax to NFA Data 示例数据位于:\data.txt 中,如下所示格式: S->aA|$ A->aB|bA B->aS|bA|$ S->bB 实现位于/model.py中,基于Python 3。 节点类: 每个节点的属性就是名字,作为键值在Graph对象中可以直接查询以访问。节点中还保存了后继节点的信息。 class ...

PyTorch模型保存与加载

pytorch notes

整个模型的保存与加载 torch.save(model_object, 'model.pth') model = torch.load('model.pth') 只保存以及加载模型参数 torch.save(model_object.state_dict(), 'params.pth') model_object.load_state_dict(torch.load('p...

Shift from CPU to GPU

PyTorch Notes

Check CUDA status if torch.cuda.is_available(): print("CUDA is READY") Model model = Seq2Seq() model.cuda(0) Variable hidden = Variable(torch.zeros(1, 1, n_hidden)) # Previous hidden =...

Numpy Guidebook

A Memo

Basic Import Numpy import numpy as np Initialize An Array a = np.array([4,5,6]) print(a.dtype) print(a.shape) print: int32 (3,) 2-D Array b = np.array([[4,5,6],[1,2,3]]) print(b.shape) p...

贝叶斯网络

Bayesian Network

动机 对于一个全联合的概率分布,如果随机变量为$n$个二值变量,那么其计算的复杂度就为$ O(2^{n}-1)$ ,很显然如果维数稍稍增大的话,计算量便会非常恐怖。因此为了减少概率的计算数量,我们可以利用条件独立关系减少相关的概率。贝叶斯网络便是通过一个有向图的结构,表示变量间的条件独立关系。 Bayesian Network的定义是: 每个节点就是一个随机变量,可以是连续也可以...

英语学习之我见

12年应试英语总结以及一点看法

Preface ​ 如果从我小学三年级第一次在课堂上学习英语算起,一直到2019年上旬DIY的GRE考试结束,已经是十二年有余了。在中国走向改革开放之后,英语教育不可避免的成为国际化进程的重要基础工程,诚然这于国于民均算得上一件大好事。然而令人有些反感的自然便是在天朝具体国情下的种种特色机制于教育选拔方式所造成的畸形应试现象,随之而来的种种怪像也一次次令人失望。但是万幸的是,毕竟英语和其他...