UNIFIEDQA Crossing Format Boundaries with a Single QA System 读书笔记
UNIFIEDQA: Crossing Format Boundaries with a Single QA System 读书笔记
针对不同形式的QA做了一个整合的工作。对于抽取式、多选式、对错形式的QA数据集,使用了一个单一的模型进行训练,并且测试。
使用的模型是T-5、BART。
针对不同形式的QA做了一个整合的工作。对于抽取式、多选式、对错形式的QA数据集,使用了一个单一的模型进行训练,并且测试。
使用的模型是T-5、BART。
由于是基于知识图谱的领域内问答系统,所以分为两个步骤,不是end2end。
实体识别是为了找到问题中的实体,属性映射是为了找到实体对应在知识库中的属性。输出的结果是一个规则构成的“「实体」的「属性」是「尾实体」”
命名实体识别是通过BERT+CRF。
属性映射分为两步
我们得熟悉pytorch_lightning
以及colab
的操作。在使用TPU之前,先挂载好我们的云端磁盘以及配置好pytorch需要的TPU环境。
Transformers==4.0.0
由于每次调用bert等模型都需要使用模型的tokenizer,所以写个笔记,方便自己以及后人查阅,(其实看官方文档也可以,但是英文的看着头疼。有错误也请留言吧。
PreTrainedTokenizerBase
作为基类,该类有着所有tokenizer都具有的方法还有属性。
仿照这个就完事了。partial
可以固定函数中的参数,简直是专门为多进程准备的。
1 | def squad_convert_example_to_features_init(tokenizer_for_convert: PreTrainedTokenizerBase): |
torch==1.7.0
将List[tensor]变成tensor。torch.stack(tensors,dim=0,out=None)
Concatenates a sequence of tensors along a new dimension.
1 | b = torch.randn(4) |
torch.gather(input, dim, index, *, sparse_grad=False, out=None) → Tensor
英文解释为Gathers values along an axis specified by dim.
看到比较有道理的应用场景是,在变长序列中gather到最后一个或者说倒数第几个元素。一般变长序列为inputs = [[1,2,3,0,0], [2,3,4,5,0]]
。这时候想获得最后一个元素就可以。需要注意的点是,输出的tensor和index是相同shape
的。
1 | inputs = torch.tensor([[1,2,3,0,0], |
将tensor扩展维度,自动复制,十分好用。
1 | a = torch.randint(1, 5, size=(2,3)) |
repeat(*sizes) -> Tensor
, 重复复制tensor在指定的维度上。其实有点类似于广播操作了?
1 | x = torch.tensor([1, 2, 3]) # x.shape=[3] |
F.softmax(Tensor, dim=None)
对于多维度矩阵就是 einsum(‘ijk -> jk’, a) = torch.ones(a.shape[1:])
1 | import torch.nn.functional as F |
之前一直依赖着huggingface
的模型加载from_pretrained
,但其实在一般任务场景下,使用torch.load
的时候会更多,所以记录一下torch.load
方法的使用场景。
一般我们将模型的参数保存,而不会去保存整个模型的结构。这里如果需要部分加载参数,可以使用strict=False
。这里需要注意加载的是字典dict,不是模型。
1 | #model ... after training |
在bert或者其他语言模型中,对一段文本需要先进行tokenize分词操作,而分英文单词的时候,由于OOV问题,会将有些word分成token级别的,比如将trying
分成try
,##ing
。而我们比如在建图或者以word为粒度的时候,就需要将token的输出平均给word了。那么如何操作呢?
1 | encoder_output = encoder_outputs[i] # [slen, bert_hidden_size] |
最近由于参加阅读理解比赛,所以大量测试各种模型,惊奇地发现原本现在阅读理解比赛中SOTA的模型居然是不起眼并且以小模型闻名的ALBERT
。这让我对这个“小”模型产生了好奇。从而写一下这份的论文笔记。
模型越大下游效果越强是众所周知的道理,但是由于硬件设备和显存所限,所以模型不能无限制得放大。这篇文章提出了一个全面领先BERT模型的ALBERT
,在比BERT-LARGE
参数小的情况下超过了它。
在从one-hot embedding到hidden size embedding有一个$V \times H$的全连接层,这里使用了一个trick,加了一个hidden layer,从而使得全连接层变成了$V\times E + E\times H$。这样子我们就可以用一个很大的$H$了,比如在xxlarge
上就是$H=4096$。
很简单,就是原来模型类似于$F(x) = f_n(f_{n-1}(…f_1(x)))$,但是现在变成了$F(x)=f(f(…f(x)))$。我也在想,虽然$f(x)$是一个非线性的,但这种形式是不是可以有函数去拟合$F(x)$,毕竟重复$f(x)$这不能优化吗? 去压缩ALBERT
模型的大小。
提出了一个新的self supervised learning 的 objective,既SOP(sentence ordering objectives)。类似于BERT预测两个句子是否是连续的,ALBERT需要预测打乱句子的顺序。
并在在对比中,SOP对于RACE也就是阅读理解任务提高了2.3个点,很哇塞
实验部分具体暂且不表。我理解的有几点
forward先经过embeddings
层再经过encoder
层。这里注意,默认输入是用了最后一个隐层所有token的输出再经过一个线性+tanh
的操作。
1 | class AlbertModel(AlbertPreTrainedModel): |
现在是12月25号,考完研的第三天。在今天之前的前一个星期里,我每天都是7点左右自然醒。而终于在今天,我睡到了九点,但依然没有睡饱。我想考研带给我了很多,不只是那摞起来像山一样高的辅导书,还有一些随之带来的习惯的改变。
最开始听说考研应该是高考出成绩之后吧。那个时候因为考的太差,是真的对自己的人生失去了信心。之后听说到了大学以后,还可以靠着考研”翻身“(哪有什么翻身)。之后就下定决心,在大学期间冲冲冲,以考研考上浙大为目标。
高考分数出来之后,还要进行选学校和选专业,但是因为分是在是太低了。只能随便选选了。最后来到njtech的这个环境科学专业。本着干一行爱一行的心态,我在网上搜索了很多关于环境科学的信息。但是越搜索我的心是越来越拔凉拔凉的。作为环化生材四大坑之首,环境绝对算得上是以先辈们的血一般地事实展示了环境专业的不受待见。之后,在知乎的熏染之下,我选择了转专业!
大一的过程可以总结为:守望先锋+刷绩点。除此之外,啥活动都没有参加。
终于在大一下的时候,以环境科学专业第一的成绩转入了计算机科学与技术学院。并且加入了在大一的时候就听说过的acm比赛。但是投身于acm比赛的过程中,我也忘记了我进入大学的初始动机—-考研浙大。
可能因为暑假的半学半玩,也可能是因为自己的水品不行智商不够。我们队在2018年的下半年,去了三场区域赛(包括一场EC-Final)全部都拿了铜奖。还记得第一个铜的时候,心里是低落的。但是在听说有学长保研南大,有数理学院的学长保研的浙大计算机直博,并且在网上看了一下,保研中打acm的还算是少数,我保研的心情又高涨了起来。
4,5月份是acm邀请赛开始的时候,但也是保研申请学校夏令营的高峰期,这时候不管是哪里的学生,都在疯狂地给老师发邮件,咨询保研的事项。但是我由于acm还要打个邀请赛,精力确实也分了一些。结果就上了个上科大和浙软的夏令营。(其实还是因为acm牌子不够响,也没有啥子科研经历)
暑假的时候,去了浙软的夏令营,并且考研数学过了高数,英语单词也背了不少。结果夏令营当场没给我优秀营员,但是在后面的优秀营员名单中是有我的。不过我们学院保研要求的是对方学校的确保接受证明,这tm谁有啊。只能灰溜溜地准备去考研了。
此时正是考研的冲刺期,但是我考浙大计科,怕是去送命了,(浙大计科408考4门专业课,就算是再扎实的基础,也要个长时间的准备,而且我的数学一直属于刷个绩点的水品,并不能应付考研这个高强度考试。)所以根据我看到的浙软合作企业的项目,我决定tm考浙软,软件就软件,起码也是个浙大。
冲冲冲!疯狂复习,虽然有时候也松懈个1天,但是这四个月我的考研复习效率还是可以的。养成了一些学习的习惯,比如写感想,摘录错题。
转眼之间就到了考研的时间了,12月21日-22日。
虽然我的考点离学校蛮近的,但是我还是选择了订了个酒店,既可以中午的时候躺一会儿,也可以防止意外。所以我在周四的晚上,还去试睡了一下。结果就tm出现意外了。
论酒店隔音不好+旁边是一对激情似火的情侣的住房体验
所以我毅然决然地选择周五这个最重要的睡觉时间在宿舍里睡。
宿舍中辗转难眠,因为周六考的是政治和英语,所以有大量的需要背诵的内容。我选择了在10.30睡觉,之后早上6.20左右爬起来再过一遍。