NLP BERT GPT等模型中 tokenizer 类别说明详解

1. 背景与基础

在使用GPT BERT模型输入词语常常会先进行tokenize ,tokenize具体目标与粒度是什么呢?tokenize也有许多类别及优缺点,这篇文章总结一下各个方法及实际案例。

tokenize的目标是把输入的文本流,切分成一个个子串,每个子串相对有完整的语义,便于学习embedding表达和后续模型的使用。

tokenize有三种粒度:word/subword/char

  • word词,是最自然的语言单元。对于英文等自然语言来说,存在着天然的分隔符,比如说空格,或者是一些标点符号,对词的切分相对容易。但是对于一些东亚文字包括中文来说,就需要某种分词算法才行。顺便说一下,Tokenizers库中,基于规则切分部分,采用了spaCy和Moses两个库。如果基于词来做词汇表,由于长尾现象的存在,这个词汇表可能会超大。像Transformer XL库就用到了一个26.7万个单词的词汇表。这需要极大的embedding matrix才能存得下。embedding matrix是用于查找取用token的embedding vector的。这对于内存或者显存都是极大的挑战。常规的词汇表,一般大小不超过5万。
  • char/字符, 也就是说,我们的词汇表里只有最基本的字符。而一般来讲,字符的数量是少量有限的。这样做的问题是,由于字符数量太小,我们在为每个字符学习嵌入向量的时候,每个向量就容纳了太多的语义在内,学习起来非常困难。
  • subword子词级,它介于字符和单词之间。比如说Transformers可能会被分成Transform和ers两个部分。这个方案平衡了词汇量和语义独立性,是相对较优的方案。它的处理原则是,常用词应该保持原状,生僻词应该拆分成子词以共享token压缩空间

2. 常用tokenize算法

最常用的三种tokenize算法:BPE(Byte-Pair Encoding),WordPiece和SentencePiece

2.1 Byte-Pair Encoding (BPE) / Byte-level BPE

2.1.1 BPE

  • 首先,它依赖于一种预分词器pretokenizer来完成初步的切分。pretokenizer可以是简单基于空格的,也可以是基于规则的;
  • 分词之后,统计每个词出现的频次供后续计算使用。例如,我们统计到了5个词的词频

("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)

  • 建立基础词汇表,包括所有的字符,即:

["b", "g", "h", "n", "p", "s", "u"]

  • 根据规则,我们分别考察2-gram,3-gram的基本字符组合,把高频的ngram组合依次加入到词汇表当中,直到词汇表达到预定大小停止。比如,我们计算出ug/un/hug三种组合出现频次分别为20,16和15,加入到词汇表中。
  • 最终词汇表的大小 = 基础字符词汇表大小 + 合并串的数量,比如像GPT,它的词汇表大小 40478 = 478(基础字符) + 40000(merges)。添加完后,我们词汇表变成:

["b", "g", "h", "n", "p", "s", "u", "ug", "un", "hug"]

实际使用中,如果遇到未知字符用<unk>代表。

2.1.2 Byte-level BPE

BPE的一个问题是,如果遇到了unicode,基本字符集可能会很大。一种处理方法是我们以一个字节为一种“字符”,不管实际字符集用了几个字节来表示一个字符。这样的话,基础字符集的大小就锁定在了256。

例如,像GPT-2的词汇表大小为50257 = 256 + <EOS> + 50000 mergers,<EOS>是句子结尾的特殊标记。

2.2 WordPiece

WordPiece,从名字好理解,它是一种子词粒度的tokenize算法subword tokenization algorithm,很多著名的Transformers模型,比如BERT/DistilBERT/Electra都使用了它。

它的原理非常接近BPE,不同之处在于,它在做合并的时候,并不是每次找最高频的组合,而是找能够最大化训练集数据似然的merge,即它每次合并的两个字符串A和B,应该具有最大的 \\frac{P(AB)}{P(A)P(B)} 值。合并AB之后,所有原来切成A+B两个tokens的就只保留AB一个token,整个训练集上最大似然变化量与 \\frac{P(AB)}{P(A)P(B)} 成正比。

2.3 Unigram

与BPE或者WordPiece不同,Unigram的算法思想是从一个巨大的词汇表出发,再逐渐删除trim down其中的词汇,直到size满足预定义。

初始的词汇表可以采用所有预分词器分出来的词,再加上所有高频的子串。

每次从词汇表中删除词汇的原则是使预定义的损失最小。训练时,计算loss的公式为:

Loss=-\\sum_{i=1}^Nlog(\\sum_{x\\in S(x_i)}p(x))

假设训练文档中的所有词分别为 x_1;x_2...x_N ,而每个词tokenize的方法是一个集合 S(x_i) 。当一个词汇表确定时,每个词tokenize的方法集合 S(x_i) 就是确定的,而每种方法对应着一个概率p(x)。如果从词汇表中删除部分词,则某些词的tokenize的种类集合就会变少,log(*)中的求和项就会减少,从而增加整体loss。

Unigram算法每次会从词汇表中挑出使得loss增长最小的10%~20%的词汇来删除。

一般Unigram算法会与SentencePiece算法连用。

2.4 SentencePiece

SentencePiece,顾名思义,它是把一个句子看作一个整体,再拆成片段,而没有保留天然的词语的概念。一般地,它把空格space也当作一种特殊字符来处理,再用BPE或者Unigram算法来构造词汇表。

比如,XLNetTokenizer就采用了_来代替空格,解码的时候会再用空格替换回来。

目前,Tokenizers库中,所有使用了SentencePiece的都是与Unigram算法联合使用的,比如ALBERT、XLNet、Marian和T5.

3. 切分实例与代码分析

3.1 BertTokenizer / WordPiece

先试一个BertTokenizer,它基于WordPiece算法,base版本的词汇表大小为21128.

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = t.encode(...).tokens

切分效果为:

Tokenizer: <class 'transformers.models.bert.tokenization_bert.BertTokenizer'>
Text: The problems of your past are your business. The problems of your future are my privilege.
Tokens: [UNK],pro,##ble,##ms,of,your,pa,##st,are,your,business,.,[UNK],pro,##ble,##ms,of,your,future,are,my,pr,##i,##vi,##le,##ge,.

Text: 你的过去我不愿过问,那是你的事情。你的未来我希望参与,这是我的荣幸。
Tokens: 你,的,过,去,我,不,愿,过,问,,,那,是,你,的,事,情,。,你,的,未,来,我,希,望,参,与,,,这,是,我,的,荣,幸,。

Text: Don’t make the user feel stupid.
Tokens: [UNK],[UNK],t,make,the,user,feel,st,##up,##id,.

Text: 中国语言研究院正式宣布,“笔画最多的汉字”的桂冠属于“龖(dá)”字!
Tokens: 中,国,语,言,研,究,院,正,式,宣,布,,,[UNK],笔,画,最,多,的,汉,字,[UNK],的,桂,冠,属,于,[UNK],[UNK],(,[UNK],),[UNK],字,!

其中,

  • BertTokenizer中,用##符号表示非开头的子词,比如第1句中的problems被拆分成了三部分,pro/##ble/##ms;
  • 标点符号、生僻字等未出现的token被[UNK]代替
  • 中文基本拆分成了字的形式,并没有看到多字词的形式

分词流程与代码分析如下:

BertTokenizer类关系如下

在代码中查看

主要做了两件事情:

  1. 根据参数控制来对输入文本做基础分词(basic_tokenizer)
  2. 对于切分出来的单个词,再切分(wordpiece_tokenizer)

basic_tokenizer 是把句子切分成词,仍然可以对着代码看一下:

特别要注意的在 401 行:如果 tokenize_chinese_chars 参数为 True,那么所有的中文词都会被切成字符级别!!!参数传来的 never_split 并不会让这些中文词不被切分。

wordpiece_tokenizer 则是将词切成字符级别,例如 doing->['do', '###ing']。

这里的做法就是把一个词送入 BERT 中做最大匹配(类似于 Jieba 分词的正向最大匹配算法),如果前面已经有匹配,则后面的词都会加 ’##‘。

而中文,因为已经在上一步被切分成字符级别,所以不会有任何改变。

3.2 T5Tokenizer / SentencePiece

T5模型是基于SentencePiece的,我们看看它的切分效果。我用的这个版本词汇表大小是250112。

Tokenizer: <class 'transformers.models.t5.tokenization_t5.T5Tokenizer'>
Text: The problems of your past are your business. The problems of your future are my privilege.
Tokens: ▁The,▁problems,▁of,▁your,▁past,▁are,▁your,▁business,.,▁The,▁problems,▁of,▁your,▁future,▁are,▁my,▁,privilege,.

Text: 你的过去我不愿过问,那是你的事情。你的未来我希望参与,这是我的荣幸。
Tokens: ▁,你的,过去,我不,愿,过,问,,,那是,你,的事情,。,你的,未来,我,希望,参与,,,这是,我的,荣,幸,。

Text: Don’t make the user feel stupid.
Tokens: ▁Don,’,t,▁make,▁the,▁user,▁feel,▁stupid,.

Text: 中国语言研究院正式宣布,“笔画最多的汉字”的桂冠属于“龖(dá)”字!
Tokens: ▁,中国,语言,研究院,正式,宣布,,“,笔,画,最多,的,汉,字,”,的,桂,冠,属于,“,<0xE9>,<0xBE>,<0x96>,(,dá,),”,字,!

其中,

  • 最明显的,可以看到下划线被引入,代替了空格和句子开头特殊符号
  • 中文可以看到一些多字词,比如“未来”,“研究院”等,但有些词其实不符合一般的分词习惯,比如“的事情”、“我不”等等
  • 生僻字龖被拆成了三个基础字节形式的token

Ref

  1. https://zhuanlan.zhihu.com/p/371300063
  2. https://blog.csdn.net/iterate7/article/details/108959082
  3. https://zhuanlan.zhihu.com/p/268515387
  4. https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/37842.pdf
  5. static.googleusercontent.com/media/research.google.com/ja//pubs/archive/37842.pdf
  6. https://arxiv.org/pdf/1804.10959.pdf​arxiv.org/pdf/1804.10959.pdf
本站文章资源均来源自网络,除非特别声明,否则均不代表站方观点,并仅供查阅,不作为任何参考依据!
如有侵权请及时跟我们联系,本站将及时删除!
如遇版权问题,请查看 本站版权声明
THE END
分享
二维码
海报
NLP BERT GPT等模型中 tokenizer 类别说明详解
在使用GPT BERT模型输入词语常常会先进行tokenize ,tokenize具体目标与粒度是什么呢?tokenize也有许多类别及优缺点,这篇文章总结一下...
<<上一篇
下一篇>>