trajdl.tokenizers.simple module

trajdl.tokenizers.simple module#

class trajdl.tokenizers.simple.SimpleTokenizer(vocab: Dict[str, int])[source]#

Bases: AbstractLocSeqTokenizer

classmethod build(init_vocab: Dict[str, int]) → SimpleTokenizer[source]#

类方法，用于构建Tokenizer实例，可以根据子类需求调整参数

classmethod construct_vocab(init_vocab: Dict[str, int]) → Dict[str, int][source]#

静态方法，根据输入数据构造词汇表

loc2idx(loc: str) → int[source]#

将位置转换为下标