|
Mila 0.13.48
Deep Neural Network Library
|
This is the complete list of members for Mila::Data::Tokenizer, including all inherited members.
| decode(std::span< const TokenId > tokens)=0 | Mila::Data::Tokenizer | pure virtual |
| encode(const std::string &text)=0 | Mila::Data::Tokenizer | pure virtual |
| getBosTokenId() const =0 | Mila::Data::Tokenizer | pure virtual |
| getEosTokenId() const =0 | Mila::Data::Tokenizer | pure virtual |
| getPadTokenId() const =0 | Mila::Data::Tokenizer | pure virtual |
| getVocabSize() const =0 | Mila::Data::Tokenizer | pure virtual |
| isValidToken(TokenId tokenId) const =0 | Mila::Data::Tokenizer | pure virtual |
| tokenToString(TokenId tokenId) const =0 | Mila::Data::Tokenizer | pure virtual |
| ~Tokenizer()=default | Mila::Data::Tokenizer | virtual |