Mila 0.13.48
Deep Neural Network Library
Loading...
Searching...
No Matches
Mila::Data::BpeVocabularyConfig Member List

This is the complete list of members for Mila::Data::BpeVocabularyConfig, including all inherited members.

BpeVocabularyConfig()=defaultMila::Data::BpeVocabularyConfig
byte_level_Mila::Data::BpeVocabularyConfigprivate
enable_merge_caching_Mila::Data::BpeVocabularyConfigprivate
fromMetadata(const SerializationMetadata &meta)Mila::Data::BpeVocabularyConfiginline
getMaxMerges() constMila::Data::BpeVocabularyConfiginline
getMinFrequency() constMila::Data::BpeVocabularyConfiginline
getPreTokenizationMode() constMila::Data::BpeVocabularyConfiginline
getPreTokenizationPattern() constMila::Data::BpeVocabularyConfiginline
getSpecialTokens() constMila::Data::BpeVocabularyConfiginline
getVocabSize() constMila::Data::BpeVocabularyConfiginline
isByteLevel() constMila::Data::BpeVocabularyConfiginline
isMergeCachingEnabled() constMila::Data::BpeVocabularyConfiginline
max_merges_Mila::Data::BpeVocabularyConfigprivate
min_frequency_Mila::Data::BpeVocabularyConfigprivate
pre_tokenization_mode_Mila::Data::BpeVocabularyConfigprivate
pre_tokenization_pattern_Mila::Data::BpeVocabularyConfigprivate
special_tokens_Mila::Data::BpeVocabularyConfigprivate
toMetadata() constMila::Data::BpeVocabularyConfiginline
toString() constMila::Data::BpeVocabularyConfiginline
validate() constMila::Data::BpeVocabularyConfiginline
vocab_size_Mila::Data::BpeVocabularyConfigprivate
withByteLevel(bool byte_level)Mila::Data::BpeVocabularyConfiginline
withMaxMerges(size_t max_merges)Mila::Data::BpeVocabularyConfiginline
withMergeCaching(bool enable)Mila::Data::BpeVocabularyConfiginline
withMinFrequency(size_t frequency)Mila::Data::BpeVocabularyConfiginline
withPreTokenization(PreTokenizationMode mode)Mila::Data::BpeVocabularyConfiginline
withPreTokenizationPattern(const std::string &pattern)Mila::Data::BpeVocabularyConfiginline
withSpecialTokens(const SpecialTokens &tokens)Mila::Data::BpeVocabularyConfiginline
withVocabSize(size_t size)Mila::Data::BpeVocabularyConfiginline