BpePreTokenizationMode.ixx File Reference

Namespaces
namespace	Mila
	Mila main API namespace.
namespace	Mila::Data

Enumerations
enum class	Mila::Data::PreTokenizationMode { Mila::Data::None , Mila::Data::Whitespace , Mila::Data::Gpt2Regex , Mila::Data::Llama3Regex }
	Pre-tokenization strategies for GPT-4 style BPE tokenizers. More...

Variables
constexpr const char *	Mila::Data::GPT2_PRETOKENIZATION_PATTERN
constexpr const char *	Mila::Data::GPT2_PRETOKENIZATION_PATTERN_ASCII_FALLBACK
constexpr const char *	Mila::Data::LLAMA3_PRETOKENIZATION_PATTERN
constexpr const char *	Mila::Data::LLAMA3_PRETOKENIZATION_PATTERN_ASCII_FALLBACK