Mila::Data::SpecialTokens Member List

This is the complete list of members for Mila::Data::SpecialTokens, including all inherited members.

bos_token	Mila::Data::SpecialTokens
cls_token	Mila::Data::SpecialTokens
count() const	Mila::Data::SpecialTokens	inline
countAll() const	Mila::Data::SpecialTokens	inline
eos_token	Mila::Data::SpecialTokens
extended_special_tokens	Mila::Data::SpecialTokens
forClassification()	Mila::Data::SpecialTokens	inlinestatic
forMLM()	Mila::Data::SpecialTokens	inlinestatic
getEnabledTokens() const	Mila::Data::SpecialTokens	inline
getIdOffset() const	Mila::Data::SpecialTokens	inline
getString(SpecialToken token) const	Mila::Data::SpecialTokens	inline
gptStyle()	Mila::Data::SpecialTokens	inlinestatic
isEnabled(SpecialToken token) const	Mila::Data::SpecialTokens	inline
isSpecialToken(std::string_view str) const	Mila::Data::SpecialTokens	inline
llamaStyle()	Mila::Data::SpecialTokens	inlinestatic
mask_token	Mila::Data::SpecialTokens
minimal()	Mila::Data::SpecialTokens	inlinestatic
none()	Mila::Data::SpecialTokens	inlinestatic
pad_token	Mila::Data::SpecialTokens
sep_token	Mila::Data::SpecialTokens
standard()	Mila::Data::SpecialTokens	inlinestatic
unk_token	Mila::Data::SpecialTokens
use_bos	Mila::Data::SpecialTokens
use_cls	Mila::Data::SpecialTokens
use_eos	Mila::Data::SpecialTokens
use_mask	Mila::Data::SpecialTokens
use_pad	Mila::Data::SpecialTokens
use_sep	Mila::Data::SpecialTokens
use_unk	Mila::Data::SpecialTokens