ktoken
common
ktoken
/
com.aallam.ktoken
/
Encoding
/
encodingConfig
encoding
Config
abstract
fun
encodingConfig
(
ranks
:
Map
<
ByteString
,
Int
>
)
:
EncodingConfig
Retrieve token encoding utilizing the provided
BpeLoader
.
Parameters
ranks
byte pair encoding ranks.