Git Personal Project 开源项目分类 人工智能 大模型 企业应用 科学研究 AI写开源项目 孵化优质开源项目 数字人定制 AI工具集合-AI导航
Skip to content
GitLab
0.95
default avatar
honnibal@gmail.com
9839cd2c · * Fix whitespace_ calculation in Token · 
Version v0.95: Bugfixes

* Reform encoding of symbols
* Fix bugs in Matcher
* Fix bugs in Span
* Add tokenizer rule to fix numeric range tokenization
* Add specific string-length cap in Tokenizaer
* Fix token.conjuncts

Git Personal Project 德沛DevOps@宁波德沛数据科技有限公司 浙ICP备2023012596号-2