社区
Java SE
帖子详情
问一个关于token的东西
yangmengxi
2008-03-01 11:49:40
请教各位一个问题,我想用StreamTokenizer 读token写一个词法分析的程序,但不知道如何解决‘*’ ‘:’ 等字符的问题
例如,一个类名叫A*, 我想把它作为token 读进去后再判断其非法,但我每次读都只得到A,没有 *, 这要如何实现呢?
还有':'也是一样的问题,想用它表示继承的关系,但每次它都作为null出现,没法成为token入栈
上述两个问题可以用ordinaryChar()解决吗?
...全文
162
4
打赏
收藏
问一个关于token的东西
请教各位一个问题,我想用StreamTokenizer 读token写一个词法分析的程序,但不知道如何解决‘*’ ‘:’ 等字符的问题 例如,一个类名叫A*, 我想把它作为token 读进去后再判断其非法,但我每次读都只得到A,没有 *, 这要如何实现呢? 还有':'也是一样的问题,想用它表示继承的关系,但每次它都作为null出现,没法成为token入栈 上述两个问题可以用ordinaryChar()解决吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
snailooo
2008-03-04
打赏
举报
回复
我以前用token时, *得用\escape一下才能认出
hoszone
2008-03-04
打赏
举报
回复
mei kan ming bai...
yangmengxi
2008-03-04
打赏
举报
回复
自己再顶一下
yangmengxi
2008-03-02
打赏
举报
回复
自己顶一下
一文读懂
Token
,大模型为什么要按
token
计费
在大型语言模型中,"
Token
"可以被理解为文本中的
一个
基本单位,它是计算机处理和理解语言的起点。每个
Token
可以是
一个
单词、
一个
字符、或者
一个
子词(subword),具体取决于所使用的分词方法。CSDN上大批作者测算 ...
Token
到底是个啥?看完这篇终于懂了!
因为它
一个
Token
一个
Token
地输出为什么API按使用量计费?因为
Token
数量对应计算成本为什么有时候大模型"卡住"了?可能是在计算下
一个
Token
的概率分布为什么不同语言成本不同?因为
Token
切分方式导致的消耗差异。
大模型应用中
一个
Token
占多少汉字?答案超乎想象!
同样可以说,
一个
汉字占约0.5个
Token
。
Token
是大模型中最基础、最常见的概念,它既可以是
一个
完整的单词,也可以是
一个
单词的一部分,甚至是标点符号或空格。其翻译方式尚无定论,包括“标记”、“词”、“令牌”...
RESTful登录(基于
token
鉴权)的设计实例
现在很多基于restful的api接口都有个登录的设计,也就是在发起正式的请求之前先通过
一个
登录的请求接口,申请
一个
叫做
token
的
东西
。申请成功后,后面其他的支付请求都要带上这个
token
,服务端通过这个
token
验证请求...
5分钟彻底搞懂什么是
token
在计算机领域中,
token
通常是指一串字符或符号,比如微信公众平台的密钥,就被称作
一个
token
,其实就是一长串的字符。
Java SE
62,623
社区成员
307,257
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章