人工智能之中文分词

探索汉字的拆分艺术,理解机器如何读懂中文

什么是中文分词?

中文分词是将连续的中文文本切分成一系列单独的词的过程,让机器能够理解中文的语义。

中文分词示意图:展示汉字拆分和词语边界的概念

点击图片放大查看

生活中的中文分词例子

日常对话场景:展示人们面对面交流的情景

日常对话

原始文本:

今天天气真好适合出去玩

分词结果:

今天 天气 真好 适合 出去 玩

电商购物场景:展示智能手机商品和在线购物界面

电商商品

原始文本:

新款华为Mate60Pro智能手机512G

分词结果:

新款 华为 Mate60Pro 智能手机 512G

新闻媒体场景:展示报纸或新闻网站界面

新闻标题

原始文本:

2025年北京冬季奥运会筹备工作进展顺利

分词结果:

2025年 北京 冬季奥运会 筹备工作 进展顺利

外卖配送场景:展示珍珠奶茶和外卖配送

外卖订单

原始文本:

大杯珍珠奶茶少糖加冰送到科技园区A栋

分词结果:

大杯 珍珠奶茶 少糖 加冰 送到 科技园区 A栋

医疗问诊场景:展示医生与患者咨询交流

医疗问诊

原始文本:

最近三天咳嗽发烧喉咙痛没有食欲

分词结果:

最近三天 咳嗽 发烧 喉咙痛 没有 食欲

地图导航场景:展示导航软件界面和路线规划

导航指令

原始文本:

从天安门出发到颐和园走北四环中路

分词结果:

从 天安门 出发 到 颐和园 走 北四环中路

分词小测试 - 即学即练

1. 请选择“我最喜欢吃草莓味冰淇淋”的正确分词结果:

2. 请选择“周末和家人去公园放风筝”的正确分词结果:

3. 手动分词:请给“明天上午九点在学校图书馆参加读书分享会”添加分词空格