把工单文本喂给模型之前,想先转成向量。用了「词袋」控件,参数三块:词频、文档频率、正则化。词频能选计数、二元、次线性,文档频率有逆文本频率指数和平滑逆文本频率指数,正则化分 L1、L2。默认值看着能跑,但不知道这些选项对结果影响在哪。
2 个赞
词频决定一个词在文档里怎么计数:计数就是出现几次算几次,二元只管有没有出现,次线性取的是词频对数。文档频率那项我一般留着默认的逆文本频率指数,它能压低那些到处都出现的词;怕除零就换平滑版。正则化默认是 L1,按元素总和算,想要欧几里得范数就切 L2。这个控件输出的是语料库,后面要接「文本增强」才有能进模型的特征。