韩小韩博客
韩小韩博客 专注于前开发与相关技术的实战分享，涵盖Vue框架、Node.js、Serverless等，并涉及Node、Python、Linux、Docker等领域。同时，博客也分享作者的生活、音乐和旅行的热爱。
马上订阅 韩小韩博客 RSS 更新: https://www.vvhan.com/rss.xml
NodeJs文本相似度去重脚本
2024年8月8日 02:29
今天爬取舔狗日记的时候,来来回回就那一点数据,发现简单文本去重无法去除相同句子中夹杂着不同标点符号或不同词语的句子,所以有了这篇文本相似度去重脚本。文本相似度去重，是指对一批文本进行去重，只保留相似度较高的文本。相似度的度量方法有很多种，这里以编辑距离（EditDistance）作为衡量标准。编辑距