社区
搜索引擎技术
帖子详情
[100分] 请问:如何计算两篇维度不同的文档的欧氏距离?
lb_hit
2007-05-18 10:32:06
在文本聚类中,两篇文档表示成两个不同长度的向量,相近的文档的欧式距离应该小,如何排除不同向量长度(文本长度)的干扰?实际实现的时候采用怎么样的方法?
谢谢!
...全文
349
4
打赏
收藏
[100分] 请问:如何计算两篇维度不同的文档的欧氏距离?
在文本聚类中,两篇文档表示成两个不同长度的向量,相近的文档的欧式距离应该小,如何排除不同向量长度(文本长度)的干扰?实际实现的时候采用怎么样的方法? 谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lb_hit
2007-05-20
打赏
举报
回复
谢谢二位的答复,结帖。
lb_hit
2007-05-20
打赏
举报
回复
回复人:youwill(youwill) () 信誉:100 2007-5-18 12:26:33 得分: 50 删除
把高维的降维比较
回复人:yy8354(King) () 信誉:100 2007-5-18 15:33:27 得分: 50 删除
向量归一化
回复人:lb_hit() () 信誉:100 2007-5-20 12:50:57 得分: 0 删除
谢谢二位的答复,结帖。
----------------------------------------------------
为什么我刚结的帖子却看不到给分呢?数据库更新问题?还是系统的bug?郁闷。
youwill
2007-05-18
打赏
举报
回复
把高维的降维比较
yy8354
2007-05-18
打赏
举报
回复
向量归一化
【CS285】听说过“
欧氏距离
”,这个“马氏距离(Mahalanobis distance)”又是什么呀?
马氏距离(Mahalanobis Distance)是一个衡量数据点之间“真实距离”的工具,它比
欧氏距离
更智能。我们可以通过一个简单例子来理解它。想象一群学生的数学和语文成绩
分
布成一个椭圆(而不是正圆),椭圆的长轴和短轴方向代表成绩的变化趋势。:
欧氏距离
默认每个坐标轴的重要性相同,且坐标轴之间完全独立(比如x轴和y轴没有关联)。假设你考试有两门科目:数学和语文。
欧氏距离
与余弦距离:如何选择适合你的机器学习任务
本文深入解析了机器学习中
欧氏距离
与余弦距离的核心差异与应用场景。
欧氏距离
关注数值绝对差异,适用于物理测量等场景;余弦距离则衡量方向一致性,是文本
分
析和推荐系统的理想选择。文章通过实战案例剖析了如何根据数据特性和业务目标选择合适度量,并强调了归一化的重要性。
欧氏距离
vs 余弦距离:如何为你的机器学习项目选择最佳度量方法?
本文深入探讨了
欧氏距离
和余弦距离在机器学习项目中的应用差异与选择策略。通过对比
分
析两种距离度量的数学本质、几何直观和适用场景,帮助开发者根据数据特性和业务需求选择最佳度量方法。文章特别强调了在高维数据中余弦距离的优势,并提供了实战中的调优技巧和典型应用场景的解决方案。
欧氏距离
相似算法:两点之间的直线距离
欧氏距离
是一种基于几何直线距离的相似性度量方法,通过
计算
多维空间中两点间的直线距离来判断相似度,距离越小越相似。其核心公式源自勾股定理,适用于K-NN
分
类、K-Means聚类、图像识别等场景。优势在于直观易
计算
,但对量纲敏感且易受异常值影响,需配合数据标准化使用。典型应用包括推荐系统匹配相似用户、GIS
计算
坐标距离等,是数据科学中基础而重要的距离度量工具。使用时需注意其在高维空间的局限性,并与其他距离度量方法(如曼哈顿距离、余弦相似度)互补使用。
高维向量相似
计算
:为什么
欧氏距离
不该是默认选择
在机器学习与AI工程中,距离度量是相似性
计算
、聚类、检索等任务的底层基石。
欧氏距离
因教学直观和历史惯性被广泛设为默认,但在高维稀疏数据(如Embedding、TF-IDF、用户行为向量)场景下,其区
分
能力会因‘
维度
诅咒’急剧衰减——所有点对距离趋于集中,导致最近邻失效。这种失效不表现为报错,而体现为召回质量下降、模型指标停滞、线上延迟异常等工程症状。实际项目中,L1距离可抑制噪声放大,余弦相似度更契合方向语义,ISC等改进度量则兼顾稀疏性与强度感知。本文聚焦真实工业数据诊断(如distance concen
搜索引擎技术
2,759
社区成员
2,049
社区内容
发帖
与我相关
我的任务
搜索引擎技术
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
复制链接
扫一扫
分享
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章