搜索引擎如何衡量搜索结果质量

分享是关怀!

搜索引擎如何衡量搜索结果的质量?

当您尝试评估网站的有效性时,您可能会决定某些性能指标来衡量其影响。这些内容可能会根据您页面的目标而有所不同,但可能包括以下内容:

  • 您可能会提供多少产品订单
  • 您收到多少关于您的服务的电话咨询
  • 多少人注册新闻通讯
  • 有多少人订阅您的RSS
  • 有多少人点击您网页上的广告
  • 人们是否链接到您的页面
  • 人们是否社交分享您的文章或博客文章’ve published
  • 网页上的跳出率是多少,如果网页上有呼吁人们点击这些网页上其他链接的号召性用语
  • 人们倾向于停留在您的页面上多长时间

那里 is a range of things you could look at and measure (and take action upon) to determine how effective your site might be.

搜索引擎的不同之处在于,运行该引擎的人想知道其网站的有效性。今天,授予Yahoo的一项专利探讨了搜索引擎如何评估不同查询在搜索结果中的网页排名,并研究了它可能使用的一系列可能的度量。虽然该专利来自Yahoo,但可以期望Google和Bing做出类似的事情。而且,在必应为Yahoo提供搜索数据的同时,’t mean that Yahoo’的结果显示和格式可能与Bing不同’的结果,还包括其他或不同的内容。实际上,雅虎最近 更新 其搜索结果页面。

尝试查看网站运行状况时可能遇到的问题之一就是确定性能指标的运行情况’我们选择衡量可能有效的方法。困扰大型站点的问题是它们太大,以至于很难确定哪个指标最有效。雅虎’的方法使用机器学习方法来确定不同方法的有效性“search success”衡量搜索结果质量的指标。

搜索结果质量专利为:

System and method for development of 搜索成功 metrics
劳伦斯·怀发明
分配给Yahoo!
美国专利8,024,336
2011年9月20日授予
提交日期:2009年6月9日

抽象

用于开发搜索成功度量的系统和方法。收集多个搜索引擎结果页面,并为每个页面确定目标页面成功度量。使用搜索引擎结果页面的第一子集和每个结果页面来训练多个机器学习的页面成功指标’各自的目标页面成功度量,其中训练每个机器学习页面成功度量以预测搜索引擎结果页面的每个第一子集的目标页面成功度量。使用每个机器学习的页面成功度量标准,为搜索引擎结果页面的第二子集的每个子集预测预测的目标页面成功度量标准。然后,评估每个机器学习页面成功指标在预测与搜索引擎结果页面的每个第二子集相关联的目标页面成功指标中的准确性。

在查看此类专利时,我想做的一件事就是看我是否可以了解有关专利背后人员的更多信息。发明家Laurence Wai’的LinkedIn个人资料显示,他现在是Groupon负责分析的高级经理。 领英 资料描述了他在Yahoo期间所做的一些工作,还介绍了他参与将Bing结果转换为适合Yahoo页面的情况。他还是论文的共同作者 Web搜索结果摘要:标题选择算法和用户满意度 (pdf),其中包括其他两位Yahoo研究人员以及Microsoft搜索工程师作为作者。本文介绍了主题“search success,”这是该专利的重点。

The patent presents many different approaches looking at 搜索结果质量 to measure 搜索成功 including “演示,排名,多样性,查询重新编制,SRP增强和广告。”

该专利背后的重点是采取一种过去可能已经证明在测量搜索结果或网页的有效性方面高度可靠的测量方法,但是这种测量方法可能过于昂贵或耗时,无法持续进行测量,并且开发方法来预测特定页面可以满足该指标的程度。例如,如果停留时间或某人花费在页面上的时间是确定该页面满足搜索者需求的有用度量,那么机器学习系统是否可以使用其他搜索引擎指标来预测停留时间一页?

该专利使用的短语“search success”衡量整体能力,以衡量搜索引擎向搜索者显示有用搜索结果的效率。它也指“page success metrics”可以可靠地用于评估搜索结果是否成功的不同类型或测量系列。这些不同的类别“page success metrics”可以根据人们对它们的可靠程度进行排名,并且该专利提出了有关它们的一般规则:

通常还可以肯定的是,一个类别的等级越高,获得该指标的成本就越高。

搜索者对结果价值的最直接,最直接的衡量指标被认为是 未获得 该专利的作者告诉我们,目前不存在用于“直接评估用户’对搜索页面结果的看法。”

向搜索者提供报告一组搜索结果是否有用的能力已经接近,并且 ’被认为是有帮助的,尽管它可能会因自我报告的局限而产生偏差。

列表中的下一个“hierarchy” of metrics are target 页面成功指标, such as click-through rates on search results. For instance, the search engine might look through its query logs and see whether or not pages were clicked within search results for specific queries, and which pages were clicked.

这些类型的点击可能会受到编辑性判断的影响,例如搜索结果是否响应于导航或非导航查询,以及是否由于查询是将特定页面放置在搜索结果的顶部被认为是航行的。例如,如果我在搜索框中键入[espn],则很可能要访问ESPN网站,而不是搜索有关ESPN的信息。如果人们搜索ESPN并倾向于查看ESPN网站以外的页面,则可能导致搜索引擎质疑在一组搜索结果中首先显示ESPN的价值。

除了点击结果外,另一个可用于评估搜索结果质量的指标是停留时间。停留时间不是查看页面上花费的时间,而是将搜索结果页面上与不同操作相关联的时间戳进行比较。

搜索结果质量

该专利还涉及使用 折让累计收益 approach to determining the 搜索结果质量, where the search engine might look to see if more highly relevant results appear more highly within search results. An interesting paper jointly written 通过 researchers from Yahoo and 谷歌 explored some of the problems with that approach in 2009, and I wrote about it in the post 根据排名评估搜索结果的相关性.

搜索结果质量结论

如果你’在花了一些时间思考搜索引擎如何评估搜索引擎性能指标以确定搜索结果质量之后,您可能需要花一些时间来获取专利,以了解有关他们正在探索的某些方法的更多信息。

谷歌’s Panda updates are similar in that they focus upon identifying a series of search engine metrics that can help identify relevant and higher quality results that might gain more clicks in search results and more successful searches. Like the process described in this Yahoo patent, one of the issues that 谷歌 needs to contend with is determining how well the different metrics they’ve decided upon using in Panda might predict click-throughs, 停留时间, and other 搜索成功 measures.

最后更新时间为2019年7月4日

分享是关怀!

关于30的想法“搜索引擎如何衡量搜索结果质量”

  1. 嗨,比尔,

    雅虎会因为Google熊猫更新而做出这些更改吗?他们现在是在评估搜索指标,是因为他们正在考虑对算法进行更改,还是超出预期。

  2. Its interesting to see this, I think it shows support that Yahoo are doing something which should have a similar effect to the 谷歌 Panda update. As always search engines are trying to improve their results, its just how they choose to measure relevancy that is the most intriguing. A lot of webmasters have trouble manually measuring their website success, search engines have to do it through an algorithm.
    对冲我对未来社交媒体在搜索中起更大作用的赌注,正确衡量它必须是成功的最真实指标之一

  3. I had lunch with a former 谷歌 search engineer that worked for 谷歌 over 4 years ago. He mentioned to me that even then they were measuring click-through rates relative to verticals to determine the quality of SERPs. A metric like CTRs combined with the amount of time it takes a searcher to return to the SERP via the back button for example may be a great way to test SERPs with high search/traffic volumes.

    Take this a step further with 谷歌 being able to identify brands/entities. If certain page showed up in a results set and a tracked user conducted brand searches combined with similar queries later, that could say a lot about the quality of the original search results.

  4. 等一下那到底是什么“search success”?我浏览了您的文章,了解了该专利在排名指标(搜索成功)方面的要求,但我仍然不知道’完全理解拉里·韦(Larry Wai)的定义。一世’d还想指出,您对这些专利所做的研究(即调查谁是拉里·怀(Larry Wai))真正使您的博客与其他比尔区分开。我没有’t been able to read &最近发表了很多评论,因为我的博客的增长速度超出了我的预期,但是我’像我过去一样,将来会尝试更多地参与此博客。

  5. 对我来说,直接反馈可能是最重要的指标,以及点击顶部搜索结果所花费的时间。如果热门搜索结果不是’为了获得点击次数,排名质量存在问题。

  6. 我喜欢您不只是将专利移交给了撰写专利的人员,它无疑增加了更深刻的见解。

    I’m with logicaljack –我认为社交媒体肯定会在未来发挥更大的作用。

  7. 嗨,克雷格,

    This patent was filed in 2009, and 谷歌 Panda didn’直到2011年才会发生,所以’这不是对熊猫的反应。搜索引擎的价值取决于它响应搜索返回的结果的质量和广度。所以’s not unusual for 谷歌, Yahoo, and Bing to each have their own approach to estimating the value of those results.

    搜索引擎都试图以某种方式提出类似Panda之类的事实,在该过程中,他们找到了机器可测量的指标,这些指标可以预测点击率和停留时间,这很有意义。如果用户对网页的反应是衡量人们在搜索结果中找到多少喜欢他们的页面的可靠方法,那么如果您可以找到可以表明人们喜欢这些页面的东西来衡量,那么就可以使用它们。

  8. 嗨,马库斯,

    我猜想他们认为,如果有很多人会在针对某个查询的一组搜索结果中单击指向特定页面的链接,而其中很大一部分人似乎都去了该页面,请尽快离开该页面,然后查看其他页面或执行其他搜索,发现该页面不是’t与该查询似乎相关。

  9. 嗨,LogicalJack,

    我认为社交媒体将在未来发挥更大的作用,但可能不完全基于受欢迎程度。我认为这可能会使人们难以搜寻结果。

    相反,我认为不同的社交媒体参与者将具有不同的作者或声誉得分,这可能会影响他们可能产生的影响。这些社交参与者对相关页面或站点的注释或标签不是直接投票=增加排名,而是可能影响其在一系列查询中的排名。

  10. 嗨,杰里米,

    我们知道Direct Hit搜索引擎将点击作为其搜索排名算法的一部分,因为他们已获得点击专利。 Askjeeves最终购买了Direct Hit并使用其算法(以及其他排名信号),但我怀疑所有其他搜索引擎自此以来一直在探索点击率作为排名信号的价值。我认为使用其他信号并使用点击率作为反馈来确定其他信号对点击的预测有多大意义。

    关于搜索引擎的一个好处是,它不仅可以跟踪单个搜索,还可以查看实际的查询会话,其中点击和后续搜索可能会提供一些有趣的数据。我相信’s happening as well.

  11. 乔恩,你好

    搜索成功只是在寻找一种方法来衡量搜索引擎在将人们吸引到可能满足其查询的页面上的成功程度。

    拉里·韦(Larry Wei)定义了一系列不同的方法来衡量这些成功类型,从可能提供最佳成功方法但可能难以收集信息的方法到可能无法提供最佳方法但更容易的其他方法收集有关的信息。

    It’很高兴见到你,乔恩。希望我能经常在这里见到你。

  12. 嗨乔,

    It’很难说出直接点击背后的动机,尽管它们似乎很好地表明了人们喜欢他们看到的结果。如果您可以提出另一组可以预测诸如直接点击次数和停留时间之类的指标,然后将其与这些直接指标进行比较,那么您不仅有一个很好的指标可以在未来持续使用,而且可以事物(直接点击次数和停留时间)进行比较。

  13. 嗨丹妮尔

    谢谢。我喜欢做一些事情,例如了解专利背后的人,有几个原因。它可以让您了解他们所从事的工作’我在过去的工作以及在哪里工作。它可以让您有机会查看他们是否还有其他东西’也写或创建类似的东西。一世’过去有很多次发现某人为某项东西发布了专利,’我也写过一篇关于’拥有专利的所有法律文字。当我可以找到它们时,我尝试链接到那些对象。

    社交媒体确实为搜索引擎提供了一整套不同的数据,供您查看和考虑如何在网页排名中使用。对于他们来说,考虑如何使用这些数据并进行实验是很有意义的。

  14. 嗨马库斯

    Small and medium sized businesses can also get involved in social media to market and promote their businesses, share ideas with others, and so on. I think the quality of those interactions are more important than the quantity, especially from sites like 推特 and 谷歌 Plus.

  15. 那里 ’s certainly been some improvement after Panda when it comes down to the quality of 谷歌 SERPs. However damaging for many spammers out there, the new update is arguably one of the most critical we’ve seen. It’s still unclear to me, if 谷歌 can and will guess a website’■当网站管理员未安装Analytics(分析)时,将跳出率作为降级或升级的标准。

    Sounds like a great deal of work for 谷歌…

  16. 嗨,比尔,

    成功指标始终至关重要–棘手的部分是确保团队中的每个人都朝着正确的方向瞄准。

    我想考虑雅虎’以前的困境是市场份额将是优先事项,其次是收入–忽略Yahoo的其他好处(我发现他们仍然声称自己是网络上访问量最大的门户网站的最后一个平台,他们拥有yahoo邮件等),这可能是由于用户选择使用Yahoo进行搜索的粘性增加而带来的。

    搜索结果中提到的错误参数很有趣– where the error margin is determined 通过 the relationship of the number of page views, the 最后 page view with the successful result –尽管前两个结果指示为可导航

    除了非导航链接之外,它们似乎还对功能进行了优先排序“折现累计收益”在其中,对社论搜索进行相关性排名。

    考虑到他们’在专利中包含了参数搜索会话,这似乎是改善其结果的重要一步,以改善Yahoo的用户体验–这可能会导致市场份额的增长。

    我可能唯一希望看到的是围绕主题定义的搜索次数进行的预测’的结果。因此,导航搜索将导致一次会话的一次搜索产生一次点击–对于非导航性的内容,我预计搜索会更长。 (我认为,从银行业来看,我们预计这一数字将在8–12个搜索),其中包括导航(银行品牌)通用(例如汽车保险),然后是长尾利基条件(伊斯灵顿的Vauxhall Tigra的汽车保险/现金返还汽车保险比较网站)。

    如果可以解释搜索的主题或情感,则可以确定对后续搜索的预测。

    只是一个想法…

  17. 哎呀 考虑到他们’ve included parameters search sessions within the patent

    应该读 考虑到他们’在专利中包含了多个搜索会话的参数

  18. 嗨乔治,

    我想我’熊猫更新后,我们发现更好的搜索结果,尽管看起来还有一些协同损害,以及那些高质量内容的网站受到负面影响的结果。

    It’s really not certain that 谷歌 is using bounce rate as a ranking signal, and it appears more likely that they are looking at other metrics that might predict things like bounce rate and 停留时间 instead.

    Whether or not a site has 谷歌 分析工具 installed shouldn’t really be a factor. 谷歌 has so many other ways to measure things like that, including measuring the amount of time that someone selects a page in search results, and comparing that time to their next action on the search engine, as well as including 谷歌 toolbar browsing data, and possibly additional information from 谷歌 Chrome.

  19. 你好汤姆,

    有趣的想法。不久前的一项微软专利还添加了有关浏览的信息 搜索路径 看看人们实际上是如何进入“final”由于搜索而最终指向的页面。在某些方面,’类似于后续了解用户围绕特定查询或主题进行了哪些其他搜索,以使用除初始搜索之外的其他用户信息的想法。

    雅虎似乎确实有一些竞争利益,既有试图使访问者在自己的页面上花费尽可能多的时间,又有更好的结果将访问者带到其他页面。他们提供的搜索结果质量越高,就会有更多的人返回他们的站点进行搜索。

    那里 are some issues with using a 折现累计收益 approach, in that the “predictions”在搜索结果中某些位置上应有多少点击结果,可能会因其上方紧靠一些非常相关的结果而出现偏差。 (导航结果就是一个很好的例子,因为您’ve pointed out.)

  20. 你好乔纳森,

    I’我不确定像某人在页面上停留多长时间的指标会直接影响排名,但这似乎是预测排名的好方法,并且’是该专利的重点。

    如果搜索引擎可以查看页面上的不同功能,并确定这些功能是否可能增加或减少某人在页面上花费的时间,那可能就是搜索引擎正在使用的内容。可用的实际停留时间,以查看其算法的效果如何,作为反馈。

    那’s the reason why I said in the conclusion to this patent that this approach looks like what 谷歌 is trying to do with their Panda updates. They aren’不能直接依赖用户信息,而要依赖他们如何识别可能预测该用户信息的不同功能。

    例如,如果网页主要是广告,而实际信息很少,’无法提供有关某个特定主题的大量信息,这些信息可能与他们的页面一直很好地排名的查询词或短语相关,那么关于该页面的那些特定功能可能表明人们赢得了’不会在该页面上花费大量时间,但可能会点击该页面上的广告或快速返回搜索结果。能够将那些特征识别为负面特征,这可能会导致较短的停留时间,这将向搜索引擎表明也许应该将该页面排名较低。

  21. 嗨比尔

    这与我在自己的网站上看到的更改紧密相关。像您的其他评论者一样,我在2011年阅读了很多有关社交媒体和品牌在SERPS中扮演重要角色的内容。我刚刚在自己的网站上注意到了这一点。

    我的公司名称“Sussex SEO”是一个在本地搜索的字词,但我的首页是围绕一个比较受欢迎的本地字词设置的“web design Sussex”.
    公司名称应该更难在SERPS中排名。即使页面设置的术语不同,但竞争更激烈的公司名称排名较高。
    I’确保这与点击率有很大关系。
    人们打字很有意义“Sussex SEO”在找我的大个子。因此点击率很高。键入网页设计Sussex的人正在寻找Sussex中的网页设计师。我这个学期的点击次数百分比显然要低得多。

  22. 嗨史蒂夫,

    很好的例子。感谢您在这里分享。

    那里 ’s a good probability that 谷歌 has associated the 苏塞克斯SEO phrase with your website, likely based upon click-throughs in search results as well as other factors, such as business profile links and other mentions helping to create that association on pages other than your own.

    随着“web design sussex” phrase, there’s a good chance that 谷歌 probably doesn’不会有很高的置信度,即当人们执行该搜索时,他们正在寻找您的网站,因此,短语和您的网站之间的实体关联(或匹配的查询/文档类别分配,这是另一种可能性)可能不会得到增强您的页面在搜索结果中。

  23. “There’s certainly been some improvement after Panda when it comes down to the quality of 谷歌 SERPs. However damaging for many spammers out there, the new update is arguably one of the most critical we’ve seen.”

    毫无疑问,批发处罚将消除许多不良页面,但无辜站点要付出什么代价?您还可以看到,为了安全起见,社会各阶层更可能犯罪并杀死所有犯罪ðŸ™,

    Bill, one day you should talk about the paradox of being penalized *sitewide* 通过 bad user engagement statistics when 谷歌 can screw them up for you. The more you are penalized the worst the terms you may rank for become, leading to unhappy users and more penalization for you. It becomes a spiral of death.

  24. 嗨,希拉里,

    谷歌’s Panda doesn’t appear to directly include user-engagement statistics to rerank search results, but rather attempts to try to find features on sites through a 机器学习 approach that might predict things like click throughs and 停留时间 and other 搜索成功 type metrics.

    当我’在一些不同的文章中写道,确实确实存在一些协同破坏,因为某些网站受到了熊猫的影响,这些熊猫确实提供了高质量的内容和良好的用户体验,而且我确实对那些站点受到影响感到担忧和担心。我正在尝试分享可以找到的信息,以帮助受影响的网站进行更改,从而有助于避免此类情况。

    I’我仍在研究并研究可能会在整个站点范围内影响网站的实例,我认为这种情况确实发生在许多情况下,但并非所有情况下都如此。一世’d绝对建议您使用除特定搜索引擎以外的其他渠道来吸引访问者到您的网站。

  25. Pingback: 谷歌 Panda – Site Quality – Guidelines –他们的意思是什么? -网络专家|网络专家
  26. 嗨,比尔,

    研究专利的出色工作。最大的指标是直接的用户反馈。

    “为搜索者提供报告一组搜索结果是否有用的能力是很近的,尽管它可能会因自我报告的局限而产生偏差,但它被认为是有帮助的。”

    我不’看不到为什么有某种按钮可以让用户投票说有帮助或无用’工作。当然会有一些偏见,但不会’必须非常权衡结果。

  27. 嗨,迈克,

    最佳的用户反馈可能是搜索者在搜索时说明其想法和意图,是否’是他们直接对某人或他们所做的事情’已记录他们执行搜索的过程。他们为什么选择某些查询词。他们可能期望在搜索结果中看到的内容。为什么他们可能认为某些结果可能不合适。当他们改进正在使用的查询时,他们的想法是什么。为什么他们可能会完全放弃某些搜索。

    在我最近的帖子中 搜索引擎如何使Web垃圾邮件报告和搜索反馈自动化, 一世’我们撰写了一篇有关Microsoft专利的文章,该专利似乎描述了他们如何处理和使用搜索者的反馈。该专利的要点之一是,他们可能会考虑简单的投票机制。我想我们 ’过去,Google曾尝试过几次类似的尝试,例如在Google工具栏中添加笑脸和悲伤表情(可用于对访问的网站进行投票),搜索结果中的今天+1按钮(以及在页面上(如果作者添加了这些页面的话),以及当今阻止某些网站进行特定查询的功能。

评论被关闭。