人类评估者如何帮助您确定Google搜索结果的排名

分享是关怀!

评估人员会影响搜索排名吗?

上周获得一项Google专利的专利描述了搜索引擎如何使人们能够尝试改变网页的不同排名信号的权重和值,以评估这些变化如何影响特定查询的搜索结果的质量。该专利列出了发明者Misha Zatsman,Paul G. Haahr,Matthew D. Cutts和Wu Yonghui,’在如何使用该评估系统方面提供了很多背景信息。因为它’的内容看来,似乎可以让搜索引擎向广大公众公开,但是我’我不确定他们是否会这样做。

在博客文章中 谷歌 Raters – Who Are They?,Poppiegirl撰写了一篇Google用来评估搜索结果的相关性和质量的人工审阅者的文章,该分析是通过一个论坛进行解析的,人们一直在讨论他们作为Google搜索结果的审阅者的经验,并收集有关审阅程序工作方式的信息。它包含一些有趣的信息,这些信息一直以来都是Google的人类评估者。’的结果,包括讨论他们参与的两种不同类型的评论。其中之一涉及给定特定的关键字和URL,并确定该页面与该关键字的相关性。另一个涉及为同一查询提供两组不同的搜索结果,并确定哪组结果为查询词提供最佳结果。

在Youmoz博客文章中 引入SERP Turkey:免费的工具,用于SERP条目的拆分测试和CTR分析,汤姆·安东尼(Tom Anthony)描述了一个过程,当有人从Google那里获取一组搜索结果并对其进行更改时,可以用来衡量点击率的变化。它’这是一个有趣的想法,可能值得尝试。

The patent examiner involved in prosecuting the 人的 evaluators patent included a link to a 谷歌 Custom Search Engine page which describes how users of 谷歌 Custom Search Engines 可以调整那些 更改搜索结果的排名。涉及的过程没有’t允许自定义搜索构建器为不同类型的信号赋予不同的权重,例如,赋予页面标题内的单词更大的权重,赋予页面链接中找到的单词更少的权重,但是它确实允许将不同的权重应用于一些页面。

专利, 评估网络搜索评分功能的框架 (美国专利8,060,497)于2009年7月23日提交,于2011年11月15日授予。摘要中,我们获悉其内容包括:

用于测试Web搜索评分功能的方法,系统和装置,包括计算机程序产品。

收到查询。通过接收响应于查询的搜索结果来选择第一和第二评分功能;将候选评分功能应用于搜索结果,以确定每个候选评分功能的搜索结果分数;识别候选得分函数对,并为每个对计算多样性分数。基于分集得分,从一对或多对候选得分函数中选择一对候选得分函数,并且将α函数选择为第一得分函数,将β函数选择为第二得分函数。

多个搜索结果按照来自第一得分函数的得分的顺序显示,并且按照来自第二得分函数的得分的顺序显示。

It’很难准确说明此人工评估者中的流程是谁’的专利可能是为此写的。是由Google聘请的人类评估人员尝试对排名信号进行实验,以找到他们最喜欢的信号吗?是给Google自定义搜索引擎的创建者使用的吗?网站所有者和搜索者可以探索和尝试吗?

We are told about the advantages of this 人的 evaluators framework, which includes:

  1. 可以利用现有的搜索引擎基础架构来允许用户尝试各种计分功能,而无需大量实施开销。
  2. 可以比较不同评分功能的性能。
  3. 即使没有将所有评分功能都与其他评分功能进行比较,也可以基于评分功能的成对比较为评分功能生成排序。
  4. Evaluations from questionable 人的 evaluators can be discounted.
  5. 可以建立得分函数评估的市场,在该市场中,评估人员可以获得奖励。
  6. 竞赛,用户团队提交评分功能并互相评估’可以运行评分功能。

谷歌是否会向公众开放对搜索结果的评估,并且可能会吸引一些激励措施?

The 人的 evaluators patent does tell us about many different signals that might be considered and compared in a side-by-side comparison of search results for specific queries.

这些操作可能包括对页面标题内或指向页面的锚文本内的单词赋予不同的权重,或者标题中是否找到了查询字词,还是搜索结果中页面的URL或结果的正文,或者在该术语的后续出现被打折之前,一个术语可以在页面的正文中出现多少次。

该专利详细介绍了可能在搜索结果页面排名中涉及的不同类型的信号,例如:

  • 查询条款
  • 提交查询的地理位置
  • 提交查询的用户的语言
  • 提交查询的用户的兴趣
  • 用于提交查询的客户端设备类型(移动设备,笔记本电脑,台式机)
  • 查询词在文档中出现的位置(标题,正文,指向页面的锚点文本)
  • 术语频率(该术语在文档中出现的频率与在相同语言的文档中在网络上出现的频率相比)
  • 文档频率(包含查询词的文档数除以Web上的文档总数)
  • 单个搜索结果质量的度量
  • 托管搜索结果的地理位置
  • 当搜索系统首次将搜索结果添加到其索引中时
  • 搜索结果的语言
  • 搜索结果的大小
  • 搜索结果标题的长度
  • 指向搜索结果的链接中的锚文本长度
  • 搜索结果域中具有使用特定锚文本指向该文档的链接的文档数
  • 具有使用特定锚文本指向该文档的链接的其他域上的文档数

可以将API或应用程序编程接口设置为轻松地将不同的权重应用于这样的系统中的不同信号。该系统可能设置为由Google员工使用,他们正在调整不同的排名信号,以供Google聘请的人类评估人员进行比较。

结论

我可以’t say that I’我以前从Google那里看到过什么,他们如何向评估人员展示不同的搜索结果集,以进行比较,就像我在Potpiegirl的博客文章中所描述的那样。’ve链接到上面,并且它’这项人类评估者专利可能会给我们一些提示,说明如何比较和生成比较结果。

One thing that the 人的 evaluators patent does point towards is the possibility that 谷歌 may use these evaluations to create unique mixes of scoring signal weights for different query terms or different classifications of queries.

该专利描述了根据与查询相关的特征或其主题对查询进行分类的几种不同方式:

长查询 –具有超过特定阈值数量的字符。
简短查询 –具有少于一定阈值的字符数。
热门查询 –这些在最近的查询日志中显示的次数超过阈值次数。
不受欢迎的查询 –这些出现在最近的查询日志中的次数少于一定次数。
商业查询 –这些包含指示商业活动的术语,例如“deal,” “price,” “buy,” “store,” etc.
非商业查询 – These don’包含表明某种商业意图的术语。

还可以根据主题(例如旅行,食物,时事等)对查询进行分类。

评估人员的专利还描述了如何从统计人员那里获得的比较结果可能以某种方式可疑时(例如未能客观评估评分功能)从统计角度进行识别。例如,如果评估者在比较两组不同的结果时经常或仅选择一侧显示的结果,则那里’可能会发生一些有趣的事情。

如果你’re interested in how 人的 evaluators might be involved in helping to improve the quality of search results at 谷歌, this patent appears to contain some hints at how that may be done.

分享是关怀!

关于25条想法 “人类评估者如何帮助您确定Google搜索结果的排名”

  1. 法案,

    像所有排名指标一样,我确信也将在与外包协调的综合操作方面对这一指标进行测试。

    就像建立链接的情况一样,团队似乎需要做的就是找到一种自然出现的投票系统,该系统将选票出售给最高出价者,或者将不断变化的套餐出售给任何愿意将其出售的人。付钱。

    这永远是“cat and mouse” it seems.

    和往常一样非常有趣-

    标记

  2. 至少有人听说过Google会定期将趋势和热门搜索与这些类型的人工评论结合起来,但是我没有’认为他们的人力资源远不止于此(例如不受欢迎或长尾关键词)。

    It’显而易见,尤其是在假期期间,Google搜索“black friday deals”可以接受一些手动审核-

    喜欢阅读比尔!

  3. 确实,非常有趣,比尔。我认为,如果Google担心搜索量下降,那么他们很可能会转向激励性输入和搜索。

    它可能使人们留在身边。

    达伦

  4. I’我很确定Google不会透露他们的结果“human”测试。他们想保留SEO’ers confused and guessing. Real 人的 reviews are the best way to 真实ly determine the best site for a particular topic. 谷歌 wants to do whatever they can to make that “real”而不是操纵。

  5. Wow I never thought a day would come when google would go to become even partial manual! I thought google was the big robot controlling the internet. Thanks for the post this 真实ly makes me want to learn on what google plans for the future of search results.

  6. 不’t 谷歌 真实ly already have 人的 evaluators every time someone clicks on a SERP link? If they didn’与Adwords和其他垃圾邮件混在一起时,它们的点击数据会更加可靠。

  7. 嗨,基思,

    谢谢。

    谷歌可以尝试通过多种不同方式来评估其提供的搜索结果的质量,我怀疑尽管其中许多是自动化的(例如,请参阅我在文章中撰写的专利 谷歌如何建议您撰写主题), I think 谷歌 also places some value in having people 手动地 review queries for relevance as well. Of course, that doesn’可以很好地扩展规模,但这可能会帮助您解决一些自动化系统所能解决的问题’t.

    谷歌拥有的自动化系统也可能会建议您查看一些长尾查询和不受欢迎的查询,并且使用这两个系统相互检查听起来很合理,尤其是当它们有助于找到与Google相比应采用不同算法方法的查询时可能正在使用。

    一个相当新的 接受Google采访’研究负责人Peter Norvig 表示Google每年在其核心搜索系统上进行大量的实验,规模达数万次。我们’我也收到过Google的来信’马特·卡茨(Matt Cutts)和阿米特·辛格(Amit Singhal)称,谷歌每年也对这些算法进行500次更改。评估人员能够在Google进行实时测试之前就可以看到其中一些更改的想法很有意义。

    I’我要远离那个“black friday deals” search. 🙂

  8. 嗨,马克,

    我没’太惊讶地看到专利中包含一段描述了Google可能从其评估者那里寻找的信号,这些信号可能表明它们可能以某种方式,采取某些捷径或做其他可能会偏向他人的信号可疑。当然,在大多数专利申请中,该描述提供了一些细节,但是可能有目的地使其他细节存在。尽管确实需要在专利说明中提供合理数量的详细信息,但您没有’需要包括有关如何构建专利中描述的发明的分步指南。

    I’确保Google会尽一切努力,以防止像这样的系统被玩耍,如果他们使用的系统会直接影响搜索结果,并且会限制任何一次评估所产生的影响可能有。

  9. 嗨,艾伦,

    谷歌去年确实发表了一篇论文,描述了他们测试新算法和方法的一些框架,我在 We’re All 谷歌’s Lab Rats.

    谷歌很有可能会以多种不同方式测试新的排名信号或对旧信号使用不同的权重,可能使用一些小的对照组,然后是人类评估者,并且在许多情况下,通过将结果显示在很小的百分比上在特定数据中心访问Google的用户。通过在不同的条件下运行许多不同的测试,它使他们有机会比较那些测试的结果。

    谷歌还可以将自动评估系统与这些系统一起使用,并与可能没有直接参与这些更改和实验的其他人一起工作,以评估它们的工作效果。有趣的是,该专利似乎使我们对测试的一个方面有了一些了解。

  10. 你好史蒂夫

    谷歌确实在其查询日志中收集了大量数据,这些数据涉及人们看到的结果,他们点击的结果,人们在所访问页面上可能花费的时间,所访问的位置以及所用语言他们首选的语言,还有更多。

    这些数据可用于个性化搜索,显示基于网络历史记录或位置的自定义结果,生成查询细化和拼写更正,提供可在Google建议中使用的查询,确定与查询相关的结果,等等。

    但是,Google还开发了一个框架来测试新算法或更改过的算法,并且作为该框架的一部分进行一些人工审核,为他们提供了在变更生效之前对其进行测试的机会。

  11. The sheer amount of websites that are out there makes it difficult to have 人的 evaluators in place.

    Perhaps 人的 evaluators sre used to test the effectiveness of their algorithm, and rate the results that they obtain from search queries.

  12. 嗨Talha,

    The Web is too large to rely upon 人的 evaluators to determine the relevancy of each page, but they definitely could be used to test the algorithms in place for different queries, and for different classifications of queries like I described in the post.

    我觉得’s why we’减少对Yahoo Directory和DMOZ等网站的依赖– they just can’t keep up.

  13. It’很高兴知道有人被用作评估者,但正如您所说, ’除非用于测试和验证算法,然后将其进行改进和部署以进行大规模的自动化评估,否则无法很好地进行扩展。社交媒体和其他指标的使用似乎确实是质量和相关网站的更好指标,它使用众包的概念来确定流行和不流行的内容。’t.
    前往Potpiegirl’s blog!

  14. 我想知道他们在搜索分级员上有多少人口统计信息。当然,SERPS偏好在某些方面可能是主观的(即使平地机’我阅读的文档似乎非常明确)。可以采用哪些控制措施来评估个人意见的影响?也许只是一个大样本集?

  15. I’我很确定Google不会透露他们的结果“human” tests.

    顺便说一句,尼斯的帖子。等待得到您的下一个。感谢分享。 --

  16. 嗨Eliseo

    The only reason to use 人的 evaluators is to test changes to algorithms, to do checks on some results where automated evaluations show there might be some problems, and to do some spot checks on other queries or categories of queries.

  17. 克里斯,你好

    我怀疑他们在雇用人员时会要求提供此类信息,以便他们确实拥有要注册为评估人员的人员的人口统计信息。

    搜索结果评估可能有点主观,但很有可能会使用相当大的样本。该专利还指出,Google也会在评估人员提供的评估中寻找异常或可疑的模式和活动。

  18. 嗨阿敏,

    谢谢。

    I’我不确定那里’对于Google和查看结果的人来说,共享有关人类对搜索结果评估的特定数据确实非常有价值。如果Google正在测试他们用来对网页进行排名的算法,那么他们可能希望避免与公众,可能的竞争对手以及可能想要操纵页面排名的人们共享这些算法。

    谷歌已发布了一些研究的结果,’ve与人进行了可用性测试,并提供了这些测试的一些详细信息。

  19. 绝对同意艾伦在这里。虽然Google实际委派人力来维护具有远程影响力的评估系统的想法似乎有些牵强,但他们实际上执行的任务很少‘manually’将最有可能被保密/用作恐吓战术。

  20. 嗨,丹,

    These 人的 evaluators are used to test different mixes and versions of rankings when 谷歌 tests new algorithms. I don’t believe that their evaluations directly affect search results ever. The Web is too large to rely upon 人的 evaluators when it comes to ranking pages.

    谷歌没什么吓人的策略,甚至没有秘密。他们 ’ve been making it clear for years that they have 人的 evaluators who look at some search results.

    当然,Google还明确表示,他们将在适当的时候进行手动垃圾邮件审核检查,但是执行这些操作的人’t these 人的 evaluators.

评论被关闭。