How Automated Evaluations Might Help Decide Upon Rankings for Search Results at 谷歌

分享是关怀!

许多年前,我记得我被一位朋友的作业蜡笔画所谦卑’他的儿子列出了他要感谢的东西,包括父母,妹妹和感恩节的鞋子。我们理所当然地认为我们拥有的一切值得感谢。我和几个朋友聚在一起’在他的房子里,当他自豪地将照片展示给父亲时,我们都被这张照片打得有些沉默。感谢所有在这里停下来阅读,学习,分享和增加讨论的人。也感谢您有机会分享我发现的东西以及我从大家那里学到的东西。

On Monday, I wrote about a recently granted patent from 谷歌 that described How Human Evaluators Might Help Decide Upon Rankings for Search Results at 谷歌. Interestingly, this week 谷歌 was granted a patent that describes an automated method they might use to check the quality of specific sets of search results.

谷歌回应搜寻者时’在查询中,它显示页面列表以及其他类型的文档,例如图像或新闻或视频。专利’的申请日期是Google之前的日期’是通用搜索,但在描述Google在基于网页的搜索结果中可能会做的事情上可能做得很好。

搜索者看到的结果是按顺序排列的,因此,最相关和/或质量最高的页面应列在结果的顶部。 谷歌可能会监控这些结果的质量,以尝试确定“improving” and “declining”他们之间的质量,并确定与他们有关的具体问题。如该专利所述,“手动评估搜索质量可能会很费力且耗时,通常会允许评估少量搜索和评估搜索结果以确定搜索引擎的整体质量。”

该专利中描述的解决方案是通过使用一段时间作为训练集,通过记录与每个搜索结果有关的用户行为,然后将将来的用户交互与该基线进行比较,来为搜索者学习行为的特定基线。

该专利是:

确定所提供物品质量的系统和方法
由亚历山大·马克·弗朗兹(Alexander Mark Franz)和莫妮卡·H·亨辛格(Monika H.
Assigned to 谷歌
美国专利8,065,296
2011年11月22日授予
申请日期:2004年9月29日

抽象

A system may provide items during a period and determine the quality of the items provided during the period using a 时间序列模型 .

谷歌可能会从特定时间(例如100天)中获取用户数据作为结果,然后选择一个或多个与这些结果相关的指标来监控该时间段。然后,它可能会寻找人们与这些结果互动方式的变化,以预测这些结果可能如何满足搜索者的需求。

这些衡量标准可能包括诸如搜索者选择搜索结果最高的结果(或搜索结果最高的结果之一)的搜索百分比。

如果用户交互满足该预测,则可以说结果集符合期望。如果不是,则可以认为它们低于预期,并且无需手动干预即可完成这些确定。

该专利中提供的描述着重于确定搜索结果的质量,但是它也可以与其他项目一起使用,例如广告质量

自动评估的用户指标

理想情况下,如上面提到的100天这样的时间将是一个不存在重大质量问题的时期。可以用来反映搜索结果质量的度量或用户行为度量可以是许多事物或它们的组合。该专利提供了一些示例,例如:

  • 用户在搜索结果列表中选择第一个结果(或最热门的结果之一)的搜索百分比
  • 平均首次点击排名(即结果列表中的数字排名)
  • 长时间点击的搜索所占的百分比(即用户选择链接进入结果页面并在该页面上停留很长时间(例如3分钟以上)的次数的百分比)
  • 短时间内没有其他搜索的搜索百分比
  • 在短时间内没有重新搜索的搜索(即在原始搜索中添加,删除或更改一个或多个搜索词的搜索)的百分比
  • 不同指标的组合,等等

时间,称为“time series model”在专利中,可能反映了收集数据期间的趋势和季节性等情况,包括以下模式:

  • 工作日的用户行为与周末的用户行为相比
  • 晚上的用户行为与白天的用户行为相比
  • 与星期一相比,星期一的用户行为
  • 固定或移动假期等时的用户行为

如果此系统指示基于先前记录的培训期间数据,所涉及的用户行为超出了预期,则可能会采取某种补救措施。

这可以包括将通知发送给系统管理员。这可能意味着对服务器的最后更改或最近更改可能会自动回滚,或者手动查看然后回滚。这些类型的更改可能包括数据更改或编程代码更改或其他更改。

触发补救措施的更改必须在统计上具有重大意义,以表示更改。

结论

该专利最初于2004年提交,但现在’s hard to imagine that 谷歌 hasn’至少从那时起,就已经采取了类似的流程。

谷歌’s search results have changed in a good number of ways since then, including the introduction of additional types of data from different data repositories such as 谷歌 Maps, Image and video results, news and books and music results, of the kinds that I described in my post How 谷歌 Universal Search and Blended Results May Work。这些额外的结果是’t some separate properties that 谷歌 is artificially promoting in search results, but rather information of different types that 谷歌 has decided are relevant to a query someone types into search results.

这些混合的结果确实使该专利中描述的过程比可能使用100页左右的时间来监视用户行为以评估搜索结果质量的系统所处理的过程更为复杂。

谷歌 Caffeine update 它还引入了一种新的基础结构,以谷歌如何索引和处理在Web上找到的内容,并使更改搜索结果的可能性比最初申请该专利的日子快得多。同样,将100天的时间作为收集有关特定搜索结果的数据来与Caffeine更新后的几天内的当前用户行为进行比较的时期听起来不切实际。

谷歌 has also been working on more personalization within search results as described in a post today at the 谷歌 Inside Search blog, titled 关于个性化的一些想法. 谷歌 also will provide customizations to search results for different searchers based upon their recent past search history and their location. We’我也看到了向展示的推动 更新的搜索结果, and hints of things in 谷歌 patents like the possibility that they might 降级一些搜索结果 当搜索结果出现在同一查询会话中非常相关的查询的后续搜索结果中时,搜索者会看到。

在人们看到的所有这些可能的搜索结果变化之后,这样的自动化系统可以很好地监视特定用户的行为并预测特定查询的未来行为吗?

With the large number of experiments that 谷歌 supposedly performs on search results every year, cited 通过 谷歌’s Peter Norvig recently as numbering in the tens of thousands, you might expect that a way of continuing to predict user behavior when changes are made would be something that 谷歌 would pay attention to.

的 谷歌 Panda update, focusing upon 改善 the quality of pages that show up in search results, may have been partially inspired 通过 the rapid changes to search results that 谷歌 experienced after the Caffeine update since Caffeine drastically increased the number of changes that could happen to search results. Panda also seems to be a system aimed at predicting user interactions such as clickthroughs and long clicks to pages.

What kinds of automated measures do you think 谷歌 might be using to monitor the quality of search results these days?

谢谢大家的阅读。

分享是关怀!

18个想法“How Automated Evaluations Might Help Decide Upon Rankings for Search Results at 谷歌”

  1. 感谢您的文章,我很喜欢阅读本文。

    但是我想知道为什么现在所有帖子似乎都是关于Google Patents的?这些专利对于了解搜索公司的想法以及他们认为作为竞争优势的重要性很有趣,但是我宁愿阅读有关您过去发布的Microsoft,Yahoo和Google发表的研究论文的信息。研究论文似乎是最新的(因为专利是在很多年前提交的),主要的是它们具有令人兴奋的东西,例如实验,数据和结果。他们有图表,统计数据和原型!

    我希望看到您带回研究论文,甚至更好的是将研究与专利联系在一起的帖子。也许像“这是他们在2007年提交的专利,并且他们最近发表的研究是使用该专利技术的原型,他们发现nDCG的性能提高了5%。”

    特雷弗

  2. 嗨,特雷弗,

    感谢您的客气话和反馈。

    我也喜欢查看搜索引擎中的白皮书,并且一直在关注有趣的白皮书。不幸的是,我每周只有很少的时间写博客,而且我确实花大量时间在我写的帖子上。申请专利并试图获取专利’关于它的含义以及它的含义,以及自编写以来搜索世界可能发生的变化可能是一项相当耗时的活动。

    研究论文通常比专利更具最新性,但是我已经写了有关专利申请书和已授予专利的书,因为它们是首次出版或已获得专利授权,即使某些专利可能来自几年前,有时他们描述的是现在正在发生的事情。例如,我2006年写的一篇关于Google专利的文章描述了Google Instant的可能性,而我们没有’直到去年才能看到。

    让’接受我在这篇文章中撰写的专利。它描述的过程可能非常接近Google曾经使用过的过程,但是它’Google也很可能改变了他们自动评估搜索结果的方式。在总结中,我指出了许多原因,说明专利中描述的系统可能不如过去有效。它’Google不会在上面写白皮书,如果他们这样做会很棒,但是我 ’我不希望他们很快到来。一世’我也不希望他们就我以前的帖子中的主题写白皮书,说明他们如何手动评估搜索结果。

    SEO没有’没有正式的手册,也没有白皮书描述如何最好地逐步进行操作,因此,当某些专利’我最近一直在写有关以下内容的文章,’很难不写他们:

    – How 谷歌 might be doing automated and manual evaluations,
    – How 谷歌 might impose limitations on the value of exact match domains when those contain commercial terms,
    – How acquired patents and technology from acquisitions from Katango and Apture might influence what we see at 谷歌 in the future,
    – How 谷歌 analyzes the hierarchy of a site and may decide to show breadcrumb navigation for a page,
    – How 谷歌 might attempt to understand when the same pages are being displayed with and without a “www” in their URL,
    – How 谷歌 might identify when a site has been acquired 通过 someone else and transformed into a doorway page

    不仅没有关于这些主题的白皮书,’在网络上其他任何地方,有关它们的信息很少。

    当我撰写有关此类主题的文章时,确实会尝试查看那些专利中列出的发明人是否撰写了更多有关该主题的文章,或者其他人是否撰写了相关的文章。它’当我从某人身上找到一些可以扩展我主题的东西时,这很棒’我正在写。不幸的是,在少数情况下,我只看到与专利有关的白皮书。一世’我很高兴看到某人在某则帖子的评论中指向某人,因此,如果您确实看到了我,’如果您在这里写过一篇专利,并且您知道涵盖同一主题的白皮书,请随时提及。一世’是协作学习的忠实拥护者,我希望我的帖子能激励其他人加入并讨论我的想法’我一直在写,这是我花大量时间来回应此处评论的部分原因。

    我保证,我将继续搜索并尝试找到有趣的白皮书,这些白皮书使我们对搜索工程师正在研究的内容有所了解,并为我们提供有关搜索引擎正在做什么的最新信息。我喜欢看那些书并阅读它们,然后尝试自己将它们置于上下文中。

    谢谢。

  3. 你好,
    感谢您分享有关您的朋友的儿子和绘画的情感故事。
    我知道google已经有某种算法来确定搜索结果的质量。例如,如果您单击第一个结果并对站点感到不满意,请单击“后退”按钮,然后单击列表中的下一个网站,第一个网站将获得“成功”。
    我认为新的更新将为搜索带来更加准确的结果。
    我不确定“时间序列”的工作方式以及工作方式。
    我不高兴的一件事是“手动”干预。
    “What kinds of automated measures do you think 谷歌 might be using to monitor the quality of search results these days?”
    I think some of the things we discuss here have at least already been tested. 谷歌 is always changing its algorithms and we know for sure that they are after personalized searches (as you said depending on location, browser activity etc)
    问候,
    德鲁

  4. 嗨,德鲁,

    Thank you. 谷歌 does collect an incredible amount of information about how people interact with search results, and they may use that data in a number of ways, that could influence the rankings of pages shown within search results.

    我确实相信他们不会’如果可能,则不要过多地依赖任何一个用户行为指标,因为有时可能很难确定某人为何以其行为方式行事。例如,如果某人单击搜索结果中指向特定页面的链接,然后迅速返回’不一定表明该页面是’很好地回应了他们的查询。相反,它可能意味着:(1)他们’我们曾经看过该页面,(2)他们想查看其他页面以与第一个页面进行比较,(3)写下在页面上找到的电话号码,(4)他们是该页面的所有者,并且只是检查看看’(5)他们是竞争对手或对该领域的竞争感兴趣,并且他们正在检查是否还有其他东西,(6)他们在搜索过程中被电话或其他干扰打断了,并结束了搜索,(7)他们想要一个地理位置可能更近的服务或供应商,等等。

    谷歌也有机会尝试查看其他信号,以更好地了解搜索结果的情况。例如,如果某人确实单击结果并几乎立即返回,那么他们下一步该怎么做?他们是否单击同一查询的另一个结果?他们是否搜索一个非常相关的术语?

    像100天这样长时间’t seem like it fits, but I wonder how necessary it might be with all the searches people perform at 谷歌 these days.

  5. pingback:»搜索营销总结11月27日
  6. 嗨比尔

    I’我想知道自动评估成为Adwords质量评分系统中更大一部分的可能性是什么?还是您的研究表明它现在仅用于有机列表?

    干杯

    达伦

  7. 嗨,比尔,

    我喜欢本文中的信息 …但是列的宽度使其很难阅读。仅从可读性的角度来看,如果您的模板可以使文本区域变窄,您的读者就会发现阅读建议更容易。

    如果不是’尽可能短的段落可能使眼睛更容易‘return’到下一行文字。

    保持良好的工作。

  8. 罗恩你好

    感谢您的反馈。

    该模板非常流畅,并且当您使浏览器窗口更小时,它的确会使文本区域变窄。我只是对模板进行了调整,以使其可以缩小一点,希望对您的体验有所帮助。

    我也尝试用较短的段落来写。我尽量不要在这里写太多的段落,而不要超过2-3个句子。

    谢谢。

    法案

  9. 谷歌最近确实在通过搜索模式进行大量的新工作。一世’ve尝试将google +1放在与关键字的首页排名相距甚远的网站上。当它收到我的+1信息后,当我再次使用相同的关键字进行搜索时,它上升了很多位置并进入了第1页。这真是太疯狂了。

  10. 嗨吉尔

    I’我还经常看到搜索结果发生了很多变化。

    好奇您看到+1的页面时是否登录了Google帐户’ed的排名上升,或者自那以后没有登录就重复了该搜索。Google是否以个性化搜索的形式仅为您(并且仅在登录时)将结果提升了?或+1是否影响正在查看该搜索结果的其他所有人。 --

  11. 嗨,比尔,

    糟糕,我忘了说我当时登录了我的Gmail帐户,所以’最有可能进行个性化搜索。当我使用其他浏览器搜索时,它又回到了它’是应该的正常位置。所以’当您访问Google +1的任何网站时,您可能会将其移到结果的第1页附近’重新登录执行+1的Gmail帐户

  12. 嗨,吉尔,

    OK, Good to hear. 我认为它’一个+1可以做到’不能改变对每个人都很大的搜索排名。

    我认为它’尽管+1可能有可能帮助提升每个人的排名结果,但是’一个或几个的可能性较小。

  13. @吉尔,比尔:我不’t understand why would 谷歌 boost a result that has a lot of +1s. If that is true, then everyone will tell their friends to give “+1”,因此这将是拥有更多朋友的人之间的较量,例如Facebook的较量。

    我测试了一下(告诉一些朋友给“+1”),幸运的是,我没有’t have any results. I hope that 谷歌 won’t change that.

  14. 嗨,丹妮,

    Since you wrote your comment, 谷歌 has now launched their 搜索加上您的世界 更新。我的一件事’我曾经想过,因为他们有,如果我“plus” something, or one of my connections on 谷歌 Plus does, those things are going to show up in the search results I see.

    I’我希望人们选择添加自己喜欢的东西,因为这些东西是高质量的,而不是因为朋友的要求。但是我’我猜想很多人会从他们的朋友那里得到一些好处,而不论他们的素质如何。

  15. Pingback:Der Ankertext ist es nicht alleine – das Pinguin更新版本

评论被关闭。