搜索来自Google的实验论文’s Mad Scientists

分享是关怀!

We’经常无法直接深入了解像Google这样的搜索引擎如何检查其搜索结果的质量以及实现这些结果的算法。当我们在一起时,研究他们的研究人员可能使用的某些过程,他们遵循的假设以及他们发现的结论可能会很有趣。

如果您来自主要的搜索引擎之一,并且要比较提供相同质量搜索结果的两种不同算法,您将执行哪种实验?或者,您想了解更多有关人们如何使用搜索引擎的信息,以及小的更改是否会影响这种使用?

Google最近发表的几篇论文描述了搜索引擎执行的实验。

搜索任务时间和搜索者满意度

一些Google研究人员在今年发表的论文’在SIGIR 2009大会上,Google进行了一项实验,他们使用两种不同的搜索算法,将与搜索相关的任务分配给了许多付费参与者,并计时了这些参与者完成这些任务所花费的时间。

使用任务完成时间评估Web搜索 (pdf),要求用户寻找以下问题的答案:

示例任务1:

我曾经听过一部电影的结尾片中的一首歌,这首歌讲述了一群80年代的年轻律师或大学生。贾米·格茨(Jami Gertz)和柯克·卡梅隆(Kirk Cameron)是这部电影的主角。我认为这首歌叫“永远年轻”,但我想知道这部电影叫什么,谁唱这首歌。

示例任务2:

我正试图找出华盛顿州州长在过去一百年中担任的最短任期。

这些问题或任务是通过要求150个人描述难以完成的任务来找到的,这些任务是在网上找到他们最近尝试执行的信息的。根据这些描述,研究人员提出了100个任务,然后将其分配给其他200个有偿参与者。将200个随机分成两组,每组100个,一组分配搜索算法A,另一组使用搜索算法B。

200位用户每次要一次完成所有任务,并继续搜索,直到他们觉得自己已经找到答案,或者直到他们认为典型的搜索者会放弃为止。在每个任务开始时,他们将点击“开始搜索按钮,”完成后,他们将点击“finish searching” button.

除了记录每个人完成一项任务所花费的时间外,还要求搜索者通过表明他们对以下选择的满意度来表明他们对他们对每个任务的搜索体验的满意程度:

1)非常不满意
2)不满意
3)中立
4)满意
5)非常满意

如果您猜测某人完成任务所需的时间越长,他们对寻找答案的经验就越不满意,那将是正确的。

我们不是’这篇论文充分说明了搜索算法A(或搜索算法B)之间的区别,但是我们被告知,与在算法A上完成搜索任务相比,在算法B上完成相同任务的搜索者花费了1%至17%的时间,这可以被认为是重要的。

Google Speed实验

谷歌最近还报告了一项实验,他们在加载搜索结果所需的时间中引入了一些延迟,以查看这些延迟是否影响人们对较长时间的反应。纸是 Google Web搜索的速度问题 (pdf)。

We’我没有告诉有多少人参与了这个实验,尽管看起来参加实验的人可能不是’没有意识到他们是参与者。选择了两组–一个受到延迟和一个对照组的影响,并且该实验似乎分两部分进行(使用不同的用户组),每个部分历时6周,其中搜索者的延迟为200毫秒(ms)或400毫秒,然后在延迟删除后的5周内删除。

毫不奇怪,面临延误的人开始减少搜索。延迟时间较长(400毫秒)的人在延迟被消除后的五周内继续搜索较少。

结论

I’我们听说过Google进行的其他实验,他们对自己呈现给用户的内容做了些微更改,以查看这些更改可能产生什么样的影响,例如增加在Google Maps上向查看者显示的字体大小,或移动Google Maps中显示的地图从页面的一侧到另一侧。

很有可能,如果您使用主要的搜索引擎之一,则有可能您可能在某个时候甚至一次都不知道地经历了一个或另一个实验。

测试和衡量这些测试的影响是每个网站所有者都应该考虑做的事情。

如果您经营一个网站,您对网站有什么了解,以及人们最近使用它的方式如何?

分享是关怀!

22想法“搜索来自Google的实验论文’s Mad Scientists”

  1. 很好的评论玛丽安,在极端看来可笑–您真的可以告诉我两次搜索之间的区别,一次显示结果间隔0.2秒吗?

  2. 让我弄清楚这一点,受试者(谁不知道他们是受试者,我们也不知道对照组的性质)开始搜索较少,因为他们的搜索结果延迟了0.2到0.4秒?现在,如果我有注意力不足’我曾经听过。我坚持认为,结果显示的速度是计算机科学设计的度量标准,因为它们无法真正衡量结果的实际相关性。一世’m just sayin’.

  3. 好…我知道200 ms在我最喜欢的抽搐游戏中是永恒的,但事实并非如此’在检索和审查Web内容方面似乎很重要。再说一次,我对原始数据的主观意见有什么用?尽管数据看起来有些嘈杂,但趋势线很明显,几乎与延迟水平成正比。

  4. 阿罗哈·比尔
    这就是可以访问实际算法的美妙之处,您可以将灰盒测试与临时用户验收测试或几乎所有其他功能结合使用。回顾我为测试软件编写测试计划和测试用例的日子,一个棘手的领域是,当您在一个领域中获得性能时,通常会在另一个领域中失去性能。另外,通过操纵数据引擎可以很容易地确定测试结果。

    意识到这可能有点像是对某些公司走上了冰冷的道路,我宁愿看到更多关于性能基准测试的数据被其他竞争性搜索引擎反弹。

    查尔斯

  5. 最好的办法是让搜索引擎公司做类似MIT的事情’的自主机器人设计比赛。为提高速度和准确性/相关性而在公开竞赛中挖坑各个工程师。这将比一些乏味的seo博览会更有趣。

  6. 嗨玛丽安,

    速度测试当时’t tied to the relevancy of search results as far as I know. 我们不是’t told very much about that experiment though, such as how many 参加者 were included, so it’很难批判结论。

  7. 史蒂文你好

    我记得当我们看到来自Altavista之类的来源的搜索结果时,看到这些结果所花费的时间是以秒为单位,而不是毫秒。我想我们期望今天有更多的搜索引擎。我发现有趣的是,主要的搜索引擎继续告诉我们他们执行搜索需要多长时间。

  8. 嗨,查尔斯,

    I’d love to see some comparisons from the different search engines. 我不’不知道这些可能有多大帮助,因为我们不’不知道幕后实际上正在进行哪些工作,但这仍然很有趣。

    至于速度和相关性的测量’通常会在结果的精确度和查全率之间进行权衡,而且可能因一个搜索引擎而异。添加诸如重复内容过滤之类的内容,以及对其他内容(例如垃圾邮件),对查询的搜索结果使用缓存的过滤以及其他因素的可能过滤,可能很难进行比较。

  9. 他们今天用一些更大的搜索文字对我做了!嗯,不确定是否让我更满意搜索过程。在大约20分钟的时间里,我认为这是CSS中的错误,或者新的FF使用我的视图缩放功能正在做有趣的事情。

    I’ve注意到GA文字也越来越大。我以为这可能是另一个CSS或缩放错误,但也许他们一直在对我进行测试,因为似乎没有其他问题可以解决?

  10. 嗨,马特,

    Google在可用性测试领域确实有很多人。一世’我不确定他们会多久进行一次实验,例如更改字体大小或执行诸如将Google Maps中的地图从左侧移动到右侧的操作,但是确实发生了此类实验。它’有趣的是Google有时会在没有任何公告或夸大其词的情况下将这些实验公开发布,但是我想凭它们的搜索量,他们可以很快收集到有关这些变化的大量数据。

    Google最近将其广告从右列移到了靠近搜索结果的位置时,我认为他们的CSS或我的浏览器也出了点问题。

  11. pingback的:每周内部人员9-9-09至9-11-09
  12. 嗨,比尔,

    好像是早先进行的速度测试小组的一部分,我不得不说搜索查询速度相当慢,现在又恢复了正常。确实确实影响了继续搜索的动力。

    最近,似乎在我的Google搜索栏上找到查询搜索栏的时间比平时长,我想谷歌完成了另一项测试?

  13. 嗨,德里克,

    我不’不知道我是否是其中之一“participants”在这项研究中,但我已经开始更加关注搜索引擎显示的信息,即自阅读该论文以来,查询结果花费了多长时间。很抱歉得知您是文字组之一。

    我在较长的查询搜索栏上看到了许多报告。一世’我们还注意到在过去几天中,出现在搜索栏下方的预测搜索结果中使用了较大的字体。

  14. 我注意到较大的文字实验,而且我们现在知道,Google‘Caffeine’是如此之快以至于令人震惊。我想其中一些测试是专为‘Caffeine’。实验是在线网站成功的关键。我们都知道‘call to action’应在折痕以上(折痕以上);因此,诱使读者/客户也做自己想要的事情。我们为什么知道这一点,这是一种成熟的技术。 Google只是进一步尝试– “it’s all about speed or 咖啡因!”.

  15. 李嗨

    It’看到Google现场进行一些实验很有趣。我知道他们有一个规模庞大的可用性测试实验室,并且他们似乎在利用管理它的人员的专业知识。我不’t think that it’一切都与速度有关,但这似乎与Google有关–他们网站的简单首页已经随着时间而改变,但是’与许多其他搜索引擎相比,它仍然非常简单。

  16. 好文章Bill,非常有趣,看看Google计划实施什么。一世’在几乎可以肯定的情况下,我参加了其中一项测试。

  17. 我认为这项研究与他们新推出的首页直接相关。我听说他们审查了速度测试,并希望通过他们的新主页来减少访问Google.com和找到问题答案之间的时间。

评论被关闭。