谷歌’付费搜索人类评估师

分享是关怀!

谷歌的一项新授予的专利提供了有关人类评估人员如何评估Google广告的详细信息…

去年9月,Google负责人Scott Huffman’搜索评估小组向我们介绍了 scenes to measure and improve the quality of 谷歌’的搜索结果出现在Google官方博客上的标题为“ Search evaluation at 谷歌。作为他们执行的审阅过程的一部分,搜索引擎可能会使用人工审阅者:

人工评估者。 谷歌使用许多国家/地区和语言的评估工具。这些评估人员经过严格培训,并被要求以几种不同的方式评估搜索结果的质量。我们有时会向评估人员展示整个结果集,或者“side 通过 side”有替代方案;在其他情况下,我们一次向评估人员显示一个查询的单个结果,并要求他们评估各个维度的质量。

谷歌还使用人工评估人员来查看通过Google显示的付费广告的质量’的广告计划。这里’摘自Google正在运行的用于临时Ads Quality Rater的分类的摘录:

作为广告质量评估者,您将负责报告和跟踪Google广告的视觉质量和内容准确性。广告质量评级员使用一种在线工具来检查各种与广告相关的数据,并向Google提供反馈和分析。从事的项目可能涉及检查和分析文本,网页,图像以及其他类型的信息。

您需要对英语网络文化和媒体有深入和最新的了解。此外,您还将把这些知识应用于广泛的兴趣和主题。广告质量评级员具有出色的书面交流技巧和网络分析能力。您将需要按照自我指导的时间表每周工作10-20个小时。

谷歌今天获得了一项专利,该专利提供了其在评估赞助搜索结果时可能一直在关注的事物的详细信息。该专利于2004年首次提交。它可能仅提供当时发生的实际过程的摘要。自该专利申请以来,Google的评估流程可能已经发展。它询问的问题类型以及它在广告中解决的问题很有趣。这里’s是该专利的部分填写的评估表的屏幕截图:

人类评估者问卷

该专利是:

电子文档评级系统和方法
Sumit Agarwal,Gokul Rajaram和Leora Ruth Wiseman发明
Assigned to 谷歌
美国专利7,533,090
2009年5月12日授予
申请日期:2004年3月30日

抽象

一种用于对诸如广告之类的电子文档进行评级的系统和方法。评级信息是从一个或多个评估者那里收到的。接收与标准有关的信号,并且基于来自一个或多个评估者的标准和评级信息,响应于该信号来确定是否递送文件。

该专利详细介绍了许多评估者在考虑与广告一起使用之前如何审查广告,这些评估者为广告创建了信任度,并对许多广告进行了排名和分类。标准。分类可以通过查看以下信息来进行:

  • 主题,
  • 内容分级
  • 总内容分级
  • 灵敏度分数
  • 内容类型,
  • 语言,
  • 地理来源(例如,原籍国家或城市),
  • 目标受众的地理区域,
  • 文件来源
  • 内容的所有者,
  • 内容的创造者
  • 目标人群,或
  • 其他条件。

对广告的各个方面进行排名,以确定它们是否应该完全投放,或将其与内容匹配以适合适当的受众,还可以考虑以下方面:

  • 令人反感的内容
  • 色情或其他淫秽内容,
  • 成人内容,
  • 暴力内容,
  • 小孩儿’s content,
  • 目标年龄
  • 性别,
  • 种族,
  • 国籍,
  • 宗教,或;
  • 其他因素

该专利提供了有关此评估过程如何工作的更多详细信息,并提供了所涉及过程的许多示例。如果您使用付费搜索,则可以花一些时间更深入地阅读专利。

分享是关怀!

38想法“Google’付费搜索人类评估师”

  1. 列表中的问题看起来有点像家长控制准则。有趣的是,所显示的摘录似乎并未包含与广告网站内容的相关性

  2. 我有Google评估人员的来访。他们来自aristocat.corp.google.com作为推荐。

  3. 我不确定哪个会更好,但是无论他们做什么都可能会很好并且在逻辑上适用。我认为人类必须以某种方式成为这一过程的一部分。

  4. pingback:The Weekly Insider 5-11-09 to 5-15-09
  5. 理解文化偏见似乎是一个明智的决定,但我想知道,由于对评估人员进行了严格的培训,它是多么主观。另外,如果将这种技术用于筛选SERP的不良结果,我会很好奇。例如,Merchant Circle在定位关键字以使其在页面中排名更高方面做得很好。他们不提供任何内容;他们确实出售广告空间。我看到越来越多的公司采用这种方法来增加收入。当人类评估者进入照片时,这些中间人会被裁掉吗?

  6. 嗨,利基,

    有些问题的确也让我想起了父母控制准则。那里’专利文件中提到了仅在某些时间展示某些广告的可能性。一世’我猜想这种想法可能会模仿电视节目,其中某些节目仅在儿童或更多可能睡觉且无法访问电视(或网络)的时间播放。这是网络广告效仿的好模式吗?

    我认为与网站内容的相关性是一个单独的问题。这是对广告内容的评估,以确定它是否应该全部显示或仅在某些情况下显示。

  7. 嗨,zzllrr,

    这种评估是对赞助商列表的审查。一世’我不确定这将不会对自然搜索结果中显示的内容产生影响,但目的似乎是要提供更高质量的广告来与这些结果一起显示。有趣的是,该领域需要多少人为审查,但我’m not sure tht it’s surprising to see.

  8. 嗨弗兰克,

    谷歌还为人们提供了对翻译的想法,以及这些翻译中的某些内容在文化上可能不敏感的机会。对潜在问题敏感非常有意义。

    当专利申请试图提供有关要解决的问题的背景信息时,我会喜欢它。这里’该专利申请的开始方式:

    随着互联网的出现,可以向年龄,喜好和敏感性不同的人们提供看似无限的内容。对于某些个人和团体,某些内容可能比其他内容更合适。例如,暴力或色情内容通常被认为不适合儿童使用。提供适合观众的内容是可取的,因为它通常可以使内容提供者和观众的利益最大化并使负担最小化。例如,与受众群体相关且相关的广告比具有攻击性且无关紧要的广告更有可能产生销售。

    因此,广告和其他内容通常针对可能对该内容感兴趣的特定受众。例如,定向播报男性广告的广告可能会在国家电视转播的足球比赛中展示,因为它们吸引了大量男性观众。同样,当用户提交包含单词的查询时,可以在互联网搜索引擎网站上显示航空公司的广告“plane.”

    但是,基于用户相关内容提供广告和其他文档并不能确保该内容对于特定受众的适当性。例如,即使网站上的广告和内容与主题相关,啤酒广告可能也不适合在网站上恢复酗酒者。

    I’在过去的十年中,我们在搜索结果旁边看到了一些匹配度很差的广告。希望人类评估者能有所作为。

  9. 保罗,你好

    我确实认为Google评估所分发广告的质量和内容非常重要。考虑到带有搜索结果显示的广告是Google之一’Google是主要的收入来源,因此对展示适当,相关且高质量的广告非常感兴趣。如果显示搜索结果的广告令人反感且令人讨厌,则可能会对使用Google的搜索者数量产生负面影响。

  10. It’Google会评估它的好处’自己的算法,至少对于搜索结果而言是人类的算法,但是为什么要针对广告?他们真的在乎广告的外观吗?

  11. 您如何在Google上找到一份临时工作真是有趣,但我认为他们’秘密地让他们在执行搜索引擎的同时点击搜索引擎中的赞助广告“full analysis”.

  12. pingback:»Freundliche Pflegefürbetrunkene网站管理员| seoFM-搜索引擎优化和在线市场营销人员的德国PodCast播客
  13. 嗨,斯科蒂,

    如果让Google的质量审核人员在分析网页时点击付费广告,这将是一个非常可疑的做法。 谷歌应当设置控件来监视这种做法,这很有意义,我想他们可能会这样做。没有’在Google中让分析人员点击广告而没有购买意向,这可带来很大的价值,尤其是因为这样做将意味着需要为更多的点击付费,而实际转化次数却较少。没有转化的点击次数增加带来的影响可能会赚几美分,同时可能会失去广告帐户–精打细算但笨拙的方法。如果点击次数增加,但转化带来的点击率下降,则Google可能会失去广告客户。那’可能是他们没有的结果’t want.

  14. 保罗,你好

    是。 ðŸ™,如果Google要开始展示没有’不能激发消费者的信任,这可能会严重损害他们的收入。质量管理很重要,因此,Google及其广告计划的声誉可能会受到损害。

  15. 嗨,大图片,

    我记得Google一位用户界面设计师的一次演讲,描述了他们使用Google Maps做的一些简单测试。一项测试涉及更改显示给访问者的字体大小,另一项涉及显示“map”在页面的右侧而不是左侧的站点。

    他们进行了这些更改,并与他们一起生活以收集数据。它没有’他们花的时间太长,无法从数十万名Google地图访问者那里收集数据。

    我想知道有多少人像我上面链接的那样申请评估员职位。

  16. 这让我想起了几周前我读到的东西:

    http://econsultancy.com/us/blog/3569-google-does-no-evil-except-when-there-s-lots-of-money-involved

    涉及技术方面的东西…don’别忘了Google也是一家公司。在这篇文章中,我’读过一些Google投放的广告,这些广告非常不道德,但即使在今天,Google仍在投放…原因显然是钱。

    引用:
    “正如Wall指出的那样,仅在Google上,Google每天在这些广告上的收入就可能超过10,000美元,而在AdSense内容网络上,在这些广告上的收入每天可能超过10,000美元。”

    很想听听您对此威廉的看法。

  17. 我个人非常惊讶,谷歌会承认这样的事情,我不认为这有什么问题,而且它显然是监管其系统的最有效方法,但它确实摆脱了“mechanical”感觉谷歌有。承认人们以任何能力在自己的结果中发挥作用似乎已经摆脱了“feel”他们强大的算法

  18. 嗨吉米,

    我明白你的意思。当一切都说完之后,人类常常会做’不能看网页并决定网页是否做得不好’与特定搜索查询相关。许多机械算法“learn”根据人类评估过的网页的样本或种子集来判断网页的相关性(以及算法的效果有多差)。而且这些算法是基于人类的判断和对可能返回相关页面的假设。无论我们希望搜索结果如何机械和客观, ’不能逃避某些人的判断参与他们的工作。

  19. 比尔·斯劳斯基,

    在将近一年的时间里,我注意到我的网站上有来自Google加利福尼亚山景城的访客。我怀疑来自Google的人类评论者会查看我的网页并研究它是否与特定的搜索关键字词组相关。

    谷歌首先减少了标题标签以外的元标签,随后在博客评论,论坛发布,社交书签等之后,从网站目录提交中提供了重要的反向链接。…

    显然,谷歌削弱了自己的搜索引擎算法的重要性,并试图进行人工评估。有趣的是,使用竞争性较低的关键字词组,一个网页可以很容易地在Google SERP-s上排名第一,而指向它的反向链接和链接中的适当锚文本却可以,但是该网站的主题或主题页面可以完全不同,也可以完全不包含链接关键字词组。

    So IMHO google tries to involve human evaluators to 评估网页的质量和相关性。

  20. 嗨,Web Dizajn,

    感谢您分享您的经验。我相信Google人工审核人员通常会从全球各地向Google进行通勤,因此它’评论者可能来自Google以外的地方’的山景网。

    我不’相信Google曾经将meta关键字和meta描述用于排名目的,尽管他们将meta描述用作搜索结果页面的摘要。有关搜索引擎的最早文献描述了使用锚文本和计算页面的PageRank的想法,例如 大型超文本Web搜索引擎的剖析:

    链接的文本在我们的搜索引擎中以特殊的方式处理。大多数搜索引擎将链接的文本与链接所在的页面相关联。此外,我们将其与链接指向的页面相关联。这具有几个优点。首先,锚通常提供比网页本身更准确的网页描述。其次,对于那些无法被基于文本的搜索引擎索引的文档,例如图像,程序和数据库,可能存在锚点。这样就可以返回尚未实际爬网的网页。请注意,尚未爬网的页面可能会导致问题,因为在返回给用户之前,从未对其进行过有效性检查。在这种情况下,搜索引擎甚至可以返回一个页面,该页面实际上从未存在过,但是具有指向该页面的超链接。但是,可以对结果进行排序,因此很少发生此特定问题。

    在互联网蠕虫[McBryan 94]中实现了将锚文本传播到其引用的页面的想法,特别是因为它有助于搜索非文本信息,并以较少的下载文档扩展搜索范围。我们使用锚点传播主要是因为锚点文本可以帮助提供更好的质量结果。由于必须处理大量数据,因此有效地使用锚文本在技术上很困难。在目前的2400万页抓取中,我们索引的锚点超过2.59亿。

    我不’认为人类评估旨在降低Google的重要性’的算法,而是允许搜索引擎评估它们在做什么,并改进该算法。就像你说的“评估网页的质量和相关性。”

  21. 你好

    我认为Google需要人工评估以构建算法,并作为某些算法运行的数据输入。据我了解有关打击链接垃圾邮件的论文,在将网络的一部分手动标记为垃圾邮件/非垃圾邮件之后,算法可以很好地确定网络上的网站是否为垃圾邮件。因此,我认为这些数据可用于统计目的,并用于校准其评估机制。
    在广告上采取类似的方法很有意义,在发布之前必须再次验证。对于文字广告,这是一个自动化的过程,对于图片,它仍然是手动完成的。但是同样,自动化系统必须以某种方式进行校准。

  22. 嗨Stef,

    好点。搜索引擎描述为涉及许多过程“machine 学习ing”通常是从一系列关于链接或站点或图像的种子或测试集的人为判断开始的,并且人们不时手动检查它们是有意义的。

  23. 在涉及搜索引擎的所有领域中,都必须进行人工评估。我相信这是谷歌’的人类评估者(或使用的程度)使他们与其他搜索引擎区分开来。我本人也参与了此过程,但是由于保密协议,我只能公开我的信息。无论如何,评估人员都被用来检查和修复自动化流程的结果,并帮助改进未来的自动化流程。

  24. 嗨,艾伦,

    感谢您的分享。确定搜索结果的实际相关性是一个难题。我认为它’对于人类评估人员来说,检查自动化系统的运行状况是否良好至关重要。

  25. 谷歌的人工评估人员听起来像是在跳楼,狮桥和巴特勒山(Butler hill)就业。想知道是否有人有关于如何直接向谷歌申请搜索评估职位的信息???我对这种工作有丰富的经验,并且已经申请了ADS Quality Rater,但是申请了英语(英格兰)。似乎他们已经有一段时间没有在美国聘用广告质量评估者了。任何意见,将不胜感激。
    谢谢

  26. 嗨,哥布,

    我相信我’我们曾查看过来自Leapforce和Lionbridge的广告,这些广告是针对搜索引擎评估人员的,最有可能是针对Google的。能够’记不清我最后一次看到的时间是什么(在克雷格(Craig)’的清单),但这只是过去几个月内的某个时间。

  27. 嗨,斯科特,

    我相信Google仍然会使用一些人工评估者来提供一些人工和人工反馈,以说明付费搜索结果和自然搜索结果的相关性。 谷歌提出了一种以自动化方式查看广告和目标网页质量的方法,但很可能,他们仍然可以从真实的人那里获得一些反馈,从而看到一些价值。

评论被关闭。