Google如何让您通过照相手机购物

分享是关怀!

几个月前,我在一家商店停下来寻找新手机。我停在的地方提供了数十种不同型号的手机,它们具有不同的功能,我将搜索范围缩小到三到四个,在其包装盒上列出了听起来很有趣的功能。通常我’在购买类似产品之前,我会先上网查找,但是我需要一部新手机,并且想尽快购买。

我在购物通道的中间拿出手机,开始寻找在我面前的手机选择的评论。如果我可以对它们进行拍照,然后自动获得有关它们的更多信息,包括其他地方的评论和替代价格,以便我也可以比较成本,那将是很棒的。

Google的一项专利申请描述了一种使用手机拍摄商品图片并将其发送到搜索引擎,使其通过Google购物和其他网站进行搜索,查找价格和评论以及其他有关信息的方式。这些物品,如果您愿意,可以在线购买。这些图像可能是朋友穿着的衬衫,或者是您看到停在街道上的自行车,或者是货架上的包裹。

搜索可以基于实际图像本身,以及可能出现在图像或其他信息的框上的单词。您收到的信息可能包括诸如技术规格,食品的营养价值,原产国,许多供应商的价格等内容。如果手机启用了GPS,则Google可能会看到我在一家特定商店的中间,并在商店的在线目录中查找该商品和商店提供的其他商品。

除了提及Google产品搜索外,该专利文件还描述了如何使用Google Checkout允许人们购买他们在此过程中看到的产品,尽管它告诉我们产品搜索或Checkout都不是必不可少的。可以将人们带到可能提供有问题产品的供应商的网站,也可以在这些站点上使用订购过程。

该过程开始于您使用照相手机拍照,或者’已上传到您的计算机,或者有人通过电子方式发送给您,或者您’在网站上找到的。

图像连同包装上的文字(如果有)一起发送到搜索引擎,可以在其中通过Google产品搜索或网络上的其他位置搜索匹配项。


您 may be shown the same item, or items that contain the same features or which are related, as well as related items such as accessories.


有关这些物品的信息将发送回您的电话或台式计算机,您可以在其中决定是否要购买这些物品。

It’您可能可以使用Google Checkout进行购买,尽管专利文件中提到也可以向供应商购买’ sites as well.

专利申请是:

购买图像捕获
(注意: USPTO链接似乎已断开,但专利申请仍可通过WIPO获得– 购买图像捕获)
建元和靖玉石发明
美国专利申请20090319388
2009年12月24日发布
提交日期:2008年6月20日

抽象

一种计算机实现的物品识别方法,包括:识别从远程电子设备接收的图像中的物品;传送包含有关该物品的信息的搜索结果,以供该物品的一个或多个供应商使用;向该远程设备发送用于执行来自该物品的一个或多个卖方的该物品的订单的代码。

实际图像搜索

您用相机拍摄并发送给Google的图像将与其他图像进行比较,并且“feature points,”或图片中像素颜色或图像亮度突然变化的区域可能会被分析以得出可能被认为是“图像中对象的数字线条图。”您的图像可能会与搜索引擎收集的其他图像进行比较以找到匹配项。

The search engine might have collected other information about 产品展示, such as manufacturer names and model names, like the kind of information found at Google Product Search.

那 kind of information may have been gathered 通过 the search engine in a number of ways, such as:

  • 通过搜索引擎直接从卖方那里(例如,通过卖方以预先批准的格式提交数据),
  • 手动(例如,通过代理商从供应商页面复制信息),
  • 半手动(例如,由代理人标记部分页面,以及自动系统从格式相似的页面中提取产品数据),或者
  • 自动(例如,通过训练有素的搜索引擎爬虫程序来识别产品和价格数据)。

搜索引擎可能会尝试显示相近的匹配项,其中可能包含与图片中显示的商品相同的型号和品牌,或者具有相同的功能,但’同一品牌。它可能显示相似的匹配项,可能是同一品牌但型号不同或相关的项目–例如耳机盒(当显示的项目是一组耳机时)。

专利文件描述了一些不同的技术,这些技术可用于捕获图像和有关人发送图片的物品的信息,包括识别不同物体的图像技术和光学字符识别(针对在其上书写的产品),或框内应注明这些产品的名称和产品编号。书籍中的条形码,通用产品代码或ISBN号也可能有助于识别产品。

该系统中可以使用的图像可能来自您所见并亲自拍摄的照片,或者来自诸如电视节目或杂志上的媒体,或者来自某人发送给您的图片消息,或从您在网络上看到的图像中,然后右键单击以“详细了解图片中的项目。”

专利申请中的一个有趣例子–拍一张“chocolate 纸杯蛋糕 with chocolate ganache and buttercream frosting” and the search engine will attempt to find a match, and tell you where you might be able to buy that 纸杯蛋糕:

At an initial step, the process receives an image. For example, an image received through a picture message can be received. The image can be a specialty item that the user would like to buy. In some examples, the image can show a chocolate 纸杯蛋糕 with chocolate ganache and buttercream frosting.

The process then identifies feature points in the image. For example, the feature points on the 纸杯蛋糕 wrapper can be determined from its accordion shape using the shadows and lights in the image. The color palette of the image can also be used to determine potential matching flavors in the 纸杯蛋糕 (e.g., chocolate versus lemon). A preliminary check can also be made at this point to determine if a particular item can be found in the image–例如,如果图像非常不清晰,则可能找不到连续的点组,并且可以告诉用户提交更好的图像。

If you offer 产品展示 on the web through an ecommerce site, this 纸杯蛋糕 example may offer some helpful suggestions to make it more likely that a product from your site may show up in a search like this. Ideally, it seems that you would want your 产品展示 to show up in Google’的产品搜索是第一步。但是,如果您提供的产品在不同角度看起来可能有所不同(例如用鞋代替艺术品印刷),则可能需要包含多个角度不同的图像。您可能还需要为图像选择好名字:

然后,该过程将图像与图像库进行比较。例如,纸杯蛋糕的图像可以匹配匹兹堡的Dozen Cupcakes的East End Chocolate Stout纸杯蛋糕。该图像还可以匹配来自Coco的饼干和奶油蛋糕’匹兹堡的纸杯蛋糕。在其他实施方式中,可以通过命名过滤器确定比较。例如,如果图像文件具有名称,例如“cupcake”, the image library can be filtered to images having 纸杯蛋糕s in them. More likely, because various 纸杯蛋糕s are not very distinct form each other, the image could simply match an image associated with the tag “chocolate 纸杯蛋糕” or “lemon 纸杯蛋糕” or the like, and not a particular brand of 纸杯蛋糕.

Google护目镜和视觉搜索

Google最近向Google Labs发布了一种视觉搜索功能,’ve named 谷歌谷歌,它使您可以使用图片进行搜索。搜索引擎提供了一些有关如何将此视觉搜索与地标,书籍,联系信息(例如名片),艺术品,地点,酒和徽标一起使用的描述。 Google护目镜帮助页面还提及条形码和产品,您可以在其中拍照和搜索:

Remember that Google护目镜 works best on 书s & DVDs, landmarks, logos, 联系 info, artwork, businesses, 产品展示, barcodes, or text. Right now, it’在动物,植物,汽车,家具或服装的图片上不太好。

在里面“book”例如,Google提供的链接可让您“在Google购物中比较价格,” and “在Google图书搜索中预览此书。” 那 seems like a good starting point from Google towards letting you search for, and buy other items online as well.

结论

使用Google Goggles,这种产品搜索似乎有了一个良好的开端。 Google护目镜具有一些局限性,例如需要使用QVGA和自动对焦相机对运行Android 1.6或更高版本的设备进行重新设置,但是’Google可能还可以在其他设备上进行可视项搜索,包括通过台式计算机搜索您上传或在线查找或发送给您的图片。

It’这种视觉搜索可能会变得非常流行。如果您经营一家电子商务商店,则可能需要采取一些措施,以使您的图像更有可能出现在此类视觉搜索的匹配项中。

分享是关怀!

关于36的想法“Google如何让您通过照相手机购物”

  1. Pingback:Google的Bildersuche:webCONSUL上的der andere Weg zum Produkt
  2. 那s crazy! Just shows how much technology has come on these days! It could make life easier when shops are really busy but it could just make us a lot lazier than we already are…

  3. Bill,作为网站和电子商务商店的开发人员,我认为Google能够将图像与存储在其数据库中的图像进行匹配的能力非常强大。这可能意味着对某些客户会有更多的销售。但是这些错误可能无法使该过程完美地运行。

    I’我很高兴见到Google“pushing the envelope”.

    干杯!

  4. 我使用Picasa(Google’的照片管理软件),它具有上次更新发布的新功能,该功能可扫描您所有图像中的脸部并将它们分组在一起,以便您可以一次标记所有图像。从本质上讲,这使您可以轻松整理所有照片,而不必逐一检查和标记每个照片。

    他们可能会为您上面描述的服务使用类似的技术。很酷

  5. 嗨,格雷格,

    碰到专利时,我感到非常兴奋。我认为它’也可能非常庞大。如果电子商务网站的所有者避风港’力求确保它们已列在Google购物中,并且避风港’为了确保他们的网页尽可能与搜索引擎友好,他们可能在这里错过了机会。

    正如我在帖子中包含的Google Goggles页面上的报价告诉我们的那样,他们仍然有一些需要克服的错误– but it looks like people with phones using Android version 1.6 can use a search like this for 书s, DVDs, and other 产品展示.

  6. 嗨,G Money,

    我确实认为他们正在使用类似的技术。您在Picasa中描述的面部识别技术是基于以下方面的研究 夜视,其中Google 获得的 几年前。除了发布有关面部识别的专利外,Neven Vision还对物体识别进行了大量研究。

    我没有’虽然没有对专利文件中提到的实际图像搜索技术进行过多的探讨,但确实引用了Google可能使用的一些技术来源。但是,是的,他们在该领域的某些专业知识确实来自与Picasa中的功能相同的来源。

  7. 嗨,詹姆斯,

    它可能使我们变得更懒惰,但又一次,它可能使我们所有人在比较购物方面变得更好,并且更多地参与了对所进行购买的研究。 ðŸ™,

  8. 那 would be great! I think I saw this kind of app in an iPhone. But instead it gives you information about a particular place or location that you point in your video. Isn’有点一样吗?

  9. 确实,这是一个有趣的功能,我只是在想正规零售商店将对此做些什么?

    他们会允许每个人到店里到处拍照吗?

    Google正在进入越来越多的领域,据我所知,他们开始与那里的客户竞争,他们会被允许这样做吗?

    莫滕

  10. 亨利你好,

    iPhone确实提供了许多应用程序,可以为您提供有关您上传的图像的信息,但是’与此有所不同。这与视觉搜索紧密相关,后者可以帮助您在Google购物或网络上的其他地方找到您想购买的产品。该专利确实提到他们可能尝试通过GPS之类的方法来识别您的位置,因此,例如,如果您位于Target商店的中间,他们可能会向您显示Target的在线目录以及您所购买的产品’我在那里拍了张照片。

    我确实写过关于Google的文章’的本地搜索条形码项目,最近发表在标题为“ Google条形码和排名转换本地搜索的排名。在那篇文章中,我’曾写过一篇有关Google专利申请的文章,该书可让您拍摄与企业,停车场,地标以及其他可能放置条形码的地方相关的条形码的图片,并查找有关该地方的更多信息。

    Google护目镜 看起来它可能使您可以拍摄地标和地点的图片,并在不需要条形码的情况下进一步了解它们,而条形码甚至更接近您所使用的iPhone应用程序’re writing about.

  11. 嗨,莫顿,

    I’我一直在想,我们是否会看到商店赶走那些拉出相机为货架上的物品拍照的人。我知道一些地方,例如珠宝店,往往对照相机有些偏执,认为与他们的财产拍照有关的安全隐患。几年前,我被星巴克的咖啡师大喊,因为他们想在他们的咖啡屋里拍照。一世’我不确定大多数商店会如何反应。

    It’当Google与客户竞争时,可能会形成这样的框架,但Google却没有’不得直接销售任何这些产品。该专利申请确实描述了可能会在所涉及的过程中使用Google购物和Google Checkout,尽管它也提到Google可以将购物者直接交付给供应商’的在线网站,这些购物者可以在这些供应商处使用结帐流程’网站。它确实有可能引导消费者在线订购而不是从他们所处的商店购买,尤其是当他们遇到更好的价格以及可能具有更好功能和/或评论的类似产品时。

    是的,这可以看作是在创造竞争,但也可以看作是为愿意利用它的人们创造一些机会。

  12. 那’很大!我听说过可以拍摄UPC代码或类似标记的图片,并可以提取所有相关信息(规格,评论,比较价格等),但是可以打开带有图片的任何商品很多门。我真的很喜欢你的想法’前面提到过具有GPS功能的电话,并且可以进行本地搜索并与您所在地区的供应商进行比较。这么多机会!感谢您的精彩帖子和“节日快乐”!– 特洛伊

  13. 嗨,比尔,谢谢你的文章。我想我不知道’t see the “BIG DEAL” here…至少基于消费者已经转向‘满足他们的购物需求。如果你’由于您已经进行了大部分产品研究和在线购物,因此提交图片并不比提交文本字符串快。

    这里’在我看到物体识别会派上用场的地方:A)砖和灰浆冲动物品。 B)寻找小票物品的替代位置’重新尝试在本地购买,但您当前的商店缺货’C)在非虚拟世界中遇到了新的有趣的事物(没有’不一定暗示购买意图)。

    无论如何,我不会 ’t将这些行为中的任何一个定性为消费者购物/购买行为的基石,但谁知道呢?那些喜欢购物的人’也许是因为这是自从“Priceless” ad campaign. 8^P

  14. 嗨,特洛伊,

    I’我听说过在日本等地使用照相手机,使用条形码甚至仅使用图像进行大量实验以向搜索者提供信息的实验。一世’我不确定它们可能与Google对该专利申请提出的建议有多相似。但是,将本地搜索和产品搜索与这样的视觉搜索相结合非常令人兴奋,并且我认为它确实有可能改变我们的购物方式和信息查找方式。

    希望您的假期愉快!

  15. 嗨尼克,

    我认为,基于许多类似的想法,我们会从Google看到更好的视觉搜索。唐’不知道您是否从Google那里获得了这份白皮书,但是’s worth a look:

    用于产品图片搜索的PageRank.

    Google在这方面仍有许多工作要做,但是Google Goggles的发布似乎表明他们’我已经取得了长足的进步。我认为这将对图像最终如何在搜索结果中排名以及图像如何影响网页的自然排名产生影响。

  16. 嗨,戴夫,

    我认为让我着迷于Google在此专利中展示的东西的是,可以离线购物,并在购物时通过手机上的可视搜索做出有意义且明智的决定。大多数商店只能携带如此多的产品选择,而在手机上进行搜索可能会加强您购买商品的决定’在您面前,或者选择在遇到购买决定时可能会找到的替代品。

    如果进行搜索的能力归结为按下按钮拍照。’人们更有可能这样做。它’尝试在小型电话上进行文本搜索并浏览许多不同的网站来查找评论非常笨拙。使该过程变得相当容易可能会产生重大影响–我怀疑我们将有机会在不久的将来找到答案。

  17. @法案

    我同意,当各方履行职责时,看到各方如何做出反应无疑会很有趣,我相信您会在两个方向上都有反应。

    brgds,莫滕

  18. 嗨,莫顿,

    谢谢。 Google护目镜似乎是一个不错的开始– I’我想知道本专利申请中描述的过程是否会超越Google迄今为止所做的工作。

  19. 这对于比较事物的价格真的很好。这对于在ebay上出售商品的人来说非常有用。他们将能够查看当前正在网上购买的商品,并确定是否值得转售。

  20. 这很重要。周围有一些iPhone应用程序,但我听说其中一些正在破坏它们,我不知道这是真的。

  21. 嗨人查找器,

    I’我是比较购物的忠实拥护者,如果Google确实朝着这个过程迈进,那么我将非常乐于以这种方式使用它。

    至于使用此工具比较价格的人,例如eBay上的卖家,我’m all for this kind of business intelligence as well. 您 go to a garage sale, and see something that you think looks interesting –为什么不拍张照片,看看Google是否可以告诉您一些信息?

  22. 嗨,NiceBlogger,

    我完全赞成你–我认为,随着Google能够更好地根据图像所包含的内容而不是页面上的替代文本和标题以及其他内容来识别图像,它将围绕人们优化搜索图像的方式发生变化。我还认为,对于许多电子商务网站所有者来说,以不同角度拍摄多个产品的多个图像将是有益的。

  23. 嗨奥伦,

    感谢您的注意,以及新的链接。

    I’我想知道为什么也要删除它。我也确实在WIPO找到了一个链接,并将其包含在我的帖子中。

  24. 实际上,不久前我在电视上看到了一些相关信息(我认为是cnbc)。他们向您展示了如何为诸如金门大桥之类的东西拍照,如果一切都按计划进行,它将为您拍下(GGB)的照片以及有关它的各种信息。

  25. 刚遇到这篇文章。它’已有一段时间了,Google仍然没有’t发布了这项技术。什么时候出来的吗?

  26. 感谢您的回应条例草案!我真的看到了这项技术的兴起。我认为它’这样做的话会很棒!我很快看到google尝试进入商业领域(即尝试购买Groupon的尝试),并对其进行了升级“products”搜索..热爱创新!谢谢回复。

  27. 嗨,奥利弗,

    您’re welcome. I’ve been finding myself looking up more and more 产品展示 while looking at them in the stores I’我在逛街,看看是否能找到评论。如果我能拍摄条形码的图片,将会容易得多。我想我们’将来会有更多的人这样做。

评论被关闭。