AI如何变革家居软装?拍图就能搜商品,深度学习平台飞桨新玩法

金融理财 浏览(1063)

随着消费者互联网流量红利的逐渐枯竭,移动互联网的主战场转向工业互联网,家庭行业的3D数字化进程也大幅提升。业界已经开始存储与真实产品相对应的大量3D模型数据,以及如何应用实际产品的3D数据。多维特征对于改善消费者的购物体验很重要。

当国内房地产交付给房屋时,粗糙房屋和精装房之间存在区别。

img_pic_1559639992_0.jpg

图(空白房间)

img_pic_1559639992_1.jpg

图(精装屋)

)表明90%的消费者群体将在软装饰之前搜索互联网。但是今天,线下商店仍占销售额的80%,网上流量无法直接转化为消费者行为,是行业的一大难点。如何结合线上线下优势,优化资源配置,快速实现线下家居产业的“演进”,成为家居企业发展的重中之重。

然而,离线家庭产业的发展存在许多困难:

从消费者的角度来看,大爆炸时代的内容是如此复杂,以至于很难在网上直接搜索效果图,或者很快找到线下的家居产品。即使您搜索,也很难想象实际尺寸,放置效果等。在“按照地图”访问实体店时,会出现零散的商店,零散的产品,费时费力的问题。

img_pic_1559639992_2.jpg

从家居行业商家的角度来看,虽然在线销售渠道逐渐丰富,但随之而来的是大量卖家涌入在线平台。在线流量激烈,股息减少。该产品是2D图片,用户体验不佳。

img_pic_1559639992_3.jpg

综上所述,随着新零售,大家庭,互联网家居装修等新理念的新概念,“在线+离线”双向整合家装营销模式更符合行业发展趋势。引导消费者通过效果图直接实现消费者行为,这是产业创新的关键。

近年来,随着卷积神经网络(CNN)所代表的深度学习模型的广泛应用,这些问题得到了很好的解决。

子视图范围使用PaddlePaddle,它将更快的R-CNN应用于渲染的真实产品检测,并结合可视化技术(Web3D,混合现实,全景云)为消费者带来高质量的视觉感知服务。图搜索商品。

PaddlePaddle是一个技术领先且功能齐全的开源深度学习平台,集成了深度学习框架,工具组件和服务平台。它拥有全面的官方支持的工业应用模型,涵盖自然语言处理。计算机视觉,推荐引擎等领域,并开设了一些领先的预训中文模型。

有关PaddlePaddle的更多信息,请参阅:

在下文中,我们将详细介绍PaddlePaddle如何与更快的R-CNN结合,以实现搜索商品的功能。

什么是更快的R-CNN

更快的R-CNN可以被视为特征提取网络,快速R-CNN和区域提议网络(RPN)的组合。根据相关数据,地图搜索产品的搜索精度将根据对象类别分为三类:

1,平面物体,如图案,装饰画等,准确率可达到95%以上;

2,立体刚性物体,如立体声家居模型,准确率在80%以上;

3.对于柔性或有纹理的单个物体,例如纺织品,单个纹理物体等,识别相对困难。

目前,图像搜索可以在一些垂直领域成熟应用。但是,“一切搜索”仍有改进的余地。然而,对于家庭工业,商品基本上显示在平面物体和三维刚性物体上,因此可以在搜索中实现高精度。

img_pic_1559639992_4.jpg

家居商品检测方法

渲染对象检测

在地图中搜索商品将解决文本搜索无法准确描述场景的问题,例如海涛搜索商品时语言的不对称性,以及在实时场景中看到最喜欢的产品的情况。信息是不对称的。但是,如果要解锁渲染并提取家具,我们需要使用对象检测。目的是在渲染中分离每件家具,并识别盒子中的沙发。茶几,电视柜,床和其他家具类。

img_pic_1559639992_5.jpg

图(效果框架选择家具识别类别)

目标检测的第一步是使用区域提案,类似于光学字符识别(OCR)。简单地说,它被切碎到一个小的连接域,然后根据相邻块的一些形态特征合并。因此,在某种程度上,区域提名是一个更加困难的问题。

从机器学习的角度来看,问题的核心在于如何有效地去除多余的候选区域。事实上,冗余候选区域大多重叠,并且选择性搜索利用它来从下到上合并相邻的重叠区域。减少冗余。

单品搜索功能

通过对象检测,我们可以提取渲染图来获取家具项目和项目类型。假设我们提取了床型的项目图纸。

img_pic_1559639992_6.jpg

图(床搜索原始图像)

输入单个产品图并键入以快速查找类似产品

img_pic_1559639993_7.jpg

感知哈希算法的应用

感知散列算法是具有可比较的散列函数的类,并且图像特征用于生成可比较的唯一(但不唯一)指纹。要提取家具图像的哈希值,我们需要执行以下步骤:

1.缩小尺寸:去除高频和细节的最快方法是减少图像并将图像缩小到8x8尺寸,共64像素;

2.简化颜色:将8 * 8个小图像转换为灰度图像;

3.计算平均值:计算所有64个像素的灰度平均值;

4.比较像素灰度:将每个像素的灰度与平均值进行比较。大于或等于平均值,记为1;小于平均值,记为0;

5,计算哈希值:组合在一起,它构成一个64位整数,这是这张图片的指纹。

img_pic_1559639993_8.jpg

3D数据收集

实时渲染技术用于快速生成每个家庭3D模型的不同角度的数十个图像数据,并将复杂背景混合以提高训练后的识别准确度。

img_pic_1559639993_9.jpg

图(多角度图像示例)

基于三维模型,我们还可以收集更多维度的数据集,如颜色表,材料信息和产品的尺寸信息,为随后的智能推荐算法的软匹配奠定了基础。

学习不同深度的框架

首先,我们首先尝试了Google的TensorFlow深度学习框架,但在测量了本地化支持,开发人员支持以及随后的商业化潜力后,我们决定无缝迁移到百度的PaddlePaddle。

由于之前的《次元视界》已经基于TF的Fast RCNN用于大量数据链接近三个月,我们转向PaddlePaddle并得到以下发现: PaddlePaddle支持模型并行性和数据更完美。并行多机培训。因为我们的数据是每个家庭3D模型的数十个图像数据和不同角度的大型模型,包括所有类别的大型家庭,这意味着需要处理超过几TB的数据。

PaddlePaddle操作占用的内存很少,速度很快,并且支持并行性,非常适合我们的工作负载。经过一周的训练,我们的模型轮廓识别准确率达到89%,高于TF5%识别率,误报率(FPR)也降低了32%。

img_pic_1559639993_10.jpg

总结

在工业互联网时代,互联网平台拥有更多的数据量,相关的处理,计算,分析等实用基础更加完善,从而帮助企业实现数字化转型。卷积神经网络具有多级语义表达能力。由不同层提取的图像特征具有不同的含义。选择不同的卷积层将提取不同级别的特征,这在未来的开发中是非常有利的。

该应用以家居行业效果图和真实商品库为研究对象,全面考虑消费者软包装和购买的特点,并开始用效果图搜索家庭3D商品数据库数据集,并扩大样本量通过3D模型的多维特征增强。可以快速解锁,检索和匹配渲染。

结合维度视图的三维模型自动化处理技术,可以构建世界各地的各种模型共享网站作为数据集,可以获得数百万个家庭模型和数百个类别,涵盖全球家庭的产品类别和外观。

将来,基于3D数据的样本系统可以最大化累积用户数据的使用。计算机将构建和推测用户的需求模型和各种解决方案模型,以主动筛选出最佳内容,这将在未来扩展到精确度。它可以与公寓类型,最喜欢的家庭软件套装和智能推荐系统相结合,并成为一个全新的家庭交通门户。