Press "Enter" to skip to content

Category: DeepLearning

根本停不下来!给它一个轮廓,TensorFlow还你一只完整的喵

只要画出一个轮廓,人工智能就能自动根据你给出的轮廓画出喵星人来。 本文首发于大数据文摘公众号(微信ID:BigDataDigest)作品,转载请联系zz@bigdatadigest.cn,作者:Aileen,姜范波 说起人工智能,最经常被人提起的案例就是可以训练机器分辨图片哪些是猫那些是狗。这两天人工智能圈继续拿毛孩子们搞事情,火了一个叫做edges2cats的玩意儿。一个叫Christopher Hesse的人用大约2000张猫的图片和从这些图片自动产生的边缘线进行训练,做了一个网页版小应用:只要画出一个轮廓,人工智能就能自动根据你给出的轮廓画出喵星人来。作者本人亲自示范如下,是不是可爱炸了!? 这个插件只是一系列项目的一小部分。整个项目开发了一个用TensorFlow的pix2pix接口(https://github.com/phillipi/pix2pix),并建立了一些训练好的模型,搭建了一个互动网页来测试它们。Pix2pix 模型通过用配对图片进行训练,比如建筑物的名称与其外观照配对,然后对任何输入的图片,输出对应的图片。这个想法源自Phillip Isola写作的非常棒的论文。(https://arxiv.org/abs/1611.07004)除了轮廓画猫之外,还有轮廓画包包,轮廓画鞋子,等等。之所以这个插件最出名当然是因为广大技术宅男宅女对毛孩子们的热爱啦,谁不想分分钟画出自己心目中的小猫咪呢?大家纷纷晒出自己的成果(和很醉人的画风),整体效果还是不错的: 之后就有点被玩坏了… 还有这些(喂,让你画猫啊谁让你乱画的)…… 作者解释了有些图片看着非常诡异,大概是因为当一个动物看起来不太对劲,尤其是眼睛附近不太对劲时,很容易觉察到。自动产生的边缘线并不是很完美,很多情况下检测不到猫的眼睛,使得图片翻译效果差强人意。 比如下面的Hello Kitty要哭晕了: 看到这里你是不是也跃跃欲试了呢? 请戳https://affinelayer.com/pixsrv/,建议使用Chrome 浏览器。 这里我们也简单介绍一下其他的小插件,有兴趣的话也可以去试试哦。 Facades画建筑物: 用建筑物的外观图片与其对应的标签图进行训练,虽然看起来它似乎对大片的空白无所适从,但是如果有足够多的窗户,则通常可以得到不错的结果。如果想清除一些不想要的东西,在上面画“墙壁”颜色的长方形即可。 edges2shoes画鞋子: 用Zappos收集的大约5万张鞋子图片及基于这些图片自动生成的边缘线图片集训练而成,如果你很擅长画鞋子的边缘线,那么你可以试着做一些新的设计。记住,用于训练的图片是基于真实物体,所以如果你能够画3维立体画,效果会更好。 edges2handbags画包包: 与前面的鞋子相似,用亚马逊收集的含有约13万7千张的包包图片及其对应的边缘线图片进行训练,如果在这里你画一只鞋子,而不是一只包,那么你会得到一个花纹非常怪异的鞋子。 如果你对开发技术有兴趣: 这些模型可以用pix2pix.py进行训练,并从pix2pix-tensorflow(https://github.com/affinelayer/pix2pix-tensorflow)中导出。测试版的交互界面通过Canvas API用javascript写成,通过TensorFlow与后端运行图片的服务器对话。后端服务器既可以本地运行Tensorflow,也可以将请求转发给谷歌搭载TensorFlow的云端服务器Cloud…

Leave a Comment

移动设备上实现“诗人”也能用TensorFlow

TensorFlow移动团队的技术主管讲解TensorFlow 编者注:本文来自微信公众号“OReillyData”(ID:OReillyData),本文原始刊登在Pete Warden的博客里, 授权转载。 在《诗人也能用TensorFlow》那篇博文中,我介绍了如何使用你自己的图片来训练一个可识别图片对象的神经网络模型。接下来就是将这个模型运用到你的移动设备中。在这篇文章中,我会介绍如何在你的iOS应用程序中运行这个模型。 可以通过下面的视频及注解了解详细的操作步骤,点击查看视频。 我假定你已经完成了《诗人也能用TensorFlow》的步骤。 所以你应该已经安装了Docker, 并在home路径下创建了一个tf_files的文件夹。这个文件夹里有一个包含你的模型的retrained_graph.pd文件。 如果你还没有完成以上步骤,你需要按照《诗人也能用TensorFlow》教程示例来完成你自己的模型训练。 第一步,打开Docker QuickStart Terminal并利用最新的Docker镜像启动一个新的Docker容器。 本教程依赖了一些TensorFlow的新特性,所以用于《诗人也能用TensorFlow》的v0.8版镜像不能用了。 docker run -it -p 8888:8888 -v $HOME/tf_files:/tf_files tensorflow/tensorflow:nightly-devel 你应该可以看到自己在一个新的shell窗口中,提示符以“root@”开头,以“#”结尾 ,这表示你已经运行在Docker镜像中了。为了确保设置正确,请运行ls -lah…

Leave a Comment

技术大咖教你用TensorFlow为图片添加字幕

图片字幕生成模型结合了近年来计算机视觉和机器翻译方面的进步,通过使用神经网络来生成现实图片的字幕。 编者注:本文来自微信公众号“OReillyData”(ID:OReillyData),本文相应的Python代码和iPython notebook都在GitHub上,我们邀请你去访问。 如何使用TensorFlow来构建和训练一个图片字幕生成器: 图片字幕生成模型结合了近年来计算机视觉和机器翻译方面的进步,通过使用神经网络来生成现实图片的字幕。对于一个给定的输入图片,神经图像字幕模型被训练来最大化生成一个字幕的可能性。可以被用来产生新颖的图像描述。例如,下面是用MS COCO数据集训练的一个神经图像字幕生成器所产生的字幕。 图1. 来源:Paul Puri。图片来自MS COCO数据集 在这篇文章里,我们会介绍一个中级程度的教程,教大家如何使用谷歌的“Show and Tell”模型的一种变形和Flickr30k数据集来训练一个图片字幕生成器。我们使用TensorFlow的框架来构建、训练和测试我们的模型,因为它相对容易使用而且也有一个日益庞大的在线社区。 为什么要生成字幕? 近年来在计算机视觉和自然语言处理任务上应用深度神经网络的成功激励着AI研究人员去探索新的研究机会,交叉连接这些之前互相独立的领域。字幕生成模型就必须去对视觉线索和自然语言的理解进行平衡。 这两个传统上无关的领域的交叉有可能在更大的范围内产生变革。这一技术现在已经有一些很直接的应用。比如,为YouTube视频自动生成摘要或是标注未标记的图片。而更多的有创造力的应用则会大幅度提高一个更广泛的人群的生活质量。与传统的计算机视觉试图去让计算机能更好地接触和理解这个世界一样,这一新技术具有进一步让这个世界对人类更加可达与可理解的潜力。它可以是一个导游,甚至可以成为日常生活的一个视觉帮助服务。比如意大利的AI公司Eyra所开发的Horus可穿戴设备所展示的这个场景。 需要一些安装工作 在我们正式开始前,需要先做一些整理工作。 首先,你需要安装TensorFlow。如果这是你第一次使用TensorFlow,我们推荐你先看看这篇文章《你好,TensorFlow!从零开始构建和训练你的第一个TensorFlow图》。 你需要安装pandas、OpenCV2和Jupyter库来保证相关的代码可以运行。不过为了简化安装的过程,我们强烈推荐你使用与本文关联的GitHub库里的这个Docker安装指南。 你还需要下载Flickr30k图片文件和图片字幕数据集。我们的GitHub库里有也提供了下载链接。 现在,让我们开始吧! 图片字幕生成模型 图2. 来源:Shannon…

Leave a Comment