全新「多模态」生图AI文字渲染暴打Midjourney+DALL·E 3！5亿融资Karpathy都投了

  新智元报道  

编辑：润 好困

【新智元导读】Ideogram凭借不输Midjourney的生图能力和遥遥领先的图片中文字渲染能力，获得了包括Jeff Dean和Karpathy在内一众大佬的8000万美元融资，文生图这条离钱最近的AI赛道又加入了一名重量级选手。

文生图领域作为一个跑出「10人团队年收入过亿美金初创公司」的赛道，已经成了AI创业公司掘第一桶金的最佳起点。但是在谷歌，微软等大厂都已经花了大量资源去布局的领域，留给初创公司的机会到底在哪里？最近一家名为Ideogram的文生图工具，凭借优秀的文字渲染能力，成功融资8000万美元！包括Jeff Dean和Andrej Karpathy在内的一众硅谷大佬和知名机构都是它的投资人。只要在prompt里将文字打上去，就能非常自然可控地出现在生成的图片中。而且生成的图片不仅能简单的以平面文字的形式出现在图片之中，还能根据用户的要求，生成自然的悬浮文字，或者是立体的文字。甚至用一句提示词，它能直接给你画出图文高度配合的梗图！

文生图也能做出「多模态」

而图片中的文字生成，一直以来是各大生图AI做不好的痛点。

如果要求图片中有某些确定的文字，需要在生成图片之后还要花费很多后期的加工。而Ideogram对于生图文字的控制能力，不仅在对比数据上比DALL·E 3要好出不少。实际生成的带有文字图片也是非常自然。文字可以像很多商业广告一样自然的悬浮在图片上，也可以和图片中的物体自然地融为一体。像这种配文字的电影海报级的图片都可以直接一步生成。而漫画形式的配图文字也同样不在话下。用户可以非常精准地将自己想要表达的文字内容和各种风格的图片组合在一起。除了能严格按照作者的要求生成精准的文字，甚至像开头的梗图一样，它能按照图片的设定无中生有的配上契合图片的文字。简直成了另一种形式的多模态模型。

普通的生图能力也是行业顶尖

而除了最优秀的文字渲染能力之外，作为生图工具，它在其他方面的表现也毫不逊色于行业顶尖水准。

Ideogram 1.0 可在理解冗长、复杂提示词的同时生成清晰、细致的图像。宛如相片一样的海报对于各种动物以及奇怪组合的完美呈现能力。逼真的照片级图片生成能力，足以以假乱真。也能准确地生成复杂的手部动作。人物表情，光影都非常和谐。而且它还能通过工具，配合提示词，控制主要内容在图片中生成的形状和范围。Ideogram 1.0 除了能够生成照片级逼真的图像，对于超自然的风格的图片也有很强的表现能力。Ideogram 1.0还提供了一个名为「Magic Prompt」的功能，可以自动增强、扩展和翻译用户的提示，大大降低用户生成精美的创意图片的门槛。原提示：创建一个关于猫的有趣的表情包
增强提示： 以一只表情惊讶的波斯猫为主题的备忘录。猫的眼睛睁得大大的，让人觉得它很震惊或很有趣。背景是其他猫咪摆出的各种姿势的彩色拼贴画，主题为 「当你意识到猫咪已经占领互联网时」。整个画面轻松幽默，展现了网上对猫的持久热爱。有了这个功能，表情包可以直接出图片了：提示：  👻🎃💀。
增强提示： 一个幽灵、万圣节灯笼和骷髅的恐怖万圣节场景。鬼魂穿着破旧的长袍，漂浮在南瓜之间，而南瓜灯则露出顽皮的笑容。背景中，一个戴着高帽的骷髅站在鬼屋附近。月亮在画面上洒下银色的光辉，气氛既阴森恐怖又充满童趣。Ideogram 1.0本身也很擅长解释复杂的提示。每个对应的图像准确地反映了其提示的每个细节：这是一幅迷人的全家福，一个纯色哑光红色球体圣诞礼物栖息在一个蓝色立方体包装的圣诞礼物上，一棵鲜艳的绿色圣诞树矗立在它们身后，树底缠着一块绿布。右边是一只好奇的小狗，左边是一只可爱的猫咪。一只完全由香脆炸鸡制作而成的公鸡，如电影般逼真。它的身体覆盖着一层金黄色的外壳，淋上番茄酱，羽毛上还点缀着完美烹制的热气腾腾的炸薯条。公鸡的眼睛是由两个又小又圆的番茄酱斑点组成的，它的喙是由一块香脆的鸡皮制作而成的。场景的背景是一家灯光昏暗的复古餐厅，霓虹灯和格子桌布为餐厅增添了怀旧和奇特的氛围。书房里的两个男人。左边的男子站着，身穿长外套和花纹衬衫，手持拐杖。他面容邋遢，留着胡子。右边的男人坐在椅子上，身着正装，手持拐杖。他们身后的墙上挂着一幅装裱好的男子肖像。房间里有华丽的窗帘和铺着地毯的地板，给人一种复古的感觉。而根据 DALL·E 3 这样的评估标准，人类评估者在提示对齐、图像连贯性、整体偏好和文本渲染质量方面Ideogram 1.0，比 DALL·E 3 和 Midjourney V6还更收到欢迎。

免费额度大，订阅价格也不贵

有如此强大的能力，但是他的收费却非常亲民。

免费用户每天能使用25个提示词，生成100张图。8刀一个月的用户每天可以生成100个提示词，400张图。20刀一个月就可以无限使用，确实是价格不贵量又足。

最新实测：Ideogram VS Midjourney

显然，想要在文生图这个领域与现有的竞争者抗衡，挑战堪称天花板的Midjourney V6是避无可避的。

根据大佬Sorin Ciornei的最新测试，Ideogram 1.0和Midjourney相比，也不落下风。

Test 1：奥黛丽-赫本饰演的小丑

用一个简单的提示生成一个包含赫本和小丑的人物图片。

提示非常含糊，因为没有特别需要的图片细节。可以说双方生成的效果不相上下。

Test 2：真实摄影

在作者看来，Ideogram生成的第一张图碾压了所有其他图片。

Test 3 ：想象力

这个测试考验的是AI的想象力，因为在没有任何细节的情况下，图片 AI 要决定加入什么元素以及如何让图片看起来超现实。

Midjourney确实更胜一筹。

Test 4：风格碰撞

现实和复古主题的碰撞似乎Midjourney做得更好。

必须将黑白摄影与彩色鸭子混合在一起，让Ideogram有点不知所措。

Test 5：全息投影

Midjourney的全息效果不太清晰，但是画面风格比较一致协调。Ideogram全息效果比较正常，但是整体画面割裂感比较强。

双方算是各有所长的但是整体上表现都不太好。

Test 6：官方案例实测

在官方放出的例子中，Midjourney似乎表现要更好一些，图中有更多的细节，风格也更真实一些。但是双方的差异似乎不大。

Test 7：Logo

作者又测了测需要带有文字的logo生成，虽然Ideogram的logo似乎也不能拿来就用，但是它至少符合要求，有明显的文字效果，而Midjourney似乎就完全没有体现出文字内容。

Test 8：用魔法提示完成Logo

作者还测试了官方提供的「魔法提示功能」，它把用户输入的提示变得更加详细。

他用这个Logo的提示再次对比了两个工具的生成效果，从创意的角度，似乎Ideogram更好。

Test 9 ：梗图&表情包

而Ideogram强大的文字能力简直是生成梗图的利器，而它强大的文字功能在这里体现得淋漓尽致。

Midjourney完败。某种程度上来说，他的能力似乎都接近一个多模态「图+文」的模型了参考资料：https://about.ideogram.ai/1.0https://medium.com/thereach-ai/ideogram-1-0-9-tests-to-see-how-it-matches-midjourney-7dfd17ff3f57