秒画AI网站(https://miaohua.sensetime.com/)是商汤科技推出的免费AI绘画创作平台,以下是其功能的详细介绍:
一、技术原理 秒画基于深度学习算法和海量的图像数据训练模型。通过对不同风格绘画特征及文字与图像对应关系的深度学习,使其能准确理解用户描述并迅速生成相应画作。
二、主要功能
- 文本生成图像
- 用户在平台输入描述性文本,秒画AI就能生成相应图像,不具备专业绘画技能的用户也可创作。生成图像质量高,支持最高6K高清分辨率。
- 图片生成图片
- 用户上传图像,可转换生成相似但风格不同的图片,满足个性化创作需求。
- ControlNet精准控制
- 支持用户上传本地图像,结合商汤自研作画模型或者开源模型来训练定制化的LoRA模型。
- 具体应用场景包括姿势控制:根据用户上传的人物图片,提取人物的骨骼姿态,生成相同姿势的图片;边缘控制:根据用户上传的图片,提取线稿,再结合文本和线稿进行重绘,可保留线稿中的设计细节;深度控制:根据上传的人物、建筑、场景等图片,提取其中的深度信息,然后结合文本和深度信息生成新的图像;法线控制:根据上传图片,预处理后获得适用于建模的法线图,再结合文本生成新图片,可保留参考图中的一些三维信息;涂鸦:根据上传的图片,提取原图中的大致轮廓,再结合文本进行着色;语义分割:根据上传的图片,进行语义分析,识别图片信息后,分割画面内容,再结合文本,对分割内容进行重绘;柔性边缘控制:根据上传的图片,提取线稿,并将线稿转换为几个不同的级别,相比边缘控制模式,会忽略一些次要细节,与原图相比,会使最终图像产生更多的变化。
- 风格多样
- 涵盖油画、水彩、动漫等多种风格,还能融合不同风格元素,使生成的作品丰富多样,满足用户的个性化审美需求。
- 细节丰富
- 即使快速生成的画作,也能呈现细腻的细节,人物神态和场景布置都刻画得很到位。
- 社区互动
- 平台是面向创作者的社区,用户可浏览、收藏、分享、评论其他用户或团队创作的图像作品,参与主题和活动,与其他创作者交流和合作。
- API接口开放
- 面向B端开放API接口,结合商汤AI大装置提供的算力,为客户提供便利、高效的服务,企业或个人开发者可集成到自己的应用或系统中。
- 易于使用
- 注册登录:进入Miaohua(https://miaohua.sensetime.com/)点击注册后,输入邮箱/手机号/绑定微信,即可生成账号。
- 创作流程:登录成功后会自动返回到网站首页,点击开始创作,在创作界面的左侧选择生成数量、分辨率、基模型、LoRA风格等,右侧输入文本描述最后点击立即生成按钮,即可获得想要的图片。
三、训练定制化LoRA模型步骤和注意事项
- 训练模型
- 点击训练模型后,可以上传本地图片,或者选择平台中个人已有的图集进行模型训练,然后根据需求进行参数设置。
- 参考图建议:对于训练人物,要保证上传的图片中人物肢体完整,尤其是头部,服装和画风统一;对于训练风格,要保持上传图片的画风一致,画面越精美效果越好;对于训练场景,要保持上传图片的内容一致。
- 图片数量:建议上传12张及以上图片(数量限制1 – 20张,每张最大5MB,支持PNG、JPG、JPEG、WEBP格式),数量越多效果越好。
- 上传模型
- 如果已经有训练好的模型或者个人偏好的其他社区模型,可以点击上传模型,目前支持通过本地文件上传(支持safeTensor或pickerTensor格式,大小不超过200MB),或者网页链接上传(支持civitai.com地址),并填写相应的模型信息。
四、常见技术问题的解决方案或故障排除指南
- 站点打不开
- 如果经常无法打开商汤秒画,可能有以下三种原因及解决方案:
- 软件屏蔽:一些软件如微信或QQ可能默认屏蔽一些站点,请使用手机浏览器打开该网址,而不是微信/QQ的内置浏览器。
- 浏览器问题:如果浏览器提示该网站违规,这并不代表网站真的违规。
- 网络问题:如果网络连接不稳定,或者使用的网络运营商并未被网站优化支持,可能会遇到访问困难。
五、应用场景
- 艺术创作
- 为艺术家提供灵感启发和快速草图生成,辅助拓展创作思路。例如,输入描述艺术风格的提示词,如梵高的星空、毕加索的立体派等,秒画会利用商汤自研的作画大模型或者其他开源模型,生成具有个性化风格和质感的画作。
- 设计领域
- 设计师可快速获得设计初稿,如海报、插画等,提高设计效率。
- 营销领域
- 可以创作符合营销需求的图像内容,如制作吸引人的宣传海报等。
- 游戏动画领域
- 能够生成游戏场景、动画角色等相关的图像,为游戏动画制作提供素材。
- 工程建筑、医学、教育科普等领域
- 帮助人们提高创造力,生成高质量的图像内容和灵感来源。例如在工程建筑领域可以生成建筑外观设计图,在医学领域可以生成解剖图等辅助教学,在教育科普领域可以生成生动的知识讲解配图等。