StableDiffusion加chilloutmixni真人图片生成模型,AI绘图杀疯了
上期图文教程,我们分享过AI绘图大模型Stable Diffusion以及中文版本文心AI绘画大模型的基础知识以及代码实现,截至到目前为止。Stable Diffusion模型已经更新到了V2.1版本,其文生图大模型也越来越火,其在2022年底,由AI绘制的图片被荣为国际大奖,让大家对AI绘画大模型也越来越关注,只是被突然杀出来的ChatGPT抢了风头,本期我们基于Stable Diffusion webui开源项目,介绍一下最近大火的Stable Diffusion模型。
Stable Diffusion模型+chilloutmixni
stable-diffusion-webui
Stable Diffusion是一种扩散模型,可以经过训练,使用文本进行图片的生成任务,很多基于Stable Diffusion模型的训练模型已经发布,最近比较火的便是chilloutmixni(一个真人图片生成模型)与lora模型(一种风格模型),2种模型可以搭配使用,由于Stable Diffusion模型开源的是源代码,针对普通非程序员,交互起来,不是很友好,这不,基于Stable Diffusion的UI可视化项目也同步开源,其中最著名的便是如下开源webUI。https://github.com/AUTOMATIC1111/stable-diffusion-webui# UI开源
stable-diffusion-webui
stable-diffusion-webui项目是基于stable-diffusion开源的可视化界面,我们可以直接在浏览器上面运行stable-diffusion,基于可视化的效果,我们可以很容易的控制各个模型的参数。目前很多基于stable-diffusion-webui项目开发了很多插件,包含汉化插件,controlNet等。https://github.com/Stability-AI/stablediffusion
安装stable-diffusion-webui,其官方也有很多相关的教程,本期我们就基于Google colab运行环境进行介绍,关键是stable-diffusion需要大量的GPU,其colab有免费的GPU资源可以使用,我们就基于Google colab来安装stable-diffusion-webui。
stable-diffusion-webui安装
stable-diffusion-webui的安装,我们直接使用git指令来复制整个工程!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git %cd stable-diffusion-webui !git clone https://github.com/Stability-AI/stablediffusion repositories/stable-diffusion-stability-ai
首先我们需要复制整个stable-diffusion-webui工程,然后进入stable-diffusion-webui文件夹中,再复制Stability-AI相关官方代码库,以上2个工程便可以成功运行stable-diffusion-webui程序了。
然后我们安装相关的第三方库!pip install -r requirements.txt !pip install open_clip_torch !pip install k_diffusion !pip install taming_transformers-rom1504 !pip install fastapi=0.90
首先我们需要安装requirements要求的第三方库,理论上安装requirements要求的库后,真个工程就可以正常运行,但是整体模型运行下来还需要安装如下四个库,且fastapi的版本需要为0.90,然后我们就可以正常运行整个工程了。!pip install open_clip_torch !pip install k_diffusion !pip install taming_transformers-rom1504 !pip install fastapi=0.90
在运行整个工程之前,由于我们需要使用chilloutmixni真人模型,因此需要下载此模型,在Google colab里面,我们可以使用如下代码来下载chilloutmixni模型。!curl -Lo chilloutmixni.safetensors https://huggingface.co/nolanaatama/chomni/resolve/main/chomni.safetensors
下载完成的chilloutmixni模型,需要放置到如下文件夹下stable-diffusion-webui>>models>>stable-diffusion
当然,若有lora模型,需要放置到如下文件夹下stable-diffusion-webui>>models>>Lora
当模型下载完成后,我们便可以使用如下代码来运行整个工程了,代码会自动安装相关的库以及自动下载相关的模型文件。!python launch.py --share --xformers --enable-insecure-extension-access
Python 3.9.16 (main, Dec 7 2022, 01:11:51) [GCC 9.4.0] Commit hash: 3531a50080e63197752dd4d9b49f0ac34a758e12 Installing xformers Fetching updates for Stable Diffusion... Checking out commit for Stable Diffusion with hash: 47b6b607fdd31875c9279cd2f4f16b92e4ea958e... Cloning Taming Transformers into repositories/taming-transformers... Cloning K-diffusion into repositories/k-diffusion... Cloning CodeFormer into repositories/CodeFormer... Cloning BLIP into repositories/BLIP... Installing requirements for CodeFormer Installing requirements for Web UI Launching Web UI with arguments: --share --xformers --enable-insecure-extension-access 2023-03-11 10:51:02.869144: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags. 2023-03-11 10:51:06.507725: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library "libnvinfer.so.7"; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/lib/python3.9/dist-packages/cv2/../../lib64:/usr/lib64-nvidia 2023-03-11 10:51:06.508205: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library "libnvinfer_plugin.so.7"; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/lib/python3.9/dist-packages/cv2/../../lib64:/usr/lib64-nvidia 2023-03-11 10:51:06.508233: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly. Calculating sha256 for /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmixni.safetensors: 7234b76e423f010b409268386062a4111c0da6adebdf3a9b1a825937bdf17683 Loading weights [7234b76e42] from /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmixni.safetensors Creating model from config: /content/stable-diffusion-webui/configs/v1-inference.yaml LatentDiffusion: Running in eps-prediction mode DiffusionWrapper has 859.52 M params. Downloading (…)olve/main/vocab.json: 100% 961k/961k [00:00<00:00, 6.44MB/s] Downloading (…)olve/main/merges.txt: 100% 525k/525k [00:00<00:00, 3.82MB/s] Downloading (…)cial_tokens_map.json: 100% 389/389 [00:00<00:00, 92.5kB/s] Downloading (…)okenizer_config.json: 100% 905/905 [00:00<00:00, 305kB/s] Downloading (…)lve/main/config.json: 100% 4.52k/4.52k [00:00<00:00, 668kB/s] Applying xformers cross attention optimization. Textual inversion embeddings loaded(0): Model loaded in 76.3s (calculate hash: 45.7s, load weights from disk: 0.8s, create model: 3.1s, apply weights to model: 17.6s, apply half(): 1.3s, load VAE: 7.0s, move model to device: 0.6s). Running on local URL: http://127.0.0.1:7860 Running on public URL: https://61087ab0-8f51-5aee.gradio.live
stable-diffusion-webui
代码运行完成后,我们在最后一行,就可以看到一个public URL ,点击这个URL,就会跳转到一个webui界面了(上图)。由于我们下载了chilloutmixni模型,这里系统会自动检测到此模型,并默认使用此模型。
通过以上的webui界面,我们就可以输入相应的文字,或者上传自己的图片进行文字生成图片,或者图生图的操作了,总结一下其webui界面的安装过程主要包含四步1、git clone 2个工程 2、安装其第三方库 3、下载需要的模型文件 4、运行webui
通过以上4步,便可以正常运行stable-diffusion-webui项目了,关于stable-diffusion-webui项目的参数设置,模型文件的使用,其他插件的使用,我们后期进行分享。
肝不好,皮肤先知道,一方5味药,排毒养肝,淤血越少,寿命越长肝净脸才净,5味药,排肝毒,淤血消了,斑也消了,年轻10岁俗话说女人肝净就漂亮,男人肝净就强壮,肝脏是人体重要的排毒器官,如果长期肝不好,从人的外表皮肤就知道了。最近接到一位患者,
女排世锦赛16强复赛埃格努砍27分,意大利女排3比0战胜中国女排2022年女排世锦赛16强复赛E组意大利女排vs中国女排,意大利女排14人名单主攻(4人)塞拉,彼得里尼,小菠菜蒂,真纳里。副攻(4人)达内西,博尼法西奥,奇里切拉,卢比安。接应(
敬佩!罗伊琼斯出资帮助低迷的中国职业拳击,为国内拳手延续梦想2022年已走过大半,中国职业拳击再次经历了十分难熬的一年,日前徐灿输给墨西哥新星贝尼特斯的一战让人们开始重新审视中国职业拳击的未来该何去何从,相信国内的广大从业者也在考虑这个问题
中国好声音2022全国5强诞生,周菲戈淘汰,李楚楚晋级难服众中国好声音2022五强争霸赛落下帷幕,最终,梁玉莹潘韵淇王泽鹏蔡子伊李楚楚成为五强学员,将向最后的总决赛发起冲刺。今年的好声音赛制发生了重大变化,从导师队内考核开始就已经大大改变,
美国国债又飙升,即将突破上限,谁知中国转头传来好消息美国为了缓解国内的经济状况,通过持续加息吸引资金回流,一时间美元汇率呈上涨趋势,连带着多种货币倒了大霉,大幅贬值。但美国的危机仍然存在,除却严重的通货膨胀外,债务危机也是威胁美国经
暗影火炬城拥有中国底气的游戏暗影火炬城虽然是一部符合主流商业需求的作品,但却有着我在众多国产游戏作品中很少见到的浪漫不追求优雅,执着于机器的轰鸣声管道上的污油齿轮啮合搅动时沉闷的力量感体现钢铁与肉体碰撞的主角
中国人,都逃不过海天酱油作者猫哥来源大猫财经最近,海天味业火了。要说这个时间点也很凑巧,上个月,有一个科普达人辛吉飞在全网旋起一阵风,拍的视频全是食品造假揭秘,还和中国食品报互怼,然后他发布了一段跟抖音客
云南旅游跟团后果,请谨慎观看作为一名爱到处跑的妹子,这两年出去玩踩的坑,也非常非常多了,最后总结出来跟团玩的话一定要跟当地团,这样可以很大概率避免踩坑,国庆前我们去云南耍也是一样,国旅的朋友帮我推荐了一家本地
暑期出游打卡云南石林十宗最来源人民网云南频道炎炎夏日,七彩云南,凉爽石林。大自然的鬼斧神工造就了美丽神奇的石林,这里被誉为上帝的盆景大自然的雕塑博物馆,集世界自然遗产世界地质公园国家级风景名胜区国家5A旅游
距九江110公里处,深藏一处原始森林,有着东方亚马逊的美誉文章为唐sir骑马探世界原创,版权归作者所有,欢迎个人分享转载。导语踏遍万水千山,寻遍世间美景,关注唐sir,你的旅途将不再孤单,带你游遍大千世界,看尽世间趣闻乐事。提及江西,你首
成就展看云南丨如今的洱海水更清了如今,洱海碧波荡漾,海菜花美丽绽放,苍山不墨千秋画,洱海无弦万古琴的自然美景让人流连忘返。10月9日,奋进新时代主题成就展云南展区内,来自北京市公园管理中心的观众正认真听着讲解,一