1.ai-structure.com：新开源 GAN to PKPM/YJK的码分自动化建模程序
2.DragGAN官方代码手把手安装部署教程
3.Hifigan感受野计算
4.如何生成CelebA-HQ数据集
5.Keras 中的 Adam 优化器（Optimizer）算法+源码研究
6.如何使用stylegan训练自己的数据?

ai-structure.com：新开源 GAN to PKPM/YJK的自动化建模程序

       在年4月日、4月日、码分5月5日和5月日，码分ai-structure.com平台连续发布了一系列重要更新，码分包括v0.0.4版本以及图神经网络在剪力墙设计中的码分应用、自动化建模源代码的码分usb传视频 源码生成对抗网络(GAN)到PKPM和YJK的转换工具。项目的码分初衷是通过AI设计建筑平面布局，随后由专业的码分结构软件进行分析和校核，以提高工作效率。码分

       其中，码分近期开源的码分代码亮点在于实现了从AI生成的结构方案到PKPM和YJK结构设计软件的自动导入功能。5月5日和更新的码分GAN-to-PKPM/YJK代码可在智能设计云平台上获取，链接位于 ai-structure.com/backen...

       新版本的码分程序能够自动处理AI设计的矢量数据(.gdt)文件，包含剪力墙、码分梁和楼板的码分详细结构信息。例如，剪力墙的数据如：SHEARWALL(Element_ID, X1, Y1, X2, Y2, thick)，梁的信息如：BEAM(Element_ID, X1, Y1, X2, Y2, thick, height)。这些数据被用于构建结构分析模型，利用PKPM和YJK的API进行进一步处理。

       在开发过程中，团队得到了PKPM和YJK技术专家的大力支持，特别需要注意的是，目前的分析模块尚未成熟，用户在使用时可能需要在结构软件中手动执行分析。此外，开发过程中遇到问题，可参考PKPM和YJK的官方群组或二次开发资料进行咨询。

       ai-structure.com团队诚邀专家一同参与代码的完善，未来会持续更新更多功能。如果你对这个项目感兴趣，可以通过QQ群或联系廖文杰liaowj@tsinghua.org.cn和费一凡fyf@mails.tsinghua.edu.cn获取更多信息。同时，网站上也提供了****。

       最后，团队表示对于PKPM和YJK的二次开发经验有限，开源代码可能存在不足，期待专家们的反馈和共同成长。未来，跑步app ios源码平台将继续关注并提供新内容，敬请关注。

DragGAN官方代码手把手安装部署教程

       在StableDiffusion尚未问世的时期，DragGAN是生成领域的领头羊。四年前，StyleGAN的发布以其“超高清且逼真”的效果震惊了众人。

       当时，我的公众号"托尼是塔克"上发布了一系列关于该项目的文章。时光荏苒，没想到这个项目还能焕发新生。

       回到正题，今天我将带领大家一步一步完成DragGAN的安装部署。

       StyleGAN的安装过程繁琐，需要安装VS、cudnn、cuda等软件，还要修改代码并配置路径等等。相比之下，DragGAN的环境配置几乎与StyleGAN3完全一致，安装过程自然也不会简单。

       我将分享我的安装流程，并记录下来，以供参考。

       如果嫌麻烦，也可以下载离线版本，一键运行。

       环境配置如下：

       操作系统：Win

       显卡：RTX

       辅助软件： CMD、Git、Conda、VS、cudnn、cuda

       显卡是GAN项目的关键硬件，不同尺寸模型所需的显存不同。RTX可完美支持x任务，一般情况下6G显存足以运行这个项目。

       关于基础软件的详细安装步骤，可参考我之前关于Stylegan2和 Stylegan3的教程。

       现在让我们开始今天的彩乐园源码搭建主题：

       1. 获取源代码

       由于这是一个开源项目，我们首先需要获取源代码。获取源代码有两种方式：命令行或直接下载压缩包。

       命令行方式：确保安装了Git工具，然后在CMD中执行如下命令：

       切换到E盘或D盘（避免C盘），进入DEV文件夹，获取DragGAN的源代码。

       压缩包获取方式：点击Download ZIP下载，然后解压至磁盘，比如E盘DEV文件夹。

       解压后，去除文件名中的“-main”。这个main曾用“master”命名，但因不尊重某类人而更改。

       2. 创建虚拟环境

       这是一个基于Python的项目，为了保证不同项目的独立性，我们将使用Conda创建虚拟环境。

       在CMD中输入以下命令，创建并激活虚拟环境。

       3. 修改配置文件

       DragGAN包含一个Conda依赖文件，可以直接用来创建虚拟环境并安装所有依赖。

       然而，这个文件在当前Windows环境下可能存在安装问题，如找不到cudatoolkit=.1。我尝试修改，但其他问题依旧。因此，我自行创建了一个requirements.txt文件，将内容粘贴其中，并放在DragGAN文件夹中，使用pip安装。

       4. 下载模型

       项目官方提供了一个下载模型的sh脚本，但Windows用户无法直接使用。解决方法是右键打开下载_model.sh文件，获取模型下载地址并下载，解压至DragGAN的checkpoint文件夹，并将模型文件名改为stylegan2_开头。

       发现了一个叫download_model.bat的文件，可以一键下载模型。注册登录源码下载

       5. 运行项目

       按照上述步骤，我们就可以运行项目了。网络通畅时，一般不会出现问题。运行如下命令启动GUI界面：

       在GUI界面上，只需点击“Start”按钮，拖拽狗子脸部，即可生成。GUI动态效果很酷，但菜单较小，有时会崩溃，模型切换也不方便。

       启动WebUI，输出网址后，打开即可查看生成的。使用方法包括选择模型、种子、点选位置并拖拽等。

       WebUI版的动态效果不如本地GUI，但最终结果相同。

       项目提供了许多高质量模型，如英伟达官方的FFHQx和human模型。生成的可保存，但与真实相比，效果参差不齐。

       了解了这些不足，这个项目仍然很有趣，可以可视化StyleGAN的使用，快速接入各种模型。如果有财力，可以自己训练模型。

       虽然项目成本高昂，但结果值得期待。至少，它将StyleGAN的使用可视化，为用户提供了丰富的模型选择。

Hifigan感受野计算

       HIFIGAN架构解析与感受野计算

       HIFIGAN主要包括生成器和判别器，而最终推理仅需关注生成器。股东增持源码生成器由conve_pre、upsample*num_kernels个resblocks、conv_post三大组件构成。

       分析模型结构，感受野大小主要受resblocks影响。resblocks由三个模块组成，每个模块包含一个空洞卷积与一个传统卷积。空洞卷积相当于卷积核变大，其视野宽度取决于diated因子。一个resblocks实质等同于六个1d卷积。

       每个resblocks由三组(diated_conv1d+conv1d)构成，diated_rates为[1,3,5]。在每次卷积前，左右pad长度为(kernel_size-1)//2。以一组(diated_conv1d+conv1d)为例，包括四个卷积层，kernel_size为3。空洞卷积的感受野大小可通过爱嘉牛LA提供的公式计算。

       总结规律，当前组所有层的卷积核大小决定最上层的感受野大小。根据公式计算，可得当前组感受野大小。

       在生成器中，通过模拟源码的卷积方式，可计算出感受野大小。基于config_v1.json配置文件，upsample_rates设定为[8, 8, 2, 2]，最终感受野为.帧。考虑到上采样后再卷积，需转换为帧的感受野大小，细节计算见源码。

如何生成CelebA-HQ数据集

       在年的ICLR会议上，nVidia发布了一篇名为"Progressive Growing of GANs for Improved Quality, Stability, and Variation"的论文，通过高分辨率GAN技术，他们创造出一个卓越的人脸数据集CelebA-HQ。nVidia展示出在高清晰度生成领域的能力，如pix2pixHD和vid2vid，后者甚至在价值万美元的DGX-1上进行训练。CelebA，由香港科技大学汤晓鸥团队收集，包含约万张，包括人脸特征点和属性信息，详细资料可在[1]和[2]了解。CelebA-HQ是CelebA的增强版，共3万个*像素的，效果惊艳（具体效果可见封面）。关于数据集的详尽介绍和总结，可以参考[3]。

       尽管CelebA-HQ效果出众，但nVidia官网并未直接提供jpg格式的数据下载，仅提供了.dat文件的压缩包。若想进行二次创作，需通过Python脚本将CelebA和.dat文件整合，具体步骤可参考[4]。执行h5tool.py（需在python2环境中运行，以免cryptography报错）后，你将在celeba-hq文件夹下看到不同分辨率的，如需*分辨率，可修改代码相应行数。

       这里展示一个生成的样例。

       需要额外注意的是，更多参考资料如下：

       [1] CelebA官方网站

       [2] CelebA数据集详解 - 知乎专栏

       [3] 论文概要 - CelebA-HQ部分

       [4] CSDN指南 - 如何生成CelebA-HQ

       [5] 生成JPG格式代码的GitHub源码

Keras 中的 Adam 优化器（Optimizer）算法+源码研究

       在深度学习训练中，Adam优化器是一个不可或缺的组件。它作为模型学习的指导教练，通过调整权值以最小化代价函数。在Keras中，Adam的使用如keras/examples/mnist_acgan.py所示，特别是在生成对抗网络（GAN）的实现中。其核心参数如学习率（lr）和动量参数（beta_1和beta_2）在代码中明确设置，参考文献1提供了常用数值。

       优化器的本质是帮助模型沿着梯度下降的方向调整权值，Adam凭借其简单、高效和低内存消耗的特点，特别适合非平稳目标函数。它的更新规则涉及到一阶（偏斜）和二阶矩估计，以及一个很小的数值（epsilon）以避免除以零的情况。在Keras源码中，Adam类的实现展示了这些细节，包括学习率的动态调整以及权值更新的计算过程。

       Adam算法的一个变种，Adamax，通过替换二阶矩估计为无穷阶矩，提供了额外的优化选项。对于想要深入了解的人，可以参考文献2进行进一步研究。通过理解这些优化算法，我们能更好地掌握深度学习模型的训练过程，从而提升模型性能。

如何使用stylegan训练自己的数据?

       在探讨如何使用stylegan训练自己的数据之前，我们先回顾了上一篇内容中对DragGAN项目的正确部署方式，使得用户能够实现自由拖拽式的编辑。然而，上篇内容仅限于使用项目预置的，本篇将引领大家探索如何将项目应用扩展至任意的编辑。

       实现这一目标的关键在于PTI项目。PTI允许用户将自定义训练成StyleGAN的潜空间模型，进而实现对任意的编辑。为确保操作环境满足需求，我们将继续在AutoDL云平台上使用Python 3.8和CUDA .8的镜像，确保环境配置符合项目要求。

       在准备环境中，首先下载项目源码。不必担心缺失requirements.txt文件，因为已经准备妥当。接着，下载必要的预训练模型，即StyleGAN的生成器文件ffhq.pkl和预处理器文件align.dat，确保它们被放置在pretrained_models目录下。

       进行预处理是关键步骤，其目标是完成人脸关键点的检测工作，从而将待编辑上传至image_original目录下。同时，调整utils/align_data.py文件中所包含的路径，并更新configs/paths_config.py中的参数设置。执行相关脚本以完成预处理过程。

       接下来，使用PTI进行GAN反演，这一过程允许将映射到生成模型的潜空间中，并通过调整潜空间向量来修改图像外观。利用这种方式，可以实现对图像的多种编辑，包括姿势改变、外观特征修改或风格添加。通过编辑潜空间，可以实现对图像的高级编辑，同时确保图像的真实性和准确性。

       完成反演后，需要将文件转换为DragGAN可识别的模型文件格式。通过提供的转换脚本，将pt文件转换为pkl文件格式。转换完成后，将checkpoints目录下的模型文件和对应的embeddings目录下的文件放入DragGAN项目的checkpoints目录下。最后，重启DragGAN，至此，训练自己的数据过程已告完成。

       为了简化操作流程，我们已将上述步骤整合成Jupyter Notebook文档，提供了一键执行功能，使得用户能够轻松实现图像反演。只需确保将align.dat文件放入项目pretrained_models目录下，将visualizer_drag_gradio_custom.py放入项目根目录下，然后运行ipynb文件即可。

       获取此整合包的方式已在原文末尾提供。此过程简化了操作步骤，使得即使是技术新手也能快速上手，实现对任意的高级编辑。通过遵循上述指南，您可以探索使用StyleGAN训练自定义数据的无限可能，为图像编辑领域带来创新与便利。

ai绘画如何导入模型ai绘画如何导入模型

       首先，要使用AI绘画需要安装一些必要的软件和库，比如Python、TensorFlow等。接着，需要选择一个合适的AI绘画模型，例如DeepDream、GAN等。这些模型可以在各大代码平台(如GitHub)上找到相应的源码和说明文档。

       一般情况下，导入模型需要进行以下几个步骤：

       1. 下载所需模型的源代码，并解压缩文件。

       2. 安装模型所依赖的库和环境，确保能够正常运行代码。

       3. 在代码中指定模型的路径、输入参数和其他设置。具体方式会根据不同的模型而有所差异，在阅读相应文档后可进行操作。

       4. 运行程序并导入模型。

       需要注意的是，在导入模型之前，为了保证绘画效果，还需要预处理或训练数据。这通常包括将转换为特定格式和大小，并对图像进行预处理以提高模型性能。

       总之，导入AI绘画模型是一个比较复杂的过程，需要一定的编程技能和算法知识。建议在学习前先熟悉Python及其相关库，并阅读有关文档和教程来帮助理解整个流程。

超火的漫画线稿上色AI出新版了！无监督训练，效果更美好 | 代码+Demo

       超火的漫画线稿上色AI又有新突破！style2paints 2.0版本发布，采用无监督训练，为动漫形象带来更为惊艳的效果。只需上传一张手绘线稿，轻轻一点，你的收藏宝贝就能展现出丰富的色彩。

       不同于早期版本，style2paints 2.0不仅能自动根据用户选择的参考图转换风格，还能精准响应用户在特定区域的提示，实现细致的色彩调整。它在保持颜色协调的同时，注重细节处理，追求漫画中角色眼睛的闪亮、脸颊的红晕和皮肤的精致，力求达到专业级的上色效果。

       尽管风格迁移技术并不新鲜，但style2paints 2.0在处理纯线条草图时的复杂性不容忽视。它需要AI自行填充阴影和纹理，实现从黑白到彩色的转换，这并非易事。尽管目前没有详细论文，但其前身的Style Transfer for Anime Sketches算法已经展示了良好的基础。

       style2paints 2.0的改进在于更纯粹的无监督训练，它依靠神经网络自我学习，而非硬性规则指导，这使得模型收敛更为困难，但最终效果令人满意。尽管市面上还有其他线稿上色工具，但作者对它们的评价并不高，认为在漫画风格转换上，GAN和用户自定义参考图是关键。

       想要亲自体验style2paints 2.0的魅力吗？欢迎试玩Demo，感受线稿上色的新江湖。虽然官方论文尚未发布，但源代码已提供，探索技术背后的魅力。快来试试，让你的动漫收藏焕发出新的色彩吧！