stablediffusion系列教程之局部重绘

stablediffusion系列教程之局部重绘

1属性讲解

1蒙版模糊

重绘区域和原图交界处的过度平滑程度

重绘区域大小和模糊度成正比，但是通常不超过20

删除物件，数值调小，添加物件，数值调大

2蒙版蒙住的内容-前两个常用

填充- 先删除蒙版区域的画面，让周围颜色填补蒙版，根据关键词和蒙版周围颜色生成图像

原图- 直接在蒙版区域原图的基础上生成新的图像

潜变量噪声- 加入噪声，在噪声基础上根据关键词降噪生成图像-大幅度的修改

潜变量数值零-作用于nois类似，但是会消除所有信息，生成全新内容

3重绘区域

全图-参考整张图的尺寸进行重绘，然后展现蒙版部分的内容，可以配合Controlnet使用

仅蒙版-基于蒙版区域进行作图，重绘区域不合理生成物体会扭曲

4仅蒙版模式的边缘预留像素- 数值大显示局部物体，数字小倾向现实整体

2案例一

正向关键词

(masterpiece), (best quality), a beautiful girl, (shine skin)

负向关键词

(worst quality, low quality:14),nsfw,(bad_prompt),cropped,text,jpegartifacts,signature,watermark,username,blurry

模型：3Guofeng3_v33

模型：realistVisonV20

3案例二

第一次生成结果我发现腿还可以就是 两个手臂和头部不是那么好，删掉原图-点击局部重绘，进行二次重绘

这些有瑕疵的地方可以进行调整

方案一：蒙版模糊+仅蒙版+仅蒙版模式的边缘预留像素

方案二：直接上PS调整，开盲盒太累了

我们提出了一个稍微修改的工作流程，用于整合 scRNA-seq 数据集。我们不再使用（"CCA"） 来识别锚点，而是使用互惠 PCA （"RPCA"）。在使用RPCA确定任意两个数据集之间的锚点时，我们将每个数据集投影到其他 PCA 空间中，并按相同的邻近要求寻找锚点。两个工作流的命令基本相同，但两种方法可能在不同的环境中应用。

CCA 非常适合在细胞类型保守时识别锚点，但在整个实验中，基因表达通常存在非常显著的差异。因此，基于CCA的整合能够在实验条件或疾病状态引入非常强烈的表达变化时，或在将数据集跨模式和物种时进行综合分析。但是，基于 CCA 的整合可能导致过度校正，尤其是当很大一部分细胞在数据集之间不重叠时。

基于RPCA的集成运行速度明显加快，代表了一种更为保守的方法，即不同生物状态的细胞在整合后不太可能"对齐"。因此，我们建议RPCA应用在如下综合分析中：

一个数据集中的很大一部分细胞在另一个数据集中没有匹配类型

数据集来自同一平台（即10x的多个通道）

有大量的数据集或细胞要整合

下面，我们演示了互惠 PCA 的用法。虽然命令几乎相同，但此工作流要求用户在整合之前在每个数据集上单独运行主成分分析 （PCA）。用户在运行时还应将"降维"参数设置为"rpca"。

我们使用[FindIntegrationAnchors()]识别锚点，该功能以 Seurat 对象列表作为输入，并使用这些锚点将两个数据集集成在一起。

现在，我们可以对所有细胞进行单次整合分析！

结果表明，基于rpca的整合更为保守，在这种情况下，不能完全对齐实验中细胞的亚群（如naive and memory T cells）。您可以通过增加参数 kanchor 来增加对齐的强度，该参数默认设置为 5。将这一参数增加到20将有助于对齐这些亚群。

现在，数据集已经整合，您可以按照之前的步骤来识别细胞类型和细胞类型特定响应。

作为一个例子，我们重复上述分析，但使用 SCTransform 标准化数据。我们可以选择将方法参数设置为 glmGamPoi （ 安装在这里 ），以便更快地估计回归参数。

三、六爻装卦法

浑天甲子装卦诀

1、八八六十四卦名

乾为天　天风姤　　天山遁　　天地否　　风地观　　山地剥　　山地晋　　火天大有　此为干宫八卦，性质属金。 坤为地　地雷复　　地泽临　　地天泰　　雷天大壮　泽天夬　　水天需　　水地比　　此为坤宫八卦，性质属土。 震为雷　雷地豫　　雷水解　　雷风恒　　地风升　　水风井　　泽风大过　泽雷随　　此为震宫八卦，性质属木。 巽为风　风天小畜　风火家人　风雷益　　天雷无妄　火雷噬嗑　山雷颐　　山风盅　　此为震宫八卦，性质属木。 坎为水　水泽节　　水雷屯　　水火既济　泽火革　　雷火丰　　地火明夷　地水师　　此为坎宫八卦，性质属水。 离为火　火山旅　　火风鼎　　火水未济　山水蒙　　风水涣　　天水讼　　天火同人　此为离宫八卦，性质属火。 艮为山　山火贲　　山天大畜　山泽损　　火泽睽　　天泽履　　风泽中孚　风山渐　　此为艮宫八卦，性质属土。 兑为泽　泽水困　　泽地萃　　泽山咸　　水山蹇　　地山谦　　雷山小过　雷泽归妹　此为兑宫八卦，性质属金。

2、六十四卦推演方法

以干宫为例：干宫第一卦为乾，先变其初爻，下卦变成巽，卦成了天风姤，然后再变二爻，巽又变成艮，就成了天山遁，再变三爻，艮成了坤，卦变成了天地否，然后是四爻变，卦为观，然后是剥　，第六变最上爻不变，由于上爻为宗庙，永不能变的，就又变了四爻，原来是山地剥，再变四爻就是火地晋了，然后再变下卦三个爻（初、二、三爻全变），就是火天大有了，而晋为游魂，大有为归魂，它宫依此类推。○

下面把推演的象发一下，大家看看：

3、浑天甲子纳甲法：

学习目标：

OpenCV 中有 150 多种色彩空间转化的方法，这里只讨论两种：

HSV的色相范围为[0,179]，饱和度范围为[0,255]，值范围为[0,255]。不同的软件使用不同的规模。如果要比较 OpenCV 值和它们，你需要标准化这些范围。

HSV 和 HLV 解释

运行结果：该段程序的作用是检测蓝色目标，同理可以检测其他颜色的目标

结果中存在一定的噪音，之后的章节将会去掉它

这是物体跟踪中最简单的方法。一旦你学会了等高线的函数，你可以做很多事情，比如找到这个物体的质心，用它来跟踪这个物体，仅仅通过在相机前移动你的手来画图表，还有很多其他有趣的事情。

菜鸟教程 在线 HSV-> BGR 转换

比如要找出绿色的 HSV 值，可以使用上面的程序，得到的值取一个上下界。如上面的取下界 [H-10, 100, 100]，上界 [H+10, 255, 255]

或者使用其他工具如 GIMP

学习目标：

对图像进行阈值处理，算是一种最简单的图像分割方法，基于图像与背景之间的灰度差异，此项分割是基于像素级的分割

threshold(src, thresh, maxval, type[, dst]) -> retval, dst

计算图像小区域的阈值。所以我们对同一幅图像的不同区域得到不同的阈值，这给我们在不同光照下的图像提供了更好的结果。

三个特殊的输入参数和一个输出参数

adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C[, dst]) -> dst

opencv-threshold-python

OpenCV 集

本节原文

学习目标：

OpenCV 提供两种变换函数： cv2warpAffine 和 cv2warpPerspective

cv2resize() 完成缩放

文档说明

运行结果

说明 : cv2INTER_LINEAR 方法比 cv2INTER_CUBIC 还慢，好像与官方文档说的不一致？ 有待验证。

速度比较： INTER_CUBIC > INTER_NEAREST > INTER_LINEAR > INTER_AREA > INTER_LANCZOS4

改变图像的位置，创建一个 npfloat32 类型的变换矩阵，

warpAffine(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) -> dst

运行结果：

旋转角度（ ）是通过一个变换矩阵变换的：

OpenCV 提供的是可调旋转中心的缩放旋转，这样你可以在任何你喜欢的位置旋转。修正后的变换矩阵为

这里

OpenCV 提供了 cv2getRotationMatrix2D 控制

cv2getRotationMatrix2D(center, angle, scale) → retval

运行结果

cv2getAffineTransform(src, dst) → retval

函数关系：

\begin{bmatrix} x'_i \ y'_i \end{bmatrix}\begin{bmatrix} x'_i \ y'_i \end{bmatrix} =

其中

运行结果：图上的点便于观察，两图中的红点是相互对应的

透视变换需要一个 3x3 变换矩阵。转换之后直线仍然保持笔直，要找到这个变换矩阵，需要输入图像上的 4 个点和输出图像上的对应点。在这 4 个点中，有 3 个不应该共线。通过 cv2getPerspectiveTransform 计算得到变换矩阵，得到的矩阵 cv2warpPerspective 变换得到最终结果。

本节原文

平滑处理（smoothing）也称模糊处理（bluring）,是一种简单且使用频率很高的图像处理方法。平滑处理的用途：常见是用来 减少图像上的噪点或失真 。在涉及到降低图像分辨率时，平滑处理是很好用的方法。

图像滤波：尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。

消除图像中的噪声成分叫做图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段，在高频段，有用的信息会被噪声淹没。因此一个能降低高频成分幅度的滤波器就能够减弱噪声的影响。

滤波的目的：抽出对象的特征作为图像识别的特征模式；为适应图像处理的要求，消除图像数字化时混入的噪声。

滤波处理的要求：不能损坏图像的轮廓及边缘等重要信息；图像清晰视觉效果好。

平滑滤波是低频增强的空间滤波技术，目的：模糊和消除噪音。

空间域的平滑滤波一般采用简单平均法，即求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑效果越好，但是邻域过大，平滑也会使边缘信息的损失的越大，从而使输出图像变得模糊。因此需要选择合适的邻域。

滤波器：一个包含加权系数的窗口，利用滤波器平滑处理图像时，把这个窗口放在图像上，透过这个窗口来看我们得到的图像。

线性滤波器：用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。

低通滤波器、高通滤波器、带通滤波器、带阻滤波器、全通滤波器、陷波滤波器

boxFilter(src, ddepth, ksize[, dst[, anchor[, normalize[, borderType]]]]) -> dst

均值滤波是方框滤波归一化后的特殊情况。归一化就是要把处理的量缩放到一个范围内如 (0,1)，以便统一处理和直观量化。非归一化的方框滤波用于计算每个像素邻近内的积分特性，比如密集光流算法中用到的图像倒数的协方差矩阵。

运行结果：

均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即 去掉目标像素本身 ）。再用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像素在内的像素总个数。

均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

cv2blur(src, ksize[, dst[, anchor[, borderType]]]) → dst

结果：

高斯滤波：线性滤波，可以消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过 加权平均 后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

高斯滤波有用但是效率不高。

高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。 高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。

一维零均值高斯函数为: 高斯分布参数 决定了高斯函数的宽度。

高斯噪声的产生

GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]]) -> dst

线性滤波容易构造，并且易于从频率响应的角度来进行分析。

许多情况，使用近邻像素的非线性滤波会得到更好的结果。比如在噪声是散粒噪声而不是高斯噪声，即图像偶尔会出现很大值的时候，用高斯滤波器进行图像模糊时，噪声像素不会被消除，而是转化为更为柔和但仍然可见的散粒。

中值滤波（Median filter）是一种典型的非线性滤波技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声『椒盐噪声又称脉冲噪声，它随机改变一些像素值，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声。椒盐噪声往往由图像切割引起。』的同时又能保留图像边缘细节，

中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，对于 斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise） 来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。

中值滤波在一定的条件下可以克服常见线性滤波器如最小均方滤波、方框滤波器、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声非常有效，也常用于保护边缘信息, 保存边缘的特性使它在不希望出现边缘模糊的场合也很有用，是非常经典的平滑噪声处理方法。

与均值滤波比较：

说明：中值滤波在一定条件下，可以克服线性滤波器（如均值滤波等）所带来的图像细节模糊，而且对滤除脉冲干扰即图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，也给计算带来不少方便。 但是对一些细节多，特别是线、尖顶等细节多的图像不宜采用中值滤波。

双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合 图像的空间邻近度和像素值相似度 的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。

双边滤波器的好处是可以做边缘保存（edge preserving），一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差 sigma－d ，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。 但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。

运行结果

学习目标:

形态变换是基于图像形状的一些简单操作。它通常在二进制图像上执行。

膨胀与腐蚀实现的功能

侵蚀的基本思想就像土壤侵蚀一样，它会侵蚀前景物体的边界（总是试图保持前景为白色）。那它是做什么的？内核在图像中滑动（如在2D卷积中）。只有当内核下的所有像素都是 1 时，原始图像中的像素（ 1 或 0 ）才会被视为 1 ，否则它将被侵蚀（变为零）

erode(src, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]]) -> dst

与腐蚀的操作相反。如果内核下的至少一个像素为“1”，则像素元素为“1”。因此它增加了图像中的白色区域或前景对象的大小增加。通常，在去除噪音的情况下，侵蚀之后是扩张。因为，侵蚀会消除白噪声，但它也会缩小我们的物体。所以我们扩大它。由于噪音消失了，它们不会再回来，但我们的物体区域会增加。它也可用于连接对象的破碎部分

Stablediffusion系列教程之controlnet详解

1 启用（Enable）

勾选此选项后，ControlNet 才会生效。

2反色模式（Invert Input Color）

将图像颜色进行反转后应用，一般是纯白色背景。

3RGB 转 BGR（RGB to BGR）

法线贴图经常用到

4 低显存优化（Low VRAM）

低显存模式，如果你的显卡内存小于等于4GB，建议勾选此选项。

5 无提示词的猜测模式（Guess Mode）

也就是盲盒模式，不需要任何正面与负面提示词，出图效果随机

6预处理器（Preprocessor）

在此列表我们可选择需要的预处理器，每个 ControlNet 的预处理器都有不同的功能，后续将会详细介绍。

7 模型（Model）

配套各预处理器需要的专属模型。该列表内的模型必须与预处理选项框内的名称选择一致，才能保证正确生成预期结果。如果预处理与模型不致其实也可以出图，但效果无法预料，且一般效果并不理想。

8 权重（Weight）

权重，代表使用 ControlNet 生成时被应用的权重占比。

9 画布宽度和高度（Canvas Width 和 Canvas Height）

不是指 SD 生成的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率，假如你用 SD 生成的是 1000x2000 分辨率，那么使用 ControlNet 引导图像时，对显存的消耗将是非常大的；可以将引导控制图像的分辨率设置为 500x1000 ，也就是缩放为原本图像一半的分辨率尺寸去进行引导，这有利于节省显存消耗。