1.AI办公自动化：kimi批量搜索提取PDF文档中特定文本内容
2.AI与PDE（七）：AFNO模型的文档文件源代码解析
3.探索AI实现PDF文档总结
4.AI办公自动化：用kimi批量把word转换成txt文本
5.怎么鉴别文章是不是ai写的如何看一篇文章是不是ei
6.ai导不出来源文件ai无法导出怎么办
AI办公自动化：kimi批量搜索提取PDF文档中特定文本内容
要实现AI办公自动化，通过Python脚本批量搜索并提取PDF文档中的源码特定文本内容，如“资料来源”、常用“数据来源”和“来源”等，格式Kimi提供了一个解决方案。文档文件以下是源码按余额分红源码一个步骤清晰的实现过程：
在Python编程环境下，你面临一个任务，常用目标是格式从数百个PDF文档中提取特定的文本信息。首先，文档文件使用pdfplumber库打开位于F:\研报下载\AIGC研报文件夹中的源码所有PDF文件。然后，常用通过遍历每个文件，格式逐行查找以“资料来源：”、文档文件“数据来源：”和“来源：”开头的源码文本，这些可能是常用你需要的内容来源。
脚本开始于导入必要的库，如os、re和pdfplumber，定义关键词列表和文件路径。对于每个PDF文件，代码首先检查文件类型，如果是PDF，它会尝试打开并提取文本。使用正则表达式搜索关键词，匹配到的文本会被保存到一个Excel文件中，文件名是'AI_Industry_Analysis.xlsx'，保存在F:\AI自媒体内容\AI行业数据分析文件夹。
在处理过程中，脚本会监控可能出现的异常，如文件损坏或权限问题，并在遇到时提供错误信息。一旦所有文件处理完毕，脚本会输出一个总结，确认数据已保存到指定的Excel文件中。
下面是Kimi生成的简化版源代码片段：
...
import os
import re
import pdfplumber
...
# 遍历源文件夹中的PDF文件
for filename in os.listdir(source_folder):
if filename.endswith('.pdf'):
file_path = os.path.join(source_folder, filename)
try:
with pdfplumber.open(file_path) as pdf:
for page in pdf.pages:
text = page.extract_text()
for keyword in keywords:
pattern = re.compile(keyword + ".*")
matches = pattern.findall(text)
for match in matches:
sheet.append([match])
except Exception as e:
print(f"处理文件{ filename}时发生错误：{ e}")
...
通过这段代码，你可以有效地自动化提取PDF文档中的特定文本信息。
AI与PDE（七）：AFNO模型的源代码解析
本文旨在解析AFNO模型的源代码，帮助读者理解模型细节与主干结构。首先，AFNO模型的主干框架在afnonet.py文件中定义，通过类AFNONet实现。模型的核心功能封装在多个类与函数中，依据代码注释逐步解析。
在代码中，app 源码集市forward_features函数负责模型的核心逻辑，包括patch切割与mixing过程。这些操作由PatchEmbed类实现。位置编码self.pos_embed通过高斯初始化得到，增加模型的表示能力。
关键模块AFNO2d位于代码中，它基于FNO的原理，负责处理输入数据。AFNO2d模块在forward_features函数中通过循环调用，实现数据的转换与混合。
经过数个L layer处理后，模型进入类似解码器的结构，用于将中间结果映射为目标结果。这一过程通过self.head(x)实现，以解决特定分类问题。
本文通过梳理代码流程与结构图，直观展示了AFNO模型的工作原理。读者可参考AFNO的GitHub源代码与论文，深入理解细节。后续文章将继续探讨基于AFNO模型框架的其他应用，如FourCastNet。
探索AI实现PDF文档总结
探索AI实现PDF文档总结，面对大雪覆盖的景色，不禁感叹，问题的消散为何不能如雪花般悄无声息。压力虽压迫人，但也是成长的催化剂。上篇文章中，我提到了文档总结的三种方式：Stuff、Refine、Map-Reduce，现在重点复习Refine模式。
Refine模式适用于长篇文章总结。为了实现RefineDocumentsChain，利用LangChain表达式语言，结合所有内置LCEL功能，特别注重流式输出，以适应最新语言特性。首先，采用全文返回方式，通过控制台打印输出结果。
实现流式输出的关键在于利用LCEL提供的stream方法与astream方法。探究其源码，天使宠物源码发现调用ainvoke方法即可实现。回顾LCEL特性，包括invoke、batch、stream、ainvoke，直接调用ainvoke便能达成目标。
通过这些步骤，借助LangChain调用Refine模式实现文档总结的过程完成。学习过程中，我发现了一个非常实用的插件——ChatSNow。它快速解答了我不少知识点疑惑，相比搜索引擎，ChatSNow提供了更高效准确的答案，使用极为便捷。
AI办公自动化：用kimi批量把word转换成txt文本
在Kimichat中输入提示词：
你是一个Python编程专家，要完成一个Python脚本编写的任务，具体步骤如下：
打开文件夹：F:\aword
读取里面docx格式的word文档，提取word文档中的第一行文字作为txt文本文档的标题名，将word文档转换为txt文档；重命名txt文档；注意：每一步相关信息都要输出到屏幕；在 Windows 系统中，默认的文件编码是 GBK，它不支持某些特殊的 Unicode 字符，为了解决这个问题，可以在打开文件进行写入操作时，指定使用 utf-8 编码。
kimichat生成Python源代码：
python
import os
from docx import Document
# 定义文件夹路径
folder_path = 'F:\\aword'
# 确保文件夹存在
if not os.path.exists(folder_path):
print(f"文件夹 { folder_path} 不存在。")
else:
# 列出文件夹中所有的docx文件
docx_files = [f for f in os.listdir(folder_path) if f.endswith('.docx')]
# 检查是否有docx文件
if not docx_files:
print("没有找到docx格式的Word文档。")
else:
for docx_file in docx_files:
# 构建完整的文件路径
docx_file_path = os.path.join(folder_path, docx_file)
# 读取Word文档
doc = Document(docx_file_path)
try:
# 提取第一行文字作为标题
title = doc.paragraphs[0].text.strip()
print(f"提取的标题为: { title}")
# 构建txt文件的完整路径
txt_file_path = os.path.join(folder_path, f"{ title}.txt")
# 将Word文档转换为txt
with open(txt_file_path, 'w', encoding='utf-8') as txt_file:
for para in doc.paragraphs:
txt_file.write(para.text + ' ')
print(f"文档 { docx_file} 已转换为txt格式。")
except IndexError:
print(f"文档 { docx_file} 中没有文本。")
except Exception as e:
print(f"处理文档 { docx_file} 时发生错误: { e}")
在vscode中运行源代码，成功。
怎么鉴别文章是不是ai写的如何看一篇文章是不是ei
1. 确认文章的来源：很多机器学习模型可以自动生成文章，但是它们是通过特定的软件或应用程序操作生成的。如果文章来自一个无可争议的机器生成平台，则它几乎一定是使用AI方式生成的。
2. 看文章是否符合语法规则：虽然AI写作软件具备语法检查功能，但是如果文章中有大量的语法错误，那么很可能是机器语言的尝试。
3. 检查文本的简单程度：AI编写的文章通常有很小的误差，并且它们通常根据特定数据集进行训练。因此，这种文章通常简单，情节不复杂。淘刷刷源码
4. 检查文章是否存在逻辑错误：AI写作软件可以生成文章，但是它们通常会忽略文章的逻辑结构，因此文章中可能存在逻辑矛盾或简单的逻辑错误。
总之，通常可以通过查看文章的源代码以及逻辑、语法和语言表述的实际情况来辨别是否由人工智能编写。
鉴别一篇文章是否由AI写成并不是一件容易的事情。然而，以下是一些可能表明一篇文章是由AI写成的迹象：
1. 文章缺乏人类特有的语言和表达方式。
2. 文章含有大量的模板化语句和短语。
3. 文章的结构和内容可能会出现逻辑上的错误或不连贯的问题。
4. 重复使用相似的短语、主题和论点。
5. 缺乏情感色彩和个性化风格。
需要注意的是，这些特征仅供参考，并不能确切地证明一篇文章是由AI写成的。实际上，随着自然语言生成技术的不断发展，越来越难以区分人工编写的文章和由AI生成的文章。
ai导不出来源文件ai无法导出怎么办
在一般情况下，人工智能（AI）模型无法导出原始的来源文件，因为模型是通过对训练数据进行学习和训练而生成的。AI模型的训练过程通常涉及大量的数据处理和参数优化，并且生成的模型文件不包含原始的训练数据。
AI模型通常以特定的文件格式（如.h5、.pb、.pth等）保存，这些文件包含了模型的权重、结构和配置信息。你可以使用这些模型文件进行推理、预测和应用部署等操作，但无法还原到原始的训练数据和源代码。
如果你需要访问或获取原始的来源文件，你可能需要联系模型的创建者、开发者或提供者，并获得相关的许可或共享源代码的权限。请注意，具体的情况可能因不同的AI模型和应用而有所不同，这仅是一般情况的说明。
AI中出大图时尺寸在xmm以上可以把长宽都缩小十倍，导出点的JPG，再在PS里按比例放大到实际尺寸，eclipse javaee源码这么大图点分辨率也够了，或者先导出为PDF，再在PS里改。
2.修改WINDOWS虚拟内存参数及存储盘：点“我的电脑”右键点“属性”出现“系统属性”----“高级”---“性能设置”-----“高级”---“虚拟内存”---“更改”
3.用安全卫士清理系统垃圾和缓存文件，使系统畅通。
4.修改AI的暂存盘:菜单栏“编辑”---“首选项”---“增效工具和暂存盘”修改下你试试吧
OpenAI/Triton MLIR 第零章: 源码编译
本文旨在深入探讨开源AI项目OpenAI Triton MLIR，着重介绍Triton作为编程语言与编译器在GPU加速计算领域的应用与优化。Triton为用户提供了一种全新的方式，通过将其后端接入LLVM IR，利用NVPTX生成GPU代码，进而提升计算效率。相较于传统CUDA编程，Triton无需依赖NVIDIA的nvcc编译器，直接生成可运行的机器代码，体现出其在深度学习与数据科学领域的高性能计算潜力。Triton不仅支持NVIDIA GPU，还计划扩展至AMD与Intel GPU，其设计基于MLIR框架，通过Dialect支持多样化后端。本文将从源码编译角度出发，逐步解析Triton的设计理念与优化策略，为研究编译技术和系统优化的工程师提供宝贵资源。
首先，需要访问Triton的官方网站，克隆其官方代码库，以便后续操作。构建过程涉及两个重要依赖：LLVM与pybind。LLVM作为Triton的核心后端，通过将高级Python代码逐步转换至LLVM IR，最终生成GPU可运行代码，体现了其在计算优化领域的优势。pybind组件则用于封装C++/CUDA或汇编代码，实现Python DSL与高性能组件的无缝集成。
接下来，将LLVM与pybind分别编译安装，通过手动配置指定路径，确保编译过程顺利进行。LLVM的安装对于基于Triton进行二次开发的工程师和研究人员至关重要，因为它为Triton提供了强大的计算基础。在特定的commit ID下编译Triton，确保与后续版本兼容。
在编译过程中，配置pybind同样至关重要，它允许用户通过Python API调用高性能组件，实现自动化生成高性能算子。完成编译后，生成的.so文件（libtriton.so）为后续Triton的Python接口提供了支持。
将libtriton.so移动至triton/python/triton/_C目录下，确保Python路径正确配置，实现无缝导入与调用。通过简单的import triton命令，即可开启Triton的开发之旅。验证Triton性能，可以选择tutorials目录下的示例代码，如-matrix-multiplication.py，通过运行该脚本，观察Triton在GPU上的性能表现。
Triton在NVGPU上的成熟映射路线，从抽象的Python DSL到贴近GPU层面的IR，最终生成高效机器代码，体现了其在高性能计算领域的优越性。Triton未来的发展蓝图将支持更多前端语言，对接不同硬件厂商的硬件，实现高效映射，满足多样化计算需求。
腾讯T2I-adapter源码分析（1）-运行源码跑训练
稳定扩散、midjourney等AI绘图技术，为人们带来了令人惊叹的效果，不禁让人感叹技术发展的日新月异。然而，AI绘图的可控性一直不是很好，通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性，Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发，分析其实现方法。
本篇是第一篇，主要介绍源码的运行方法，后续两篇将以深度图为例，分别分析推理部分和训练部分的代码。分析T2I-Adapter，也是为了继续研究我一直在研究的课题：“AI生成同一人物不同动作”，例如：罗培羽：stable-diffusion生成同一人物不同动作的尝试（多姿势图），Controlnet、T2I-adapter给了我一些灵感，后续将进行尝试。
T2I-Adapter论文地址如下，它与controlnet类似，都是在原模型增加一个旁路，然后对推理结果求和。
T2I-Adapter和controlnet有两个主要的不同点，从图中可见，其一是在unet的编码阶段增加参数，而controlnet主要是解码阶段；其二是controlnet复制unit的上半部结构，而T2I-Adapter使用不同的模型结构。由于采用较小的模型，因此T2I-Adapter的模型较小，默认下占用M左右，而controlnet模型一般要5G空间。
首先确保机器上装有3.6版本以上python，然后把代码clone下来。随后安装依赖项，打开requirements.txt，可以看到依赖项的内容。然后下载示例，下载的会放到examples目录下。接着下载sd模型到model目录下，再下载T2I-Adapter的模型到目录下，模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5，也还下载了sd-v1-4.ckpt。
根据文档，尝试运行一个由深度图生成的例子，下图的左侧是深度图，提示语是"desk, best quality, extremely detailed"，右侧是生成出来的。运行过程比较艰辛，一开始在一台8G显存的服务器上跑，显存不够；重新搭环境在一台G显存的服务器上跑，还是不够；最后用一台G显存的服务器，终于运行起来了。
接下来尝试跑openpose的例子，下图左侧是骨架图，提示词为"Iron man, high-quality, high-res"，右侧是生成的图像。
既然能跑推理，那么尝试跑训练。为了后续修改代码运行，目标是准备一点点数据把训练代码跑起来，至于训练的效果不是当前关注的。程序中也有训练的脚步，我们以训练深度图条件为例，来运行train_depth.py。
显然，习惯了，会有一些问题没法直接运行，需要先做两步工作。准备训练数据，分析代码，定位到ldm/data/dataset_depth.py，反推它的数据集结构，然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt，用于存放数据文件的地址，由于只是测试，我就只添加两行。然后准备，图中的.png和.png是结果图，.depth.png和.depth.png是深度图，.txt和.txt是对应的文本描述。
文本描述如下，都只是为了把代码跑起来而做的简单设置。设置环境变量，由于T2I-Adapter使用多卡训练，显然我也没这个环境，因此要让它在单机上跑。而代码中也会获取一些环境变量，因此做简单的设置。
做好准备工作，可以运行程序了，出于硬件条件限制，只能把batch size设置为1。在A显卡跑了约8小时，完成，按默认的配置，模型保存experiments/train_depth/models/model_ad_.pth。那么，使用训练出来的模型试试效果，能生成如下（此处只是为了跑起来代码，用训练集来测试），验证了可以跑起来。
运行起来，但这还不够，我们还得看看代码是怎么写法，下一篇见。
PS：《直观理解AI博弈原理》是笔者写的一篇长文，从五子棋、象棋、围棋的AI演进讲起，从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索，一步步介绍AI博弈的原理，而后引出强化学习方法，通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点，值得推荐。
AUTOMATIC的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术，我们也分析了它的源码实现，写了一系列文章。
腾讯T2I-adapter源码分析（3）-训练源码分析
随着stable-diffusion和midjourney等AI技术展现令人惊叹的艺术创作，人们对AI可控绘图的追求日益高涨。为提升AI图像生成的可控性，Controlnet和T2I-adapter等解决方案应运而生。系列文章将从T2I-adapter的源码出发，深入剖析其训练部分的实现原理。
本篇我们将聚焦于训练源码的解析，通过代码结构的梳理，了解T2I-Adapter的训练流程。
训练代码的运行涉及数据处理、模型加载、优化器设置以及实际训练过程。在第一部分，我们首先设置参数并加载数据，如DepthDataset，它从txt文件中读取、对应的深度图和文本描述。
在模型加载阶段，我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时，其配置与推理阶段有所差异，如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的加载则遵循推理过程中的初始化方法，通过构建不同模块来实现。
训练过程中，adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用，相比controlnet，T2I-adapter的参数更少，没有注意力层，这使得训练更为高效。模型放入GPU后，使用adamW优化器进行训练，同时设置学习率和数据保存路径。
状态恢复部分，程序会判断是否从头开始或恢复训练，设置log信息。接下来，代码进入实际的训练循环，包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。
loss函数定义在模型配置中，采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中，loss计算和模型保存都在代码中明确体现。
总的来说，T2I-adapter的训练源码展示了精细的结构和参数设置，确保了AI绘画的可控性和性能。在AI艺术的探索中，每一行代码都承载着技术进步的点滴痕迹。
