whalevv

AE AE的Pytorch代码实现（MINIST数据集）1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768import torchimport torch.nn as nnimport torch.optim as optimimport torchvisionimport torchvision.transforms as transformsfrom torch.utils.data import DataLoader# 定义自编码器类class Autoencoder(nn.Module): def __init__(self): super(Autoencoder, self).__init__() self.encoder = nn.Sequential( nn.Linear(28 * 28, 128), ...

任务1：模型融合【介绍】你们研发小组已经完成了一个音乐热度预测模型的训练。在上线之前，一般需要对模型的泛化能力进行测试。模型融合可能会比单个模型有更好的泛化能力。在本任务中，你们要对多个训练好的回归模型完成模型融合，结合多个回归模型的预测结果，以生成最终的预测结果。 【目标】model1.pkl、model2.pkl、model3.pkl 是本任务提供的基于 sklearn 训练的回归模型。 请按要求编写以下函数代码。 predictY 函数 函数功能 加载提供的 model1.pkl、model2.pkl、model3.pkl，分别对给定的测试数据进行预测。 基于指定权重对三个模型的预测结果进行加权平均，得到模型融合后的预测结果。其中 model1.pkl、model2.pkl、model3.pkl 分别对应的权重为 0.3, 0.1, 0.6。 参数 test_data，字典，key 表示特征名，value 表示特征值。 返回值 output_ensemble，浮点型数值，表示模型融合后的预测结果。 请在模块三文件夹下1.py文件中 #TODO处补充函数代码，确保实现以下目标： ...

CNN卷积神经网络（Convolutional Neural Network，CNN）是一种专门设计用于处理图像数据的深度学习模型。它的设计灵感来自于生物学中对动物视觉系统的理解，特别是动物视觉皮层中的神经元对视觉刺激的处理方式。 CNN的核心思想是通过卷积层和池化层来提取图像中的特征，并通过全连接层将这些特征映射到输出类别。下面是CNN的主要组成部分： 卷积层（Convolutional Layer）：卷积层是CNN中最重要的部分之一。它通过使用一系列可学习的滤波器（也称为卷积核）对输入图像进行卷积操作。每个滤波器会在输入图像上滑动，并计算滤波器与图像局部区域的卷积，生成特征图。这些特征图捕获了输入图像中的不同特征，如边缘、纹理等。 池化层（Pooling Layer）：池化层用于减少特征图的尺寸，并增强模型的平移不变性（即特征的位置不会影响识别结果）。常用的池化操作包括最大池化和平均池化。最大池化取局部区域的最大值作为池化后的值，而平均池化取局部区域的平均值。 激活函数（Activation Function）：通常在卷积层之后会使用非线性的激活函数，如ReLU（Rectifie ...

LORA的相关原理及训练随着AIGC的相关技术发展，人们热衷于将自己喜欢的概念或角色通过模型微调融入进作品里。但传统的Dreambooth方法对配置要求很高，同时TI、Hypernet等轻量级手段又没有那么好用。 这时有人发现了一个早在之前微软开发出来用于GPT-3的模型优化技术，它可以在保证质量的同时将模型训练参数量减少10000倍，同时还能让显存需求降到原来的三分之一，于是便想将它应用到扩散模型。随后这项技术被开源到网上，并被称为“低秩适应模型（LoRA）”。 LORA的原理随着 ChatGPT 的爆火，很多机构都开源了自己的大模型，比如清华的 ChatGLM-6B/ChatGLM-10B/ChatGLM-130B，HuggingFace 的 BLOOM-176B，OpenAI 的 ChatGPT/GPT-4，百度的文心一言，谷歌的 PLAM-540B，华为的盘古大模型，阿里的通义千问，等等。 但是，对于大模型的微调训练是需要耗费很大的资金的，比如ChatGPT这种大模型，训练一次成本就在上千亿美元。那么有没有低成本方法微调大模型呢？ 目前主要有Adapter Tuning，微软提 ...

Stable Diffusion原理生成式人工智能内容（AIGC，Artificial Intelligence Generated Content）是指由人工智能系统生成的各种形式的内容，包括但不限于文字、图像、音频和视频等。这些内容是通过训练好的深度学习模型生成的，这些模型可以根据输入的条件或上下文生成新的内容。 在生成式人工智能内容中，语言模型如GPT（Generative Pre-trained Transformer）系列等可以生成各种类型的文本，包括文章、故事、诗歌等。图像生成模型如GAN（Generative Adversarial Networks）可以生成逼真的图像，甚至可以用于图像修复、风格转换等任务。类似地，音频和视频生成模型也在不断发展，能够生成逼真的声音和视频片段。 生成式人工智能内容在许多领域都有应用，包括创意内容生成、教育、娱乐、广告等。然而，尽管这些技术有着巨大的潜力，但也引发了一些问题，如内容的真实性、道德问题和版权问题等，需要在使用和发展过程中加以关注和解决。 Stable Diffusion是现在常用的一种技术，用于AI绘画，本期内容将对stabl ...

会话推荐（Session-based Recommendation）(概念)在超载信息时代和数字化经济中，推荐系统 (RS) 在知情消费、服务和决策方面发挥着越来越重要的作用。近年来，基于会话的推荐系统 (SBRS) 已成为 RS 的新范例。不同于其他推荐系统，例如基于内容的推荐系统和基于协同过滤的推荐系统，它们通常对长期但静态的用户偏好进行建模，SBRS 旨在捕获短期但动态的用户偏好，以提供更及时和准确的推荐，这些推荐对用户的演变敏感他们的会话上下文。 User and User PropertiesSBRS 中的用户是对项目（例如产品）采取操作（例如点击、购买）并接收推荐结果的主体。假设 u 表示一个用户，每个用户都与一个唯一的 ID 和一组描述她的属性相关联，例如用户的性别，并且它有多个值，例如男性和女性。用户的属性可能会影响她对项目采取的行动，并进一步影响相应的会话。例如，一个男孩可能会看更多的动作片，导致他在观看过程中看更多的动作片，而一个女孩可能喜欢看更多的爱情片。除了可以明显观察到的显性属性外，一些反映用户内部状态的隐性属性，例如她的情绪和意图，也可能对她的行为产生重大影 ...

开学了，摆烂了一个寒假，之后慢慢佛系更新吧~ Online Active Learning for Soft Sensor Development using Semi-Supervised Autoencoders​ 数据驱动的软传感器广泛用于工业和化学过程，以预测难以测量的过程变量，这些变量的真实值在日常操作中难以跟踪。这些传感器使用的回归模型通常需要大量标记示例，但考虑到质量检查所需的大量时间和成本，获取标记信息可能非常昂贵。在这种情况下，主动学习方法可能非常有益，因为它们可以建议最有用的标签进行查询。然而，为回归提出的大多数主动学习策略都集中在离线设置上。在这项工作中，我们将其中一些方法应用于基于流的场景，并展示如何使用它们来选择信息量最大的数据点。我们还演示了如何使用基于正交自动编码器的半监督架构来学习低维空间中的显着特征。 Tennessee Eastman Process (TEP)用于比较所提出方法的预测性能。 1.Introduction​ 该部分主要讲了软测量的基本情况，未标记数据较多，然后引出了主动学习。主动学习对于减少实现令人信服的预 ...

​ 随着大数据时代的到来,深度学习模型已经在图像分类、文本分类等任务中取得了先进成果.但深度学习 模型的成功,很大程度上依赖于大量训练数据.而在现实世界的真实场景中,某些类别只有少量数据或少量标注数据,而对无标签数据进行标注将会消耗大量的时间和人力.与此相反,人类只需要通过少量数据就能做到快速 学习.例如,一个五六岁的小孩子从未见过企鹅,但如果给他看过一张企鹅的图像,当他进入动物园看到真正的 企鹅时,就会马上认出这是自己曾经在图像上见过的“企鹅”,这就是机器学习和人类学习之间存在的差距.受到 人类学习观点的启发,小样本学习(few-shot learning)的概念被提出,使得机器学习更加靠近人类思维. 何为小样本学习？​ 小样本学习也叫做少样本学习(low-shot learning),其目标是从少量样本中学习 到解决问题的方法.与小样本学习相关的概念还有零样本学习(zero-shot learning)等.零样本学习是指在没有 训练数据的情况下,利用类别的属性等信息训练模型,从而识别新类别. 即：仅使用少量标签数据训练模型，使之具有良好的泛化能力。 小样 ...

如何评价一个线性回归模型的好坏，常见的评价指标有四种，均方误差（Mean Squared Error）、均方根误差（Root Mean Squared Error）、平均绝对值误差（Mean Absolute Error）以及R Squared。 均方误差（MSE）实际值减预测值的平方和除以预测样本大小，使得其与测试样本大小无关。 1mean_squared_error = np.sum((y_true-y_predict)**2) / len(y_predict) 均方根误差（RMSE）我们对式子加了一个平方。但这可能会导致量纲的问题，如房子价格为万元，平方后就成了万元的平方，对MSE开方，使量纲相同。 RMSE值越小，模型的预测性能越好。 1root_mean_squared_error = sqrt(mean_squared_error) 平均绝对值误差（MAE）MSE与RMSE的区别仅在于对量纲是否敏感，因此又得出新方法，通过加绝对值，量纲相同。 1mean_absolute_error = np.sum(np.absolute(y_true - y_predict)) ...

自编码器原理与结构原理​ 自编码器（autoencoder, AE）是一类在半监督学习和非监督学习中使用的人工神经网络（Artificial Neural Networks, ANNs），其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning 。 ​ 自编码器包含编码器（encoder）和解码器（decoder）两部分。按学习范式，自编码器可以被分为收缩自编码器（contractive autoencoder）、正则自编码器（regularized autoencoder）和变分自编码器（Variational AutoEncoder, VAE），其中前两者是判别模型、后者是生成模型 。按构筑类型，自编码器可以是前馈结构或递归结构的神经网络。 ​ 自编码器具有一般意义上表征学习算法的功能，被应用于降维（dimensionality reduction）和异常值检测（anomaly detection）。包含卷积层构筑的自编码器可被应用于计算机视觉问题，包括图像降噪（image denoisin ...