LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2-程序员宅基地

技术标签: # LLM微调  深度学习  人工智能  微调  大模型  自然语言处理  llm  算法岗面试  

下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的,不对效果进行评价,毕竟不同任务不同数据集效果差别还是挺大的。

0、hard prompt & soft prompt区别

  • hard prompt (离散):即人类写的自然语言式的prompt。
  • soft prompt (连续):可训练的权重,可以理解为伪prompt。【毕竟nn是连续的模型,在连续空间中优化离散的prompt, 难以优化到最佳效果。额也就是说所谓的hard prompt对于人类来说好理解,但模型不一定好理解,
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_43646592/article/details/131833711

智能推荐

实现仿IOS风格的带有清空功能的文本输入框(Android编程)-程序员宅基地

文章浏览阅读27次。在本文中,我将介绍如何在Android应用中实现一个仿IOS风格的文本输入框,该输入框具有清空功能。当文本输入框的内容发生变化时,我们会根据文本的长度来显示或隐藏清空按钮。如果文本长度大于0,我们将在输入框的右侧显示清空按钮图标,否则将隐藏它。至此,我们已经完成了实现仿IOS风格的带有清空功能的文本输入框的代码。在项目的资源文件夹中,找到或创建一个名为。接下来,我们需要在布局文件(layout file)中定义我们的文本输入框。属性用于在输入框的右侧添加一个清空按钮,我们将在后面的步骤中创建相应的图标。

回溯算法求解数独问题(C++ 递归/非递归)_用非递归回溯算法完成数独求解-程序员宅基地

文章浏览阅读3k次,点赞6次,收藏43次。如何使用求解上述数独?递归实现#include<bits/stdc++.h>using namespace std;int sudoku[9][9];int dx[9]= {-1,-1,-1,0,0,0,1,1,1},dy[9]={-1,0,1,-1,0,1,-1,0,1}; void print(){ for(int i=0;i<9;i++){ for..._用非递归回溯算法完成数独求解

48节点 配电系统仿真 该模型依据实际配电网(含单相供电)搭建,电压等级10kV 380V-程序员宅基地

文章浏览阅读328次,点赞5次,收藏5次。该模型基于实际配电网,电压等级为10kV/380V,频率为50Hz,旨在深入分析SVG配电系统对节点电压的影响以及配电系统中的三相不平衡等电能质量问题。摘要:本文利用Matlab Simulink建立了一个48节点的配电系统仿真模型,该模型基于实际配电网(含单相供电),电压等级为10kV/380V,频率为50Hz,能够准确模拟我国电网实际情况。在今后的研究中,我们可进一步探索更多的配电系统问题,并结合实际情况进行优化设计,以提高电力供应的可靠性和电能质量。2、配电系统三相不平衡等电能质量问题。

算法基础学习笔记——⑬高斯消元\组合计数\容斥原理_高斯消元和回代-程序员宅基地

文章浏览阅读836次,点赞6次,收藏8次。算法基础学习笔记——⑬高斯消元\组合计数\容斥原理_高斯消元和回代

基于ThinkPHP开发RESTful Web API-程序员宅基地

文章浏览阅读1.2w次,点赞3次,收藏7次。REST是一种风格,而不是标准。因为既没有REST RFC,也没有REST协议规范或者类似的规定。REST架构是Roy Fielding(他也是HTTP和URI规范的主要作者之一)在一篇论文中描述的。REST并没有创造新的技术,组件或服务,隐藏在RESTful Web API背后的理念是使用Web的现有特征和能力。RESTful Web API定义了如何更好地使用现有Web标准中的一些准则和约束。

dockerfile拉取python3.7镜像_进入docker容器中安装python3.7镜像-程序员宅基地

文章浏览阅读4.4k次。docker构建python3.7镜像:https://zhuanlan.zhihu.com/p/137288195FROM:需要什么环境ENV:修改path,即增加/usr/local/bin这个环境变量ADD:将本地代码放到虚拟容器中,它有两个参数,第一个是 .,代表本地当前路径;第二个参数是/code,代表虚拟容器中的路径,即将本地项目的所有内容放到虚拟容器的/code目录下,以便在虚拟容器中运行代码WORKDIR:指定工作目录,也就是刚才的/code,在虚拟容器中的目录RUN:执行某_进入docker容器中安装python3.7镜像

随便推点

selenium webdriver(6)—cookie相关操作-程序员宅基地

文章浏览阅读243次。2019独角兽企业重金招聘Python工程师标准>>> ..._driver.manage().addcookie

Septentrio接收机二进制的BDS b2b改正数解码_septentrio decode ldpc-程序员宅基地

文章浏览阅读304次。Galileo的HAS和BDS B2b改正数为实时PPP提供了可能,要实现实时PPP解算,必须对对应的数据进行解码。由于没有做过解码的工作,现结合qzsl6tool代码对Septentrio的解码代码进行学习。_septentrio decode ldpc

[整理]Android屏幕适配(不同的屏幕分辨率和尺寸)_android测试屏幕分辨率等价划分-程序员宅基地

文章浏览阅读3.1w次,点赞8次,收藏33次。Android屏幕适配目录:Android屏幕适配概念区分换算关系划分标准Android手机常见尺寸和对应分辨率部分Android测试机分析在实际开发过程中,会遇到不同的机型,为了让控件和布局要在不同屏幕上显示相近的样子,就得在drawable-ldpi/mdpi/hdpi/xhdpi/xxhdpi不同的文件夹下放置图片素材或者在xml中用dp作为间距单位,用sp作为文字的单位。因此要搞清_android测试屏幕分辨率等价划分

.NET Core学习笔记_.netcore-程序员宅基地

文章浏览阅读2.7k次,点赞6次,收藏53次。表示段落缩进.NET是.NET Framework、.NETCore、Xamarin/Mono的统称。.NET FrameWork框架只能开发Windows平台的应用程序,也就是说用.NET FrameWork框架做出来的程序只能运行在Windows系统下。.NET Core框架是免费、开源、跨平台的,可以运行在Linux、Macos、Windows平台下。........._.netcore

微信小程序下拉刷新_微信小程序下拉刷新背景色-程序员宅基地

文章浏览阅读1.4k次。在app.json的window节点中,将enablePullDownRefresh设置为。在单个页面的json文件中,将enablePullDownRefresh设置为。1、全部页面设置下拉刷新。2、单页面设置下拉刷新。_微信小程序下拉刷新背景色

《小学生C++趣味编程》视频 第1单元--第8单元-程序员宅基地

文章浏览阅读474次。《小学生C++趣味编程》视频 第1单元--第8单元

推荐文章

热门文章

相关标签