Discrete text prompt

离散文本提示(discrete text prompts), 又叫做提示设计(prompt design), 指的是使用人类可读的自然语言文本(或离散的文本token)作为提示来和模型交互, 而不是通过可训练的向量或者隐式参数表示来进行提示.

在大多数通用的自然语言处理和对话场景中, 我们和模型的交互大多基于离散文本提示, 就是使用自然语言编写一段"问题"或者"提示"让模型理解和回答, 这种方式直观易懂, 不需要开发者或者使用者了解底层的向量表示.

与之相对的是连续提示(continuous prompts), 又称为软提示(soft prompts), 它们直接在向量空间中对模型参数或者输入embedding进行调整, 通常需要借助额外的优化技术或训练过程. 连续提示通常不是人类可读的, 而离散提示因为保留了自然语言的形式, 并且易于在常规环境中进行编辑和管理.

**离散的词空间**指的是提示只能从固定的, 有限的词表或者词典中选择单词来拼接提示文本, 也就是说, 我们所能使用的提示词是一个一个明确的自然语言的离散单词, 而不是可以在连续向量空间中自由调整的参数, 如软提示那样. 这种离散空间的搜索会受到词表大小的限制, 并且只能组合已有的词, 而在软提示中, 我们不需要看懂提示中是哪些词, 因为他们本身就不是自然语言, 是一个一个的向量, 看懂它们是模型的工作, 不是我们人类的工作.