市面上有不少AI工具可以生成文章摘要，但是我的站点集成的是自定义生成工具，当触发push时，github action协助调用生成脚本。全量文章（统计约200K字）生成，目前大概消耗1元人民币。一般情况下都是增量生成方案，用量极少。
关于API2D
API2D相当于是一个API的中转，它提供了OpenAI相关的API。按照官方的说法，API2D采用点数（P）进行计费，整体价格保持在接口供应商官方价格的1.5倍；其API请求频率上限比官方更高；并且保持和官方接口一致。
看起来有点贵，个人使用完全足够，而且不用担心网络问题。
我已使用该方案超2年，从个人使用角度看，目前没有遇到什么大坑。如需使用，可以使用这个邀请链接：https://api2d.com/r/197854
我使用API2D比较早, 现在有很多国内可以直连的大的中转平台, 价格优于API2D, 目前API2D并非好的选择, 注意判别.
生成摘要
最初我把GPT当作一个聊天智能。
对于“聊天模式”我这样写prompt：
1
| 我是下面文章的作者，请提取以下文章的主要要点。请用一段简短的话概括以下文章的主旨。可以用1-2句话总结以下文章的重点吗？请使用1-3句话概括以下文章的核心内容。您能从以下文章中提炼出最重要的信息吗？请使用100字以内简要概括。
|
现在我采用这种方式写prompt：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
| separator = "################"
model = "gpt-4.1-nano"
prompt = f"""
以作者本人的视角总结以下文章内容, 注意精简字数, 注意保持语句通畅.
文章是markdown格式, 文章的主要语言是中文, 文章可能包含代码内容.
总结使用一段话. 总结的内容需要准确. 需要通过总结的内容就可以判断文章的大致思想.
不要使用第一人称, 改为"作者"或"本文"等.
注意1: 精简字数, 注意保持语句通畅.
注意2: 以作者本人视角总结, 不要包含你的观点.
注意3: 总结的内容需要准确.
文章整体被{separator}包含.
文章是:
"""
|
再把生成的总结从给GTP评判：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
| check_prompt = f"""
给你输入一篇文章, 和对这篇文章的总结, 你来判断这个总结是否正确, 是否正确表达了文章的意思.
文章是markdown格式, 文章的主要语言是中文, 文章可能包含代码内容.
用户输入的内容如下表示:
{separator}
<文章>
{separator}
{separator}
<对文章的总结>
{separator}
请判断文章的总结是否正确, 是否正确表达了文章的意思.
你需要输出一个评分, 除了评分之外, 你不需要输出任何内容.
评分细则为:
[A] 完全表达了文章的意思, 总结的内容都在文章中有体现
[B] 表达部分文章的意思, 总结的内容都在文章中有体现
[C] 总结的内容在文章中没有体现, 但是总结的内容和文章的意思相近
[D] 总结的内容和文章内容不以一致, 总结的思想和文章的思想也不一致
注意: 只输出评分, 不要输出其他内容
用户的输入是:
"""
|
一方面，prompt设计更细节化：更多的需求描述、更多的分割符、更多的结构化。
另一方面，使用AI生成和评判，形成闭环。
完整脚本见：summary.py
这就像是一种新式的模型训练，先写出大概的prompt，然后使用测试数据评判、调优。只需花费少量的时间和金钱，就能得到一个相对满意的结果。
总结
大模型浪潮下，如何参与进去？已经有很多人给过答案。我的理解是，分为两个方向。其一，是参与到LLM设计和开发中去，迭代出更强的模型，这偏向于专业研究领域。其二，是学会使用，这是工程应用。在我看来，现在的LLM不同于以往的任何模型，这是一个通用工具，以往的模型大都只能适配特定的领域，而LLM可以适配非常多的领域。因此，未来“会使用LLM”也可能变成一种专业技能。
会使用是指，能够通过LLM的API，实现自己的需求，而不只是使用别人开发的“聊天”工具（比如豆包、NextChat、XX Copilot之类）。我对这种观念的理解来的比较晚。