在观察一个 Web 服务器的日志的时候，看到一个现象，有大量的网络爬虫，或者说网络蜘蛛来访问，抓取内容。这个访问数量有些过分。
看这个截图。
排名最前的十位如下：
| 714,290 (36.96%) | 101 (00.07%) | 11.8 GiB (39.11%) | GPTBot/1.2 |
| 47,085 (02.44%) | 299 (00.20%) | 8 GiB (26.31%) | GoogleOther |
| 9,350 (00.48%) | 453 (00.30%) | 578.1 MiB (01.87%) | meta-externalagent/1.1 |
| 35,038 (01.81%) | 20 (00.01%) | 470.2 MiB (01.52%) | Ai2Bot-Dolma |
| 39,785 (02.06%) | 852 (00.57%) | 376.3 MiB (01.21%) | AhrefsBot/7.0 |
| 32,944 (01.70%) | 216 (00.14%) | 375.7 MiB (01.21%) | MJ12bot/v1.4.8 |
| 28,577 (01.48%) | 3,695 (02.48%) | 313 MiB (01.01%) | ClaudeBot/1.0 |
| 3,953 (00.20%) | 967 (00.65%) | 297.4 MiB (00.96%) | Bytespider |
| 13,919 (00.72%) | 943 (00.63%) | 202.8 MiB (00.65%) | Googlebot/2.1 |
| 22,576 (01.17%) | 13 (00.01%) | 170.3 MiB (00.55%) | Scrapy/2.11.2 |
排最前面的几位就是 GPTBot, GoogleOther, A12Bot-dolma，之流。都属于人工智能派出来的网络蜘蛛，来各个网站抓取内容，而它们抓取的内容会怎样使用的，会给你的网站带来访客吗？
基本上是不会的，本质上，这些机器人会抓取你的内容，然后进行索引，对其重组织后，来产生人工智能所编写的内容。
这意味着任何用 ChatGPT 之类的智能工具所攥写的内容都是在剽窃你我的内容。
作为内容的创造者，你会愿意无偿提供内容给他们吗？
来看看 OpenAI 的 GPTBot 干了什么吧？
网站的站长允许 GPTBot 来抓取网站内容，就意味着允许 OpenAI：
- 使用你的内容来训练人工智能模型
- 使用你的网站信息来生成 AI 内容
- 增加了额外的服务器负担，影响普通访客访问网站的效果
作为内容的创造者，我对滥用 AI 的能力，无偿使用原创者的作品，十分担忧，也很反对。
目前我采用了 robots.txt 来封锁 GPTBot 和其它的一些人工智能 robot。
如果还有新出来的人工智能机器人，我不介意把他们加上去，在没有合理的使用原创内容方法之前，还是都封掉为好。