我用 AI 整理了 5 万条学者邮箱记录:检索 258 所高校,补上论文引用通知系统的关键数据

上一篇,我讲了自己给期刊做的论文引用通知系统。用途就是:期刊发表一篇文章后,给这篇文章引用过的学者发一封邮件,告诉对方,您的研究成果被我们刊物上的文章引用了。

一般来说论文里尾注的参考文献格式是这样的:[1] 刘XX. 人工智能的XXXXXXXX责任问题研究[J]. XX刊物, 2022, 28(1): 78−91。系统可以提取到作者的名字字段和论文题目,再生成通知邮件。所以构建该功能唯一的难点其实只有一个:这些学者的邮箱。

故我要收集学者的公开邮箱,为这个系统补上数据。

我的检索思路源于保研的时候,很多同学寻找导师的途径就是寻找老师在学校官网中个人介绍里留下邮箱。这些邮箱本来就公开放在那里。我要做的,就是进入学院官网,找到师资队伍,再打开每位老师的介绍,把姓名和邮箱整理下来。

如果把范围扩大到全国几百所高校的人文社科院系,同样的点击、查找、复制,就要重复很多很多遍。

于是,我把这件事交给了 Agent。

我的要求很直接:到学院官网上找公开的教师信息,把姓名、学校、学院和邮箱整理到一起,并且保留来源页面,方便以后回头核对。

我不会写采集脚本。这部分也由 Agent 来完成:看网站怎么组织,找到教师名录和个人主页,写程序批量读取,再把结果存下来。

试点能跑通以后,我就让它继续扩大范围,从中国人民大学等学校往外做,最后按一份 258 所高校的名单逐步检索。

最后,这次检索检查了 3,357 个院系入口,从 232 所高校收录了 50,151 条学者邮箱联系记录。这些结果后来被整理成网页、表格和数据库。到了 9 月,我把这批数据正式导入了论文引用通知系统。系统提取出被引用论文的作者以后,就可以到这个库里查找邮箱了。遇到同名、多邮箱的情况,仍然需要核对,但至少已经有了可以查找的资料和出处。

再说一下 Token。回头查主任务的日志,累计记录了约 **11.41 亿 Token**。其中约 **10.95 亿是缓存输入**,占了总量的约 96%;非缓存输入加输出,约 **4,605 万 Token**。

再把它和人工放在一起看,就更有意思了。如果全靠我自己打开网页、找到老师、确认邮箱,再把姓名、学校和来源地址填进表格,需要多久?我没有做人工计时实验,可以先按一个简单的假设来算:平均整理一条有效记录,用 1 到 2 分钟。按一分钟一条,50,151 条需要约 836 小时。每天做八小时,要做 104 个工作日。按两分钟一条,就需要约 1,672 小时,相当于 209 个工作日。

这还没有另外计算打开了页面却找不到邮箱、换学校重新找入口,以及最后集中整理和核对的时间。当然,如果一个页面恰好列着很多人的邮箱,人工整理也可能更快。因此,这组数字是帮助理解工作量的估算。

实际的数据采集,从 8 月 3 日下午持续到 8 月 8 日凌晨,跨了大约四天半。我在其中做的事情,主要变成了确定学校范围、交代收集规则、查看结果,再提出调整要求。逐个寻找网页、提取信息、整理入库的工作,由 Agent 和它写的程序承担。我自己的参与时间还没有精确统计,所以暂时算不出净节省了多少小时。但按前面每条一到两分钟的假设,这批交给 AI 的重复整理工作,已经是约一百到两百个工作日的量级。

这也是我觉得这次经历值得记录的原因。