Science封面|麻省理工论文：生成式AI对生产力的影响

专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

麻省理工学院经济学的两位博士Whitney Zhang和Shakked Noy，在Science上联合发布了一份名为《生成式AI对生产力影响》的论文。（地址：https://www.science.org/doi/10.1126/science.adh2586）

该论文主要研究了ChatGPT（3.5版本）在中级专业写作任务中的生产力影响。通过为453名受过大学教育的专业人士分配了特定于职业的激励性写作任务。其中，50%的参与人员可以使用ChatGPT。

研究结果显示，ChatGPT 显著提高了生产力，平均提升了40%的写作效率，内容质量提升了18%。员工之间的不平等现象减少，人们对AI的担忧和兴奋暂时上升。

在实验中接触过ChatGPT的人，在实验结束的两周后，在实际工作中使用ChatGPT的意愿提升了2倍，两个月后提升了1.6倍。也就是说，在接触ChatGPT后人们非常喜欢使用该产品。

研究方法

该论文作者在调查平台 Prolific上招募了453名经验丰富、受过大学教育的专业人员，他们的职业包括营销人员、资深作者、商业顾问、数据分析师、人力资源专业人员和职业经理。

为每一位人员分配了两项特定的写作任务，包括写新闻稿、简短报告、分析计划和详细的电子邮件等。

写作时间在20—30分钟左右，随机分配了50%的人员可以使用ChatGPT辅助写作任务，另外50%不允许使用。

在写作的过程中，主要搜集了使用ChatGPT和没使用的内容质量对比、任务花费时间自我评估和客观评测等数据，以构建公平、准确的ChatGPT使用情况。

实验结果

在使用ChatGPT的人群中，80%的人员选择了在第二项写作任务中使用了ChatGPT，用户对其实用性自我评估平均得分为 4.4 分（满分 5 分）。

在使用ChatGPT之前，70%的参与者听说过 ChatGPT，32%的人以前使用过它。

生产率方面，在使用ChatGPT的人群中，写作任务所需的时间平均减少了11分钟（0.75 标准差），同时写作质量、内容质量和原创性的评分皆有提升；没有使用ChatGPT的人群中，写作任务所需时间平均为27分钟，写作质量、内容一般。

ChatGPT还不能完全取代人类

在使用ChatGPT的群体中，用户使用ChatGPT的方法基本包含两种类型：第一，将写作任务提示粘贴到文本框中，直接让ChatGPT输出写作内容；第二，先让ChatGPT输出写作任务内容，然后在此基础上进行修改。

实验数据显示，直接使用ChatGPT生成的内容，内容质量等方面并没有提升。53%的人员则选择在ChatGPT输出的内容基础上进行了二次编辑，平均编辑时间在3.3分钟。所以，多数内容编辑也都是肤浅的，例如，句子重新排列组合，替换单个句子等。

从目前ChatGPT的能力来看，还不能完全替代人类工作，只能以辅助的形式来使用。如果直接使用其生成的内容，并不能获得很好的内容质量。

主观测试结果

当50%的人群得知，可以使用ChatGPT来进行写作任务时，他们对写作任务的享受度提升了0.47 SD（P< 0.001）；担心AI对其职业生涯产生影响的担忧值 ( P < 0.01) 和兴奋情绪（ P < 0.001）。

总体来说，人们对使用ChatGPT表现出了积极的态度。

总体研究

受过大学教育的专业人士在执行专业写作任务时，在获得 ChatGPT 的使用权限后，其工作效率大幅提高。

ChatGPT提高了低能力工人的内容输出质量，并减少了花在写作任务上的40%时间。总体来说，ChatGPT 减少了员工之间的写作技能不平等。

不过ChatGPT也存在一些局限性，例如，写作内容提示需要逻辑清晰、直接的提示，并没有对复杂的写作内容进行测试；在特定的写作领域，无法对其内容的真实性、可靠性进行确认。

所以，ChatGPT可以辅助人们提升写作的效率，但是在某些特定领域，金融、法律、医疗等，在使用的过程中需要注意其内容的真实性。

本文素材来源science官网，如有侵权请联系删除

END