性能超ChatGPT-3.5,专用金融分析的多模态大语言模型

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

不列颠哥伦比亚大学和Invertible AI的研究人员联合推出了一款用于金融分析的大语言模型FinTral。

FinTral不仅支持文本提示,还支持图表、图片的多模态专业金融分析,例如,用户只需输入某只股票近期的动态,FinTral就能介绍该公司相关背景,还能给出中短期内股价走势的详细预测报告。

为了评估FinTral的性能,研究人员使用了9个主要金融任务和25个数据集的广泛评测。结果显示,FinTral在金融领域的表现超过ChatGPT-3.5,有4项能力超过GPT-4,整体性能超过其他开源大模型

论文地址:https://arxiv.org/abs/2402.10986

FinTral以知名开源大模型Mistral-7B为基础,并针对特定金融领域的内容进行了大规模预训练。研发团队收集来自各类权威金融机构、SEC文件、社交平台的新闻等2000亿tokens文本语料数据,经过筛选与清洗后构建了FinSet预训练语料库。

FinSet覆盖各类货币、证券、企业财报等专业术语,为模型注入丰富的金融知识。

同时,FinTral采用LoRA算法进行预训练,学习能力得以深入优化。以下是FinTral的特色功能。

多模态数据处理

FinTral通过多模态数据处理实现了多维度的文档理解。它可以处理文本、数字、表格和图像数据,这使得模型能够捕捉到金融领域中的各种信息,能更好地理解金融文档中的信息,提供更准确的分析和决策支持。

1)文本处理能力:包括公司的财务指标、经济数据和市场趋势等。该模块包括数值理解和数值推理两个关键组成部分。数值理解通过解析和解读文本中的数字数据,识别关键指标和数值之间的关系。

2)表格数据处理:可处理金融文档中的表格数据,如财务报表、市场数据表格等。该模块使用表格解析算法来提取和理解表格结构和内容,能够识别表头、行和列的标识符,并将表格数据转化为结构化的形式,以方便后续的分析和处理。

3)图像数据处理:可用于处理金融文档中的图像内容,例如,公司财报中的图表、趋势图等。该模块使用了CLIP视觉编码器,它是一种预训练的模型,能够将图像转化为向量表示。

通过将图像编码为向量,FinTral可以将图像数据与文本数据进行关联和综合分析。例如,可以分析财务报表中的趋势图,并结合文本数据进行相关性分析和预测。

为了进一步提高模型在金融领域的性能,对FinTral进行了指导微调,使其能够更好地适应金融文档的特点和需求,同时可以提高模型在金融分析任务中的准确性和效果。

FinTral使用了一种直接策略优化方法。通过与GPT-4生成的响应进行对齐,FinTral可以用直接策略优化的方法对模型进行训练,优化模型的生成能力和表达能力。这种方法可以提高模型在金融领域任务中的表现,并减少模型的幻觉现象。

本文素材来源FinTral论文,如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区