精算大数据应用实践 （上篇）
大数据时代，精算师如何继续突破 November 2022近年来，随着新技术的不断更迭,大数据的概念和体系不断完善,对大数据的应用也更加深入和广泛。各行业、领域在数字化转型以及大数据融合应用中不断创新和突破，比如利用大数据改进现有业务流程、扩展出新的业务形态等等。对于精算师而言，在大数据下能够使用的数据量更大、数据维度更丰富，我们可以更好地发挥精算作用，有助于提高风险管理能力，更好地服务消费者。
本文上篇介绍全文第一部分浅析大数据时代下的精算思维转变，第二部分基于当前初步探索及实践情况，介绍精算大数据应用的前两个步骤。
大数据时代下的精算思维转变
满足经营管理需求的必要性。当前我国寿险客户需求呈现多元化趋势，科技发展、客户需求转变、利率环境变化等，都给寿险经营管理带来较大变化，行业发展需要采用大数据等新技术提升风险管理水平。为了满足新时期下对经营管理的更高要求，我们需要提升场景化、个性化、差异化和精细化的产品经营与服务能力。
数据积累与技术进步提供了客观可能性。多年的高速发展已经积累和沉淀了很多数据资源，数据平台以及技术能力的提升也使我们具备了处理庞大规模和复杂数据形式的能力。通过合理融合与应用，能够使数据发挥更大的价值，使我们的管理更加有效。
发挥精算专业优势，合理运用大数据资源与技术。保险经营的本质是对大量同质风险的集合与分散，精算技术的作用原理是基于大数法则开展经验分析。精算人员具有天然的数据敏感性，具备很强的数据思维和数理分析能力，并且具备多学科专业知识以及专业的建模能力，通过学习、掌握大数据技术，并在此基础上综合运用知识技能，将能够更好地发挥大数据作用，提供更加精细化、专业化的精算服务支持。
精算大数据的初步探索与实践
精算的工作机制养成了精算师综合长期和短期、平衡风险与价值的特有思维方式，这种特有的思维方式以及综合的专业技能使得精算师的职业领域不断拓展和延伸，在公司经营管理的前、中、后端发挥着纽带作用，从而能够洞悉更多场景，并利用专业优势开展相关工作。我们在精算大数据应用中的具体流程主要分为四个步骤：
- 场景需求分析及方案制定
- 数据处理及特征工程
- 建模及模型性能评估
- 落地应用
场景需求分析及方案制定
场景需求要从产品设计、投资管理、营销支持、风险管理、理赔和运营等公司的经营管理环节中进行分析和挖掘，并基于各环节的工作开展流程主要思考以下两点：
- 是否有充分的数据，能够为场景提供基础性支撑和精细化支持
- 面对洞察到的场景需求，以资产负债管理理念为统领，从公司整体、全局、长期角度制定相应解决方案，从而让这些场景更高效、更优质
例如在赋能差异化风险防控方面，我们利用精算大数据对销售第一道风险防控进行差异化评估，优化相关政策，从源头上降低潜在风险、提升效率。
数据处理及特征工程
在场景需求分析后，需要基于建模方案、业务逻辑等对可用数据进行采集、整理和探查，处理和加工建模数据，并进行特征构造和衍生。
第一步是数据预处理。首先要对数据进行简单清洗，处理缺失数据、异常数据和不一致数据，并构造基本分析单元，例如以个人、家庭或者保单等作为数据加工的基本单元。
第二步是特征工程。一个好的特征工程，需要结合大量的业务逻辑和专家经验，特征工程的完善程度也会对模型效果产生巨大影响。精算师在对业务本质的理解上和对寿险经营逻辑的把握上具有丰富的经验，因此在特征工程方面能够发挥重要作用，针对场景需求进行有针对性的特征构造和衍生。
第三步是建模数据准备。需要结合不同的建模目标及数据特点，采用不同的数据结构处理方式。例如在前期实践中，我们根据数据特点较多地使用了“全量上三角形生成法”生成数据集，从而对样本进行连续观察和信息更新。需要注意的是，由于寿险保单与客户的特点，我们需要关注例如数据集膨胀与信息熵逐渐降低的情况，进一步研究和完善对模型训练集、验证集和测试集的划分方法，并对模型效果和价值进行合理评估，以保证后续应用更加科学有效。
以上我们对精算大数据应用中的场景需求探查以及数据特征处理进行了介绍，下篇将对精算大数据建模以及应用落地进行探讨，并对未来精算大数据应用工作提出一些初步思考和展望。
本文主要基于公司在精算大数据方面的工作实践情况进行整理，特别鸣谢利明光先生、侯晋女士的悉心指导和大力支持，感谢李祥烨先生参与讨论。
以上陈述及评论仅为作者个人观点，不代表北美精算师协会（SOA）或其相关雇主言论和观点。
Copyright © 2022 by the Society of Actuaries, Chicago, Illinois.