概览
Engineering Ingegneria Informatica是一家享誉国际的数字系统集成领域的专家，它在全球50多个办事处拥有11000多名员工。其旗舰项目之一是一个平台生态系统，该平台可使其他技术实现彼此交互——交换价值、数字化流程、开发数字服务并为用户创造价值，特别是通过数字化转型的杠杆理念。
意大利知名电力变压器铁芯生产商LAGOR，是欧洲首家提供电工钢切割服务的公司，并且仍然是变压器铁芯市场的领导者。但是，随着产量的提高和业务的扩张，该公司面临着扩展生产流程的问题。Lagor委托Engineering解决生产系统中的瓶颈和堵塞，从而实现生产优化。
问题：
生产仿真展示
生产仿真限制
电力变压器铁芯由多层线圈制成，重达八吨，并且根据其尺寸和客户特定要求，需要不同的生产周期。
强化学习优化生产过程排序仿真
用于优化生产过程的学习策略
电力变压器铁芯的生产从铁芯相互的叠放开始，最终达到所需的厚度。在整个生产过程中，材料保留在钢托盘上。这些托盘使用滚轴或往复式输送机在不同的工作站之间移动。
根据生产周期的不同，所有的铁芯都要经过加工，有的铁芯要经过喷漆站和固化站，最后，对所有铁芯进行测试。即使钢托盘是空的，也永远不会将其从产线上卸下。
最初，产线调度是人工进行的，且时间较短，这种方法经常会出现问题，即产线上的对象会产生瓶颈。解决主要堵塞问题的最实用方法是用起重机卸下铁芯并重置整条生产线。为了提高效率，Lagor联系了Engineering。 他们将共同简化产线的操作，并更好地管理车间作业。
对通过强化学习优化的整个制造生产周期进行仿真
解决方案:
在AnyLogic生产仿真功能的帮助下，顾问们创建了一个模型作为生产系统的数字孪生。借助数字孪生技术，他们将来自运营领域的实时数据直接输入到生产仿真模型中，以更好地了解问题并预测生产设施的未来性能。他们使用基于智能体的建模方法对项目的特有功能进行建模，包括多种的铁磁芯类型、相关的生产周期和可变的生产计划。
数字孪生技术帮助重现了生产过程中的各种要素，例如：
- 钢托盘——关键资源，铁磁芯存放在生产线上。 法规规定不得从生产线上卸下货盘。
- 电力变压器铁磁芯，它们在工作站之间移动，具体取决于其生产周期。
- 输送机——托盘承载组件，可以是静态的（滚动）或移动的（往复）。
在设计了数字孪生模型之后，顾问将生产设施中的数据连接到监控和数据采集系统（SCADA），以获取更新的生产线状态。他们还创建了一个虚拟智能体作为生产线管理器，该智能体为每种情况寻求最佳路线，以避免不必要的操作和可能出现的危险，并且解决冲突的同时确保交货日期。为了控制生产线并获得更好的结果，生产线管理器使用了嵌入式的基于启发式算法。
车间的数字孪生使用实际数据，有助于再现生产和决策过程，调查生产计划，并在遵守交货日期的前提下验证所选计划是否可以实现。借助新的数字孪生仿真工具，Lagor工程师可以使用“假设”方法在无风险的环境中成功地重新安排生产顺序。
因此，该系统已经可以在生产中实施，并有助于规避问题并降低成本。尽管如此，该系统还是有局限性的，即使是经过精心设计的产能计划和具有高度工程启发式的序列调度，仍然偶尔会遇到瓶颈。顾问们希望摆脱复杂的启发式方法，并开发一种能够确定最佳移动顺序的新方法。
AnyLogic过程仿真软件的灵活性和可定制性使工程师能够创建强化学习解决方案。通过将来自Skymind的RL4J深度强化学习包集成到AnyLogic生产仿真模型中，对智能体进行训练，可以确定生产线上铁芯的移动并将铁芯引导到目的地。仿真模型是AI算法的理想选择，因为它们代表了一个现实环境，在这个环境中可以训练与算法有关的智能体。
在这种情况下，一开始，学习型智能体不知道铁芯位置和可用操作之间的联系，因此它会做出随机决策，这些决策有时在物理上是无效的（下面视频中的红色箭头）并且不会导致状态更改。在学习过程中，智能体将所有交互信息存储在其内存中，并通过探索新策略来发现更好的策略。每次实现目标后，布局都会随机变化，然后重新启动仿真。与环境交互的丰富经验使智能体最终可以针对任意的给定情况推断出最佳决策。经过训练后，智能体可以有效地执行其任务。
结果:
成功应用深度强化学习后，制定了可以有效管理生产线移动并避免瓶颈的策略。顾问能够重现整个生产过程，并以一种避免可能出现的最少瓶颈的方式训练算法，从而更好的实现生产计划的优化和节约资金。该项目成功的关键是AnyLogic数字孪生仿真技术以及与机器学习技术的连接，使其可实现真实系统及其数字副本之间的无缝数据集成。
详细了解为何要集成 AnyLogic 模型与AI。
观看Luigi Manca在下载演示文稿。
