英特尔出席2024上海·AI大模型盛会

一场属于开发者的技术盛宴“AI大模型：颠覆式创新与落地实践”在上海模速空间完美收官，为所有参与者留下了深刻印象与满满收获。

活动当天，来自零一万物、英特尔、未来速度科技、映云科技、仪酷智能、波尔鸭、研扬科技、亿琪软件、云锦微等众多行业翘楚的专家和创始人，不仅分享了大模型领域的最新研究成果，更展示了落地实践的生动案例，激发了现场每一位开发者对未来技术应用的无限遐想。

模速空间总经理陈海慈先生作为场地方代表开场分享，模速空间是专注于大模型产业的生态创新社区，位于徐汇区，去年9月成立，已吸引70+家企业入驻，一、二期场地近2万方载体投入使用，目标建设10万方大模型生态社区。社区提供强大算力支持、丰富语料资源、权威模型测试、充足资金对接及便利备案服务，包括超5000万算力补贴、高质量公共数据、200亿人工智能母基金等，助力大模型产业高速发展。

零一万物开源暨开发者生态总监林旅强以脱口秀的形式展开了活动的分享环节，讲述自己从非技术背景转型为开发者并投身AI领域的经历。转型成功的关键在于个人兴趣与动力，而非恐惧，他鼓励大家主动培养爱好而非被动跟随趋势。并分享了从自学Linux到建立博客、社区互动，再到出版书籍的过程，强调输出和参与开源项目、不断练习的重要性。林旅强提及AI将模糊开发者与产品构建者界限，使两者更融合，认为AI工具将降低代码门槛，未来将帮助快速实现想法落地。

随后，零一万物开发者关系工程师在分享中深入解析了开源大模型现状，指出大模型的核心在于词汇概率预测，训练阶段模型学习单词出现概率，而微调优劣构架构成对话则需监督学习格式。探讨了不同模型间性能差异因素，包括架构、数据、训练科学、效率等，强调数据质量至关重要。指出数据清洗的挑战，提及数据来源与质量把控。讨论了模型训练集与对话学习中的问题，提及数据量与质量平衡，指出Lima路线选择质量高于数量。分享了社区与开源对话数据集的缺乏，以及处理技术如蒸馏分馏的现状，为听众提供了理解大模型学习和开源领域实用指南与挑战的全面视角。

英特尔AI软件布道师武卓博士分享了OpenVINO 2024.1版本的最新特性，强调了对AI模型推理加速和部署的优化。OpenVINO 作为英特尔的开源工具，支持多种深度学习框架模型，包括最新的大模型，并能优化和部署在各种设备上运行。新版本增加了对大模型的支持，如Meta的模型，提高了现有模型的性能。从优化角度，新版本引入混合量化技术，如针对特定模型，显著压缩同时保持图像质量，提升推理速度。部署方面，OpenVINO 支持神经处理单元，新插件让OpenVINO 在AI PC上运行模型推理更高效。整体上，OpenVINO 2024.1展现了对AI大模型部署和优化的强大支持，推动了技术的应用与实践。

杭州未来速度科技有限公司联合创始人兼CEO秦续业在分享中介绍了，聚焦于大模型时代背景下，特别是分布式推理平台Xinference的作用和优化。随着大模型如GPT等的出现，模型愈发庞大，推理效率成为瓶颈。Xinference通过有效利用技术，如KV缓存机制，优化存储访问，减少计算量，加速推理过程。提及Berkeley提出的分页机制，动态调整缓存管理，提高GPU利用率。讨论了模型尺寸问题时，如GPT的巨型，推测性采样技术可减少大模型调用频次，提高吞吐量。整体分享展示了在面对大模型推理挑战，如何通过技术创新和策略优化，实现高效部署，推进AI应用落地。

EMQ社区布道师周子博与智擎信息创始人王曦在联合分享中强调了AI技术落地实践，特别是工业领域中大模型的应用价值。他们提到，通过与EMQ合作，利用IoT系列产品，结合历史数据与新模型预测维护设备异常，帮助企业提前发现潜在问题。企业库产品集成内部信息，加速查询与知识获取，辅助决策。案例中，EMQ与全球500强客户采用该方案，整合设备数据、文档等，提高分析效率，通过AI模型与历史数据融合，实现更直观、快速诊断与报告，助力生产优化。分享突出了AI技术在实际场景中的应用与效能，展示了模型如何提升工业智能分析与决策速度，优化工作流程。

上海仪酷智能科技有限公司CEO王立奇在分享中介绍了LabVIEW与英特尔紧密合作，在AI领域特别是在工业自动化与图形化编程平台上的应用。他们开发的工具包，简化了基于OpenVINO 的推理，使用户无需安装OpenVINO 即可在英特尔硬件上运行模型，在CPU或显卡上进行推理。他们还推出了AI视觉工具包，支持各种视觉应用，包括物体检测、分割等，仅需图形化编程就能快速部署，与英特尔紧密集成，无缝支持最新模型，如V5到V8，让用户直观图形化编程实现AI模型部署。通过这些工具，LabVIEW在工业界展现了AI技术的力量，加速自动化项目的部署与创新。

上海波尔鸭人工智能科技有限公司CEO刘雅丽分享了关于AI应用的挑战与解决方案，特别是大型模型应用的难点，包括高昂算力成本、数据获取与隐私安全、技术瓶颈及人才短缺。她强调了AI Agent（智能体）在提升产品市场适应性上的潜力，能进行目标导向的任务规划与自我学习，实现类似甚至超越人类水平的服务，并提到多智能体协作是未来趋势。刘雅丽还提及了她的实践，通过AI Agent实现自动化售前检测，以及如何构建AI产品并运用黑客增长策略，关注用户留存与获取、裂变机制，最终考虑变现模式。并通过Samantha项目，展示了AI如何成为亲密伙伴，强调了情感维度，展示了AI技术前沿探索与未来可能性，强调了在AI创业中优化商业模式与用户体验的重要性。

上海亿琪软件有限公司CEO褚建琪分享聚焦于边缘计算领域的开源项目EdgeX Foundry，它作为一个开放、灵活的基础设施，支持多硬件与软件互关的框架，旨在促进数据采集、处理与命令下发等边缘端应用。他提到了EdgeX Foundry与OpenVINO 的集成，为边缘设备服务的AI推理提供了便利，并强调了数据汇聚与命令下发的重要性。褚建琪通过介绍EdgeX Foundry与OpenVINO 在边缘计算中的应用实例，旨在帮助企业或用户更好地理解如何利用这些技术进行数据处理、管理与控制，从而提升效率。分享突出了开源项目的核心优势与实践中的灵活性，鼓励技术集成与实际部署，提供了在边缘计算方面的洞见地运用新视角。

研扬科技（苏州）有限公司人工智能BDM徐林吉介绍了研扬科技作为一家专注于制造业的实体企业在AI应用上的探索，尤其是在边缘计算领域的实践与挑战。AI大模型对硬件的需求日益增长，尤其是内存与带宽成为了限制因素，他强调模型部署时需要考虑的硬件配置。徐林吉分享了研扬科技基于英特尔处理器的开发板载板的成功案例，尽管性能相对较低，但仍能部署3b模型，虽精度略降，显示了模型部署的灵活性。他还讨论了内存与带宽的平衡，以及FP精度对性能影响，提出在选择硬件时的参考值。尽管大模型看似需要高性能设备，但通过策略优化，即使是较低配置的硬件也能运行，展示了大模型应用的广泛可能性。活动为制造业如何应对大模型挑战提供了硬件层面的洞见地策略与实际案例。

上海云锦微CTO周昌重点介绍了VT-Transformer框架，一个开源AI模型的计算生态，旨在简化边缘和端侧推理的复杂性，解决AI在硬件多样化环境中的部署难题。当前主流开源框架中存在多层不同框架的代码堆叠，加大了开发者负担，特别是对边缘和端侧等受限算力的部署不友好。VT-Transformer精简化小型化的策略，可以减少从模型到推理的步骤，通过万行代码直接高效操作，大幅简化计算，使得在边缘和端侧的小型场景比如电线杆、房间等部署应用大模型成为可能。同时，VT-Transformer支持多模态、混合模型、以及大小模型协同、云边模型协同，一方面可以全面释放模型的开放性，另一方面也可以全面实现芯片算力的国产化，支持多家国产硬件如海光、天数、爱芯等，充分考虑了与生态的兼容性，以满足实际应用的多样化需求。他强调开源是核心，包括AI模型层、AI计算层都开源才能真正解决安全顾虑，避免出现不可控的黑盒。凭借聚焦精简化小型化策略的VT-Transformer，解决计算，终将使AI在边端广泛应用成为可能，用一种简化与实用的技术路线，为开发者提供了一个更易用的路径，可期有效推动AI技术的产业落地。

活动全程，开发者们积极互动，Demo展区前人头攒动，共创AI未来的桥梁在此悄然搭建。活动虽已结束，但对AI大模型的热情不减反增，开发者们带着新知与灵感离开。再次感谢每一位参与者的热情参与，相约下一次技术盛宴，期待下一站的精彩！