虹软科技2023年年度董事会经营评述公司专注于计算机视觉领域，为行业提供算法授权及系统解决方案，是全球领先的视觉人工智能企业，始终致力于视觉人工智能技术的研发和应用，坚持以技术创新为核心驱动力，在全球范围内为智能设备提供一站式视觉人工智能解决方案。
作为全球影像视觉技术的赋能者，公司秉承成就客户、创造价值的理念，持续自我突破并挑战新的技术边界，致力于在产业迭代的潮涌中破浪前行，在成就客户的过程中创造企业价值。2023年，公司以创新驱动企业发展，巩固扩大了在移动智能终端领域的技术和市场优势，大力开拓了智能汽车领域的新市场和新客户，同时着眼产业趋势进行前瞻性的技术培育和业务布局，公司进一步夯实了核心竞争力，实现了新质生产力在公司业务上的落地实践。
2023年，全球智能手机出货量继续下滑，据Counterpoint统计，2023年，全球智能手机出货量为11.5亿台，同比下降6%，创下十年来的新低，其中第四季度实现反弹，为后续市场复苏带来信心。与整体出货量呈现的下滑形成对比，高端智能手机出货量创下增长的新纪录。在这一领域，公司为手机拍摄所打造的创新性全链路超域解决方案正赢得更多客户的青睐与认可，基于智能超域融合（TurboFusion）创新技术研发和推出的夜景、HDR、超分、人像、运动抓拍解决方案实现了量产落地并持续出货。2023年度，公司智能手机业务收入实现较好增长，带动移动智能终端视觉解决方案实现营业收入58,129.02万元，同比增长22.82%。
2023年，中国汽车产销继续同比增长，据中汽协统计，2023年，中国汽车产销量分别达3,016.1万辆和3,009.4万辆，同比分别增长11.6%和12%。在这一领域，随着公司智能汽车业务定点数量的增加及其相应的定点产品量产交付，项目生命周期内对公司营业收入有积极贡献。2023年度，公司智能驾驶及其他IoT智能设备视觉解决方案实现营业收入7,429.40万元，同比增长67.26%。
报告期内，公司实现营业收入67,025.44万元，同比增长26.07%；实现归属于上市公司股东的净利润8,848.77万元，同比增长53.03%。公司重点开展并推进了如下工作：
公司不断推出新技术和多品类算法产品，持续为智能手机、平板电脑、笔记本电脑等领域的OEM客户提供强劲动力。公司于2022年打造并推出了TurboFusion创新产品系列，为行业带来了开创性的全链路超域解决方案。与传统的硬件升级模式不同，TurboFusion技术聚焦于软件层面的优化和处理，通过利用公司高并发异构计算框架构建了“软件ISP”平台，在此基础上实现对图像的智能处理。这一创新不仅改善了图像的动态范围、减少噪音，还进一步优化了图像的细节和色调映射，为用户带来更高清、灵动的影像拍摄新体验。
报告期内，针对消费者普遍关注的画质、人像、影调、抓拍、色彩五大需求，公司提炼整合出升级的TurboFusion架构；同时，公司加速产品化落地，在原有夜景、HDR、超分产品应用的基础上，扩展应用至运动抓拍、人像抓拍、长焦超清、高分辨率超分等视觉解决方案，该产品系列正赢得更多客户的青睐与认可。
公司前瞻性布局了XR领域，从标定、感知、交互和视觉呈现四个维度构建了一套完整的虹软空间计算技术体系，为客户打造了一站式、全方位的产品解决方案。公司在大力更新技术的同时，也与多家业界头部厂商保持密切沟通和交流，持续扩大技术合作生态圈。
报告期内,公司持续优化基础技术指标，并已将大部分核心技术嵌入到了OpenXR框架中，为客户和开发者提供丰富、灵活且易于整合的产品组合。
针对头显SLAM和手柄SLAM，公司提升了定位和跟踪精度，为用户在虚拟现实和混合现实环境中提供更准确、稳定的体验。SLAM解决方案为设备提供定位和环境感知能力，使用户能够在现实世界和虚拟世界之间无缝切换。
针对视频透视（VST）相关算法，公司将整个流程的时延优化到了业界领先水平，使得人眼通过头显观测到的动作和实际的动作时延大幅缩短，进一步提升了佩戴者的临场感体验。VST解决方案可以让用户通过设备的摄像头实时观察周围环境，从而更好地融入虚拟体验中。
公司还重点实现并改善了XR头显手眼联合交互技术（HandandGazeFusionInteraction），该技术融合了手势交互技术（用户可通过手势动作来控制虚拟物体）和眼动追踪技术（跟踪用户视线，并根据其注视点进行相应操作），通过分析手部、眼部的运动轨迹及其关系，实现手眼协调的交互操作，给用户提供了更自然和直观的交互方式，让用户可以通过手势和视线来操控虚拟世界。
报告期内，公司客户数量、合作深度继续拓展，陆续获得多家车企及Tier1定点。2023年1月以来，新增与长安新能源、长城、睿蓝、极氪、吉利、合众、长安、岚图、奇瑞、北汽新能源、一汽红旗等车厂在内的多个前装量产定点项目。
报告期内，公司舱内外算法产品搭载量持续提升。分别搭载了公司DMS、OMS、FaceID、TOF手势、舱外体态识别拍照、健康监测、AVM、智能尾门、哨兵监测等算法的量产出货车型累计已有数十款。随着定点产品量产交付，项目生命周期内对公司业绩产生积极影响。
报告期内，公司舱外算法产品逐步量产交付。公司具备3D能力的AVM自推出以来累计获得了几十款车型的定点，并有近二十款实现量产，基于AVM摄像头的扩增产品如智能尾门、视觉的哨兵监测也已完成OEM客户的定点导入并实现量产。此外，具备红外夜视能力的ADAS产品也成功完成定点导入。
报告期内，公司助力车企开拓国际市场。公司迄今累计取得了二十余款海外车型定点项目，其中已有十余款量产出货，覆盖欧盟、英国、挪威、以色列、澳大利亚、新西兰等地区。随着国内自主品牌主机厂商的量产车型持续出海，依托公司在合规能力上的竞争优势，公司在出海的车载量产业务上也会继续提升。
报告期内，公司持续迭代VisDrive一站式车载视觉软件解决方案。伴随着智能座舱芯片的发展，智能座舱SoC芯片的CPU、DSP、NPU、GPU等内核算力获得大幅增强。公司将继续与高通等主流厂商合作，基于这些主流的方案平台更新迭代VisDrive一站式车载视觉软件解决方案，把视觉融合的自动泊车（APA）、记忆泊车（HPA）等泊车辅助功能迁移到座舱中，实现舱泊一体的完整解决方案，并进一步将智驾（ADAS）和泊车辅助功能（APA、HPA）整合为中高端芯片平台的一体化行泊视觉解决方案。
报告期内，公司面向舱内的前装软硬一体车载视觉解决方案Tahoe系列产品获得多家国内外主机厂的合作项目，在帮助主机厂满足国内外DMS法规要求的主动安全功能同时，还可搭载公司智能座舱软件，在舱内智能互动及舒适性功能方面为主机厂提供可快速量产的可行选择。目前，Tahoe系列产品已经获得数家海外车厂多款车型的全球量产项目定点。
报告期内，公司面向舱外的前装软硬件一体车载视觉解决方案Westake产品化进程加速，通过精益化软件架构设计与开发集成，达成了单颗SoC行泊车功能一体的产品化开发目标。①行车方面，AEB等安全类的功能根据区域性法规和行业标准需求进行了迭代；ACC、LCC、ILC等舒适类的功能在复杂场景中的性能表现得到进一步优化；L2+类的功能高速领航辅助已完成开发部署，并在实车测试中表现出色。以上功能均通过了阶段性里程累计测试，行车类功能性能显著提升，视觉感知算法达到准量产水平。②泊车方面，基础的垂直、水平、斜列车位泊车功能持续提升，同时机械车位泊车功能通过全新的感知及规控算法得以实现。
基于公司车载视觉技术及产品的长期积累，公司面向商用车市场提供驾驶安全的一站式解决方案。在该领域，公司提供DMS、预警ADAS、BSD、AVM等一系列的软件算法解决方案，在报告期内已经有规模化出货。同时，为满足欧盟最新的GSR法规要求，公司提供能够满足GSR法规要求
的DDAW/ADDW/BSIS/MOIS/ISA/LDW等多项功能的AiTrak软硬件一体解决方案，报告期内已经成功取得多家客车主机厂的出口车型定点。
报告期内，公司通过扩充算力中心、升级ArcMuse计算引擎、引入研发、市场和销售端人才等举措持续完善AIGC能力架构。公司除在2023年推出了AIGC相关新技术和新产品，实现在移动智能终端和智能商业拍摄领域的实践落地外，AIGC技术还正在赋能公司智能汽车业务研发测试等环节，将加速公司舱外产品的落地和迭代进程。
AIGC技术持续快速发展，随着大模型参数量小型化和手机芯片算力的不断提升，更多的AIGC和大模型相关应用将进一步从云端下放到端侧，带动AI手机算法应用的爆发。公司也在积极布局，不断探索AIGC在手机端侧的新应用和新产品。例如，公司于报告期内研发了扩散模型图像超分辨率、扩散模型图像深度信息和AIGC星空扩图等解决方案。扩散模型图像超分辨率和深度信息解决方案均运用了Diffusion扩散模型，实现了图像超分辨率、画质增强技术以及对图像深度信息的精准计算。AIGC星空扩图解决方案中，通过公司智能寻星解决方案实现寻找并定位图像中的星体位置，用于指导Diffusion扩散模型在执行扩图任务时，生成出真实性高并且更大视野的星空摄影图像，提升用户星空拍摄的后续体验。
报告期内，公司与高通、联发科等芯片平台公司开展合作，在其智能芯片平台上进行关于AIGC的应用演示，如在10月召开的2023高通骁龙峰会上展示了基于新一代骁龙8移动芯片的虹软创新性视频应用“VideoObjectEraser”，11月召开的MediaTek天玑旗舰新品发布会上展示了虹软基于新一代天玑9300旗舰平台推出的“生成式AI超级分辨率技术”。基于更先进平台的特性，公司将下一代影像提升至更高水平，为用户带来前所未有的影像产品和视觉体验。
随着电商销售行业的迅猛发展，服装和各类商品的效果展示图已经成为商品销售的重要部分。对于供应商和销售商来说，制作高质量的服装和各类商品的展示图是一项重要且颇具挑战的任务。传统外包给商拍工作室的模式，存在成本高企、效果受限、过程耗时、操作繁琐、模特缺乏、反馈延迟、复用性差等问题。
为了解决这些问题和不足，公司利用基于多年积累的包含有效语义的大量样本，以及丰富的面向商拍应用的新样本集，为智能商拍构建了一套专有的ArcMuse计算技术引擎，它融合了虹软视觉大模型、视觉小模型、CV&CG技术和计算摄影技术。依托于ArcMuse计算技术引擎，公司于2023年第三季度上线了PhotoStudioAI智能商拍云工作室商品版和服装版。
报告期内，公司不断优化ArcMuse计算技术引擎，迭代视觉大模型，同时优化基于边缘检测、几何、深度恢复和智能分割等核心引擎的条件视觉小模型，对于用户输入的各类真人图、人台图或者商品图，均可高质量生成服装模特展示图和商品展示图。同时，公司2023年第四季度在PhotoStudioAI服装版中正式推出了衣服图功能，仅需一张长袖或者短袖衣服平铺图，即可智能生成服装模特展示图。此外，还新增实现了一系列AI编辑功能，包括画质增强、智能美化、魔法擦除、智能补光、随心变形等丰富的AI编辑工具，通过深入商拍垂直领域，ArcMuse展现卓越效能，全方位提升商拍图片的美感和质感，并助力用户在效率、创意和成本控制方面取得更大的提升。
在智能汽车业务领域，公司构建并不断完善产品合规和质量管理体系，在DMS等产品上形成了领先于同行的市场竞争优势，并基于此获得了多个国内外合规类产品量产定点项目。2023年，公司在产品合规能力以及质量体系建设方面的重点工作内容如下：
在产品合规测试方面，公司致力于确保智能汽车产品符合国内外各项法规要求。2023年，公司智能汽车产品通过了多项欧盟准入法规的测试，包括适用于(EU)2019/2144ADDW的高级驾驶员分心警告系统、适用于UNReguationNo151的车辆盲区检测系统、适用于UNReguationNo159的行人移动监测系统，正在进行（EU）2021/1958ISA智能速度辅助系统的STU认证，这些举措旨在为客户提供面向海外的合规产品，为其拓展海外市场奠定坚实基础。与此同时，公司紧追国内车载产品标准，目前公司舱内DMS软件已配合主机厂通过C-NCAP、C-IASI等最新标准测试，展现产品能力。
在产品网络安全方面，为确保公司智能汽车产品网络安全管理符合全球多个国家和地区的法规要求，公司在2023年初步搭建了ISO/SAE21434汽车网络安全管理体系，并在商用车海外项目中落地实施了网络安全开发，在设计、开发和生产过程中均采取了必要的安全措施，有效降低了汽车产品在整个生命周期内受到黑客攻击、数据泄露和操纵等安全威胁，提升了产品在整个生命周期内的安全性。
在产品功能安全方面，在2023年，公司基于通过认证的ISO26262功能安全管理体系进行项目落地，并在体系实践过程中持续改进，通过了认证机构在体系适用性和持续改进方面的年审。
在隐私数据合规方面，基于《中华人民共和国个人信息保》《中华人民共和国数据安全法》、智能网联汽车数据通用要求等法律法规的要求，公司在产品端的个人信息和隐私保护方面做了明确的梳理和优化，对涉及用户相关数据的过程采取了更加可靠的技术措施，并对隐私政策的管理上进行了改进，在产品测试环节开展隐私数据合规的专项测试和安全检查，只有测试通过和安全检查通过的版本（不遗留中高级别问题）才可发布。
在质量体系方面，2023年6月，公司智能汽车智能感知软件项目获得了iNTACS最高级评估师的AutomotiveSPICE能力等级评估，被认定达到了AutomotiveSPICE能力等级2的汽车软件开发过程能力。同时，公司开始在合资项目中执行该标准，为车厂和OEM厂商提供高质量的产品与服务。
在前期取得ISO9001质量管理体系认证基础之上，公司于2023年开始进行ISO9001质量管理体系、ISO14001环境管理体系和ISO45001职业健康安全管理体系的合并建设，并于2024年年初完成认证。
报告期内，公司树立了稳定现有团队结构、实现人才结构均衡配置和人才质量有序提升、有效激发团队活力的人才管理目标。在该目标的指引下，公司重点展了如下工作：
公司践行“专业专注、学习创新”“坚持创新、追求卓越”的人才培养理念，重点推动各层次人才专业能力发展提升。报告期内，公司新增开设“管理培训研修班”，带动一线业务管理者提升管理全局思维，提高组织能力与目标管理、高效团队管理能力；组织年度“项目管理训练营”活动，培养具备跨部门协作的项目管理骨干；开设“学习发展嘉年华”课程，分享培养挖掘内部优秀讲师；设计实施“虹鹰训练营”活动引导新员工积极融入公司氛围，为新员工提供了展示其工作潜力和综合素质的新平台。同时，公司持续强化技术创新文化氛围建设，通过开展“工程质量奖”“信息安全卫士”“专利启航”等评选活动，继续促进学习型组织和技术创新文化的传承和沉淀。
公司在持续做好内部人才梯队建设、通过校招引入新生力量的同时，根据技术、业务的最新方向及需求，迅速响应、及时调整和优化了人才战略布局，陆续引进了智能汽车、AIGC等特定领域业务攻坚型人才，提前储备、培养具备国际化业务能力的人才以适应智能汽车海外市场拓展需求。
公司着重对各类专业人才、管理人才进行梳理盘点，对涉及核心技术架构、工程研发、产品管理等类别的资深专家级人才和高潜力青年骨干人才的岗位分布、任用配置、能力发展、效能评价等内容进行系统评估，优化员工职业发展通道体系，初步构建了多类别、多元化的人才发展模式。在这一过程中，公司提拔、任用了一批业绩、能力表现优秀，有发展潜力的新生代骨干人才充实到研发、产品、销售、运营等重要岗位上，进一步激活了人才队伍的内在驱动力。
在内部控制方面，公司已建立了内部控制体系，制定了相应的内部控制制度，并在报告期内不断改进和完善，继续深化内部控制体系建设，逐步实现权责明确、管理科学，以保障公司规范运作和健康发展，实现公司战略和经营目标。报告期内，围绕法律、行政法规、证监会部门规章以及交易所业务规则的最新要求，公司于2023年11月启动了对现有治理制度的梳理工作，全面系统地修订或新增了包括《公司章程》《独立董事工作制度》《独立董事专门会议工作制度》等共计十七项治理制度，并已经公司第二届董事会第十五次会议审议通过，相关制度还将提交2023年年度股东大会审议。
公司专注于计算机视觉领域，为行业提供算法授权及系统解决方案，是全球领先的视觉人工智能企业，始终致力于视觉人工智能技术的研发和应用，坚持以技术创新为核心驱动力，在全球范围内为智能设备提供一站式视觉人工智能解决方案。
公司拥有丰富的针对智能手机等移动智能终端以及智能汽车的视觉算法产品线，主营业务收入来源于自主研发核心技术的授权许可使用。目前主要客户包括三星、小米、OPPO、vivo、荣耀、Moto等全球知名手机厂商以及国内主要的自主品牌、部分合资及外资品牌汽车主机厂商。
针对智能手机，基于多年的研究开发，公司可以提供目前市面上大部分主流智能手机视觉人工智能算法产品，包括单/双/多摄摄像头在各种场景下的拍摄和高质量成像、深度摄像头在各种场景下的拍摄和高质量成像、潜望式长焦摄像头无级变焦、3D建模、全景、SLAM、AR/VR、人脸解锁、超像素无损变焦、驱动等重要核心功能。在笔记本电脑上，公司从画质、隐私、美颜等几个方面来提升用户视频会议体验。通过视频去噪、提升动态范围来改善会议时的画质；通过背景虚化、换背景实现用户隐私进行保护；通过人像美颜、自动居中、人脸细节恢复和增强、眼镜去反光等技术提升视频会议效果。
在XR领域，与多家业界头部厂商保持密切沟通和交流。在VR/MR/AR智能可穿戴设备上，公司从标定、感知、交互和视觉呈现四大方向布局算法解决方案。可以提供VR/MR/AR一站式多传感器标定解决方案，头显6DoF跟踪、平面检测、稠密重建、语义分析、深度估计、实时/手部分割、实时3DMesh重建等空间感知解决方案，手柄6DoF跟踪、裸手3D手势交互、视线跟踪和虚拟数字人表情驱动、驱动等交互解决方案，以及异步时间扭曲、异步空间扭曲、视频透视（VST）等视觉呈现解决方案。
在智能汽车领域，面向舱外，公司在行车辅助功能上储备了基于前视、周视、环视、后视、夜视摄像头系统的视觉感知算法，可以提供ACC、LCC、AEB、ILC等高级智能驾驶辅助功能；在自动泊车功能（APA）上储备了视觉感知算法、视觉融合算法、规控算法；提供360°环视视觉子系统，支持2D/3DAVM全景影像功能，支持透明底盘功能。面向舱内，公司主要在DMS、OMS两种产品形态上积累了一系列视觉感知算法，可以提供例如疲劳检测、分心检测、健康监测、身份识别（FaceID）、手势识别、遗留提醒等座舱监控、互动系统功能。
1、盈利模式：公司主要盈利模式是将计算机视觉算法技术与客户特定设备深度整合，通过合约的方式授权给客户，允许客户将相关算法软件或软件包装载在约定型号的智能设备上使用，以此收取技术和软件使用授权费用。同时，公司也向客户销售软硬一体视觉解决方案。
2、研发模式：公司主要采取自主研发的模式。研发过程大致分为以下9个步骤：①获取需求信息；②管理层决策研发方向；③搭建研发项目组；④验证研发项目算法，进行项目测试；⑤集体讨论决策项目算法；⑥进行底层算法与实际环境的结合优化；⑦进行实际产品结合测试；⑧产品成熟后路演，选择合适的客户进行测试合作；⑨测试合格后大规模推广。
3、销售模式：公司采用直销的方式，主要向智能手机、智能汽车、笔记本电脑、智能家居、智能零售以及各类带摄像头的AIoT设备制造商销售计算机视觉算法软件及相关解决方案。
4、收费模式：按照业务合同的不同类型划分，公司的计算机视觉算法软件主要收费模式可划分为固定费用模式和计件模式两种模式。①固定费用模式：按合同约定的软件授权期限，收取固定金额的软件授权费用。特定客户在软件授权期限内，针对某款、某系列的特定设备内，可以合法地把含有虹软科技算法技术的特定软件无限量装载在合约限定的智能设备上。②计件模式：在合同约定的软件授权期内，按照客户生产的装载有虹软科技算法技术智能设备的数量进行收费。通常情况下，公司会与客户就不同生产数量区间，约定阶梯价格，保障双方利益。针对软硬一体解决方案，公司目前采用计件模式。
5、采购模式：公司的主要采购内容包括运营、研发和测试所需的各类硬件设备、软件、服务，以及产品解决方案所需的物料等。根据需求部门的请购申请，采购部门按照《采购管理制度》的要求，执行供应商选择、采购合同签订、合同执行跟踪、采购付款申请等流程。针对软硬一体解决方案，由公司进行硬件的设计并购买相应部分核心部件后，委托第三方进行组装生产。
根据《国民经济行业分类》（GB/T4754-2017），公司所属行业为“I65软件和信息技术服务业”中的“I6513应用软件开发”。根据中国上市公司协会《中国上市公司协会上市公司行业统计分类指引》，公司所属行业为“信息传输、软件和信息技术服务业－软件和信息技术服务业”，行业代码为“I65”。
公司从事计算机视觉技术算法的研发和应用，主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案，根据公司主要产品功能及服务对象的特点，公司所属行业为计算机视觉行业，属于软件和信息技术服务业。
根据国家发改委公布的《战略性新兴产业重点产品和服务指导目录2016版》，公司属于“新一代信息技术产业”。
在新科技和产业变革的大背景下，人工智能加快向各产业渗透，日益成为科技创新、产业升级和生产力提升的重要驱动力量。视觉人工智能行业为各类人工智能应用提供基础支持技术，广泛应用于各类人工智能细分领域。政府积极出台政策促进人工智能技术发展和应用，深化落实与视觉人工智能息息相关的人工智能、智能制造、信息化和工业化的相关政策，为视觉人工智能的发展提供了政策与配套资源支持。2023年以来，新出台的主要人工智能产业政策如下：
2023年2月，国务院印发了《数字中国建设整体布局规划》，明确数字中国建设按照“2522”的整体框架进行布局，推进数字技术与经济、、文化、社会、生态文明建设“五位一体”深度融合；推动数字技术和实体经济深度融合，在农业、工业、金融、教育、医疗、交通、能源等重点领域，加快数字技术创新应用；提升数字文化服务能力，打造若干综合性数字文化展示平台，加快发展新型文化企业、文化业态、文化消费模式。
2023年3月，在《2023年国务院政府工作报告》中，提出要大力发展数字经济，支持平台经济发展，促进数字经济和实体经济深度融合，加快传统产业和中小企业数字化转型，着力提升高端化、智能化、绿色化水平。
2023年7月，国家网信办联合国家发展改革委、教育部、科技部、工信部、、广电总局公布《生成式人工智能服务管理暂行办法》，鼓励生成式人工智能技术在各行业、各领域的创新应用，生成积极健康、向上向善的优质内容，探索优化应用场景，构建应用生态体系。支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。同时，对生成式人工智能的服务规范、监督检查和法律责任等方面进行了规定。
2023年7月，工信部、国家标准化管理委员会发布了《国家车联网产业标准体系建设指南（智能网联汽车）（2023版）》，提出到2025年，系统形成能够支撑组合驾驶辅助和自动驾驶通用功能的智能网联汽车标准体系。到2030年，全面形成能够支撑实现单车智能和网联赋能协同发展的智能网联汽车标准体系。
2023年7月，国家发展改革委等部门印发了《关于促进电子产品消费的若干措施》，提出加快电子产品技术创新。顺应新一轮科技和产业变革趋势，推动供给端技术创新和产业升级，促进电子产品消费升级。鼓励科研院所和市场主体积极应用国产人工智能（AI）技术提升电子产品智能化水平，增强人机交互便利性。依托虚拟现实、超高清视频等新一代信息技术，提升电子产品创新能力，培育电子产品消费新增长点。
2024年3月，在《2024年国务院政府工作报告》中，提出要深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群。
2024年3月，国务院印发《推动大规模设备更新和消费品以旧换新行动方案》，提出开展汽车以旧换新，加大政策支持力度，畅通流通堵点，促进汽车梯次消费、更新消费。组织开展全国汽车以旧换新促销活动，鼓励汽车生产企业、销售企业开展促销活动，并引导行业有序竞争。
据Counterpoint数据统计，2023年全球智能手机出货量为11.5亿台，同比下降6%，创下十年来的新低。面对日益加剧的市场竞争，手机厂商不断推动创新和产品优化，使得智能手机在设计、处理能力、显示技术和摄影功能等多个方面持续进步和演变。尽管智能手机的总体出货量呈现下降趋势，但已发展近五年的折叠屏手机凭借差异化为手机市场带来活力，成为高端手机迭代的方向。在消费者最为关注的摄影能力方面，领先的手机制造商不仅致力于提升产品的计算摄影技术，还通过其产品展现了对计算摄影艺术的深刻理解和独到见解，是塑造其独特竞争优势的关键因素。
2023年，AI大模型技术吸引了市场的广泛关注。在消费电子领域，主要的芯片厂商如英伟达、高通、联发科等都在加大对AIGPU的投入。各大手机厂商也在积极推进AI技术的研发和应用。2024世界移动通信大会上，AI手机成为了展会的热点，包含OPPO、荣耀、小米、三星等多家手机厂商均展示了主打AI功能的新款手机。行业将2024年定义为“AI手机元年”，预期未来生成式AI将在手机终端上得到广泛应用。业界认为，AI手机将成为继功能机、智能机之后，手机行业的第三阶段。根据国际数据公司IDC的预测，2024年开始，新一代AI手机的出货量将急剧上升，预计全球出货量将达到1.7亿部，占到智能手机总出货量的15%。
2023年，苹果发布了首款MR产品，引领了XR行业的新趋势。该产品不仅在游戏领域展现了其潜力，还成功地将XR技术与日常生活和工作环境相融合，为用户提供了更加沉浸式的体验。这款产品的推出，对产业链上游的软硬件及下游内容及应用带来了新的机遇和挑战。在苹果发布MR产品之前，行业内已有多家科技巨头开始布局XR领域并推出了各自的产品，苹果的加入为这一领域的竞争注入新的活力，加速了技术创新的步伐，并可能推动行业标准的形成。随着产业链的不断完善和技术的持续进步，越来越多的企业和开发者开始进入XR领域，推动内容应用的多样化和丰富化，不仅将为用户带来更多选择，也为XR终端设备市场份额的提升提供了动力。
2023年，中国汽车行业迎来全面跃升，跨进年销3,000万辆级新时代，出口首次跃居全球第一，新能源汽车月产销首破双百万辆等多项令人瞩目的成绩。以创新驱动为核心的新质生产力成为2023年汽车行业发展的主旋律，推动现代化汽车产业体系向纵深发展。未来，在国家各项政策鼓励的背景下，对于产业持续发展的核心实力仍不容置疑。
智能驾驶已经成为各大主机厂占领市场的必争之地，也是多家供应商纷纷发力的热点。2023年的智能驾驶市场各路玩家百家争鸣，传统主机厂、造车新势力、传统Tier1、科技公司、互联网企业、甚至消费电子企业，都在大力布局智能驾驶业务，力争在激烈的汽车智能化赛道上拥有一席之地。城市NOA、去高精地图、舱驾融合（驾驶舱与驾驶辅助系统融合）成为了当前智能驾驶的主要热点和核心追求，这三项技术的发展将推动智能驾驶向更高水平的自动化、智能化发展。
在新能源商用车这个细分赛道上，中国企业在“量”的维度上已领先海外企业一步。凭借产业链先发优势和成本优势，国内新能源商用车企业正在加速抢占国际市场红利。当下，全球商用车电动化浪潮正在加速来临，不少国家都提出了商用车电动化的时间表，催生出了庞大的市场需求。以欧洲市场为例，随着欧盟颁布的GSR法规的落地执行，国产商用车面临一系列法规认证需要通过认证，BSIS/MOIS/DDAW/ADDW/ISA等一系列商用车基于视觉融合解决方案的法规执行，以及欧盟法规在全球其他大洲的标杆作用，为虹软商用车视觉解决方案的应用提供了巨大的机会。
视觉人工智能属于高知识密集型领域，有较高的技术门槛，公司为各类移动智能终端、智能汽车等智能设备提供视觉人工智能解决方案，在前述领域的主要技术门槛包括：
边缘计算极大程度上解决了物联网背景下集中式运算架构中的带宽和延迟两大瓶颈问题，主要难点在于低资源的嵌入式平台环境的开发能力，基于移动终端的边缘计算具有巨大的应用价值，但是受限于移动终端有限算力，诸多企业望而却步。
公司自2003年开始便明确了在嵌入式设备研发相关视觉人工智能技术的发展方向，在边缘计算技术领域积累深厚，多年来建立了全面、复杂的多平台适用的底层嵌入式开发库。公司积累的算法具有高度的紧凑性、稳定性以及易调用性，可以在高性能、有效大幅降低资源消耗的情况下实现高精度运行。
公司长期专注于嵌入式设备算法的研究与开发，多年来积累了大量基于端设备的视觉人工智能算法开发经验。目前公司基于端设备的视觉人工智能算法适用性高、运行稳定，可以在边缘侧发起高效的运算，通过诸如智能手机、笔记本电脑、智能可穿戴等设备实现高效的图像优化、识别与检测等功能。公司的移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案等业务均是从边缘侧发起运算，在智能手机、笔记本电脑、智能可穿戴设备、汽车和各类AIoT设备上实现各类视觉人工智能的功能。
在数码相机以及手机功能机时代，公司就开始专注于视觉人工智能技术的研发与应用，公司主要算法技术都经过了长时间的锤炼，从基本的黑白小分辨率图像的摄取、增强、编辑、检测识别到高清大图像、视频的实时处理均打下了坚实的基础，创造了有利和领先的条件。
公司掌握的视觉人工智能算法技术具有通用性和延展性。多年来，公司积极致力于将视觉人工智能算法与行业应用相结合，凭借先进的科研力量、强大的产品开发能力以及卓越的工程实施能力，公司快速将视觉人工智能算法技术落地为成熟的解决方案，并进一步将应用领域从智能手机扩展到智能汽车、智能家居、智能零售等多个行业，助推行业升级。此外，公司基于自身深厚的技术积累，能够为上述行业快速提供高性能、高效率、硬件平台适应性强、功耗控制优良的解决方案，大大降低各类客户的产品使用先进技术的门槛，帮客户提升产品竞争力，助力视觉人工智能和人工智能相关应用的普及。
虹软创立至今，除不断积累和发展自身技术、掌握持续开发、迭代与硬件更加匹配的算法的能力，还一直致力于与核心产业链内主流公司开展长期、广泛的合作。公司与高通、联发科等各主流芯片公司建立了长期稳定的合作关系，研发中持续合作交流，深入了解平台硬件特性并为其针对性优化，共同开发核心功能，不断提高视觉人工智能技术算法产品与移动芯片的适配性。公司还与索尼传感器、三星半导体、格科微、OmniVision、舜宇光学、信利等业内核心器件合作伙伴建立了业务交流或合作关系，在项目早期就针对特定相机或硬件做算法适配和调优。针对智能终端的芯片平台，公司具备针对CPU、GPU、DSP和NPU等各个算力单元的强大优化能力。结合各硬件算力单元的能力和算法模块的算力需求，公司具备的异构计算优化能力能够从系统层面更有效地优化性能、降低功耗。得益于此，除核心技术能力突出外，公司同时具备优势明显的工程落地能力，在客户提出技术需求后，能更好地联合和发挥在相机模组、软硬件平台、产线、算法等多方资源合作优势，进而提供效果好、能耗低、效率高、硬件平台适应性广并能够快速落地的解决方案。
目前，视觉人工智能市场格局已经初步形成，核心技术、产品化能力、产业生态链合作均构成行业的核心壁垒，建立在自主创新能力基础之上的产品化能力成为最终创造社会价值和商业价值的核心，而能否寻找到规模化、商业化的应用场景则决定了企业是否能够长远发展。
公司是计算机视觉行业领先的算法服务提供商及解决方案供应商，是全球领先的计算机视觉人工智能企业。除本公司外，行业中国内企业主要有商汤科技、旷视科技，国外企业主要有SeeingMachines、Mobieye、Cipia、Smarteye。
全年出货量达十几亿台的智能手机市场是视觉人工智能技术的重要应用领域，也是公司人工智能产品落地应用最为广泛的领域。
基于多年的研发和积累，目前公司可以提供大部分主流智能手机的视觉人工智能算法产品和技术。根据IDC所统计的2019年度至2023年度全球出货量前五的手机品牌中，除苹果公司完全采用自研视觉人工智能算法外，其余安卓系统手机的主流机型均有搭载公司视觉人工智能解决方案。在继续巩固智能手机算法影像行业领导地位的同时，公司依靠对行业演进规律和技术更迭的理解，成熟有效的产品落地能力，正横向大力推进在智能驾驶领域的落地。在该领域，公司为客户提供VisDrive一站式车载视觉软件解决方案，目前已经成为国内基于高通智能座舱平台上的主流视觉算法供应商。
2023年，AIGC和AI大模型技术继续成为市场焦点，形成不可逆转的发展方向，并且被广泛应用于多个行业。AIGC的快速发展将颠覆文字、图片、视频、音频和3D内容的生产方式，它不仅降低了创作门槛，减少了内容生产的时间和经济成本，还使得个性化和定制化的内容生产成为现实。这种技术的进步不仅限于创意产业，在消费电子领域，随着大模型参数量小型化和手机芯片算力的不断提升，更多的AIGC和大模型相关应用将进一步从云端下放到端侧，有望带动AI手机算法应用的爆发。
AI大模型技术的发展为端到端的智能驾驶提供了技术基础，吸引了来自不同领域的企业参与其中，并且已经取得了一定的成果。传统主机厂利用自身在量产车辆上的优势，收集大量真实道路数据，用于优化和迭代AI大模型。同时，主机厂利用其在产业链中的主导地位，整合上下游资源，推动智能驾驶技术的发展。
在智能驾驶解决方案的提供方面，Tier1供应商主要从软件算法层面入手，开发专门针对智能驾驶的垂直领域大模型。这些供应商通过提供智能驾驶大模型服务，帮助主机厂提升自动驾驶能力，并构建自己的数据闭环系统，形成了一个完整的大模型生态系统。例如，BEV+Transformer模型就是目前多家Tier1供应商正在开发和推广的一种大模型解决方案，它通过结合车辆的行驶数据和先进的算法，为智能驾驶提供了强大的技术支持。这些技术的融合和应用，将进一步推动智能驾驶技术的发展。
公司自主研发了诸如人脸分析及识别/人脸美化及修复/分析及美化、手势识别/物体识别/场景识别、行为分析、暗光图像增强/超分辨率图像增强/视频画质增强/画质修复、光学变焦、虚化技术、3DAR动画等诸多可应用于智能手机、智能座舱、智能辅助驾驶、笔记本电脑、智能可穿戴设备等终端领域的核心技术。
针对单摄/多摄/TOF/结构光等不同种类的摄像头，公司均可提供相应的3D与AR视觉解决方案，帮助厂商在移动设备上便捷高效地实现落地。为满足各智能终端对于VR/MR/AR应用的需求，公司已经研发并可以直接落地使用的解决方案，包括基于双摄/多摄/TOF/结构光的深度获取和优化，以及基于单摄的深度获取引擎，这些深度数据成为一些上层逻辑应用的核心基础；实现了SLAM中环境Map的构建，物体的3DModeing，视线的检测、跟踪，和动作静态、动态姿态的检测和跟踪，解决了实时显示中的延迟等多种问题。为满足智能驾驶人机交互的需求，公司主要研发了基于红外相机、单摄RGB摄像头、双摄、深摄的交互技术，包括手势交互引擎包、头部动作和口部动作交互引擎、经典表情识别，以及视频、照片拍摄时的娱乐功能。
公司在分析、人脸识别、识别、手势识别、美化等技术上，在当前状态下的中段平台达到超过95%的正确率、毫秒级实时性，这些引擎也可以有效鲁棒地支持低端硬件平台，人物属性分析、对象属性分析、多帧多通道质量提升等技术点能达到业界先进的低功耗、高性能、相对强鲁棒的水平。
公司大部分智能手机视觉解决方案达到国内外先进水平，多数新创技术在行业内属于技术首发，能够满足目前市面上中高端智能手机大多数与视觉相关的技术与应用的算法需求，且公司的智能手机视觉解决方案在除苹果之外的主流手机品牌的大部分旗舰机型上获得使用。
人脸检测技术针对戴口罩的大侧脸、戴墨镜的小人脸等困难场景进行了优化，手机版本在内部通用测试集上保持精度和速度不变的情况下，召回率提升1.32%。另外，人脸检测算法在车载舱内场景召回率提升1.64%，精度提升1.68%，尤其是车内的光线较差和模糊的三排人脸场景，人脸召回指标明显提升。人脸关键点定位技术在自测数据集上精度提升2%，同时提升眼睛点的精度和动作一致性，让美妆效果更加自然。在智能座舱场景中，人脸角度和位置估计新方案平均角度误差在自测数据集上精度达到2.3度，并且优化了戴口罩场景的人脸角度和位置的精度。人脸重建技术在稳定性及性能上进行进一步优化，不断提升不同表情、不同人脸角度下的稳定性及贴合性，在自测集上平均稳定性提升2%，功耗降低30%，使得4D美妆的使用者获得更好的体验。
2DFaceID进一步改善效果，在FAR≤100k的情况下，常规场景和戴口罩场景下，FRR改善3.2%~5%，针对大角度（主要是pitch角）识别专项优化，改善6.3%~13.5%；3DFaceID在FAR≤100k的情况下，常规场景和戴口罩场景下，FRR改善2.3%~2.8%；另外针对海外一些客户，大胡子用户较多、误识率偏高的情况，做了定制调优改善了效果；车载场景的RGB/IR交叉识别持续改善，尤其对大角度识别进行优化，FRR改善1.8%~4.2%，同时优化深色人种的识别效果，完成了全人种支持的通用版本；通用版本针对儿童做了定制调优，整体改善幅度达13%，以适配校园场景的刷脸应用。静默式RGB及IR版本持续改善，针对各类困难场景调优，SAR下降到2%以内，同时完成了配合式版本。
检测技术进一步提升，针对车内场景，进一步提升了召回率并且降低了误检率，在内部自测数据集上，召回率达到95%，精度达到97.5%。同时针对抱小孩并且存在大面积遮挡情况的检测效果也改善明显。骨骼关键点技术，在座舱内场景中的复杂动作、成像存在大畸变场景下点位的准确性和稳定性提升较为明显。同时针对智能商拍产品，不仅提升了关键点的准确性，还支持了假人模特的关键点定位和残缺人台关键点补全功能，为后续的AIGC部分提供了坚实的技术支持。重建技术通过多相机大球实验室数据的采集和补充以及新方案改进，精度提升1.5%，为公司AIGC产品提供了更好的技术支持。遗留儿童检测技术针对座舱内乘客非配合场景导致人脸角度过大甚至不可见的技术难点，将分类合并到了算法模块中，在精度不变的情况下召回提升了27%。行为识别技术不断完善，针对座舱内场景，进一步提高儿童危险行为识别率。基于行为识别的环视哨兵功能，在正常场景下，召回率提升2.1%，改善车角和车边缘的类人目标误检情况，使得哨兵功能的误报率进一步降低到3%以下。
人脸美型方案，在报告期内效果和性能方面有了很大的改进。效果方面，在保持原有形变效果的基础上，精细参数调节，实现非局部形变的功能，模拟出更加自然的形变效果，通过客户验收并获得认可。性能方面，在开启多个形变功能时，优化变形逻辑，提升预览性能，用户体验更好。新增AI人脸美型，参考真实整容技术，注重保留用户原本的脸部特征，使用户脸型美化更加自然，并实现个性化脸型美化效果。人脸美化方向由视觉艺术团队主导，使得美型效果更显美观。
美型方案根据客户需求，新增人像提肩功能，提升人像气质。升级感知模块，应用语义分割、三维重建等技术点，参数感知结果更准确，变形控制更到位。
宠物身体检测技术采用新的方案，在减少参数量的同时，mAP提升约8%，有力地支持了Bokeh等产品的宠物场景效果提升。宠物面部关键点检测技术针对大角度姿态、小目标场景进行优化，检测率提升约26%，有效提升了复杂场景下检测的鲁棒性，在宠物面部关键点检测的基础上进一步开发了宠物眼睛关键点检测，眼睛状态分类，面部姿态分类，可以获取更加准确的宠物眼睛轮廓，为后续宠物眼睛增强等产品提供了强大支持。
继续提升满足DDAW以及EuroNCAP法规的驾驶员疲劳/分心检测技术方案。通过大量路测数据对疲劳/分心的误报进行实车数据分析，通过多数据融合将基于车机信号与车辆控制信号在内的驾驶员行为数据与视觉感知信息进行融合，通过数据统计的方式为正常行车过车中的误检信息去除提供有效方案。与此同时，根据大量KSS以及心理行为研究实验结论，结合大量实车疲劳路测数据分析，完成了更加符合疲劳认知的全新疲劳解决方案的研发。根据大量疲劳研究实验进行了真实疲劳数据采集和真实疲劳检测技术更新，提升了基于真实疲劳反应的驾驶员疲劳分级检测，在视觉信息获取上增加多帧、多时间窗口的分析，增大疲劳分析的时间窗口区间，将大量与疲劳行为相近但表现形式有差异的混淆行为进行鉴别，对诸如低头向下看、从左右两侧注视手机屏幕或者其他交互区域等行为与闭眼或疲劳进行区分，形成了与市场同类产品技术的差异化，目前正在尝试将该新技术融入量产方案中，并且实车测试已达到DDAW认证要求。
视线追踪技术已经支持了众多智能座舱量产项目，结合座舱标定方案为驾驶员分心技术提供视线落点输出支持，完成了EuroNCAP法规中需要支持的视线落点检测研发，对驾驶员视线个区域。满足了车上所有可能摆放手机位置下的驾驶员看手机分心检测要求，满足EuroNCAP所有视线分心测试场景的检测要求，并将过标方案融合入量产方案中，实现了更多满足法规要求的视线功能设计。根据对ADDW法规解读与技术实现分析，目前已经完成ADDW实车专项测试，并即将在各量产方案中设计算法方案，满足该法规标准继续进行单摄像头下视线追踪技术的精度提升，自主研发基于3D人脸重建与追踪的底层数据特征表达，实现3D视线追踪技术，该技术方案在客观数据指标上实现总体20%的提升，并在大角度场景下实现近30%的精度提升；视线追踪技术继续对多摄像头方案进行研究，并根据项目需要应用在量产项目中，全面提升驾驶员在车内的视线精度，尤其是在人脸大角度下的视线精度，全面覆盖各种摄像头下的人脸全角度。基于多相机方案已经成功用于多相机视线真值系统研发项目中，实现在座舱与实验室条件下的视线真值数据采集与实测；与此同时，自主研发了基于用户行为的无感自标定视线精度提升方案，对于视线基础引擎的精度做了较大的提升。该方案基于用户行为中与视线交互相关的行为进行自标定研究。同时，视线研发团队还对眼睛瞳孔虹膜特征在成像上的差异进行深入研究，获得了一整套最适用于视线的摄像头设计准则，指导量产项目中的视线摄像头设计。为了更好地解决量产项目中的不同车型以及各种容易引起摄像头位姿变化的外界影响，研发了一整套完善的视线无感自标定解决方案，为主机厂降低了相机标定带来的成本，目前该方案已经大规模用于量产项目中，适配各种车型的活动摄像头安装需求。与此同时自标定方案在2023下半年做了较大的技术路线更新，兼容支持了由于内饰颜色、纹理、光照带来的差异，支持了内后视镜位置一体化DOMS相机的自标定方案，为DOMS一体化以及更加鲁棒的自标定方案提供了技术保障。
基于XR头显的眼动追踪完成了双眼双目多光源方案的研发与调优，并配合头显的需要完成了与眼动相关的外围视觉算法研发，完成了设备端部署，精度效果已经达到业内领先水准。同时对适用于多种条件下的眼动算法进行研究，提升底层引擎的检测精度，并设计融合方案实现眼动追踪精度最优化。
车载表情识别与唇语关键词识别技术也有了重大突破。为了设计出符合用户感知习惯的技术方案，满足更好的用户体验，通过大量实车数据分析，构建了一套全新基于用户无感表情标定的表情识别技术，可以满足个性化用户表情识别的需求，精准捕捉到一些具有个性化的面部行为，大大提升了用户体验。
唇语关键词识别技术完成了多模态技术的研发，将语音与图像信息融合，解决了一些有歧义的唇语关键词无法用单一视觉技术方案覆盖的问题。
车载危险行为检测，智能座舱危险行为检测在支持范围、功能和性能等方面持续提升。所支持的摄像头安装位置扩展到了B柱，并开始支持全车乘客的行为检测，功能上增加了喝水检测功能。抽烟打电话识别，重点优化相似物体（如吸管等）可能被误识的问题，所用场景感知模型和识别策略更加合理，可以获得更加精准贴合的目标检测结果，同时可推理出更多辅助感知信息，相似物体的误报率降低至3%以下。通过对大量实车数据进行统计分析得到易误检的行为和场景，更新了基于行为分析的多帧信息融合方案，利用时空信息感知模型区分危险行为和容易混淆的正常行为。为配合公司智能座舱DMS和OMS一体化产品的布局，针对单颗OMS摄像头，研发了集抽烟、打电话、玩手机、喝水、方向盘脱手等多种危险驾驶行为检测为一体的a-in-one解决方案。商用车市场，针对多种低算力平台，研发了更加高效的适配不同硬件的小算力模型。对于自顶向下（top-down）视角的玩手机与方向盘脱手检测，针对一些画质较差的摄像头模组，设计了更加合理的检测逻辑与测试方案，事件召回率较之前版本提升10%以上。
手势识别相关底层算法模块持续优化改进，在车载、手机、数字人与AIGC等多个业务方向上优化提升，改善了遮挡、模糊、双手近距离交互等复杂场景下的检测和跟踪效果，保障了下游算法的效果，提升了用户体验。在公司内部客观测试集上，mAP相比历史最优模型提升4%。同时，也尝试将手部分割算法与检测算法结合，在输出检测框的同时输出手部Mask。手部姿态估计在通用场景下，新研发了多套技术方案。使用基于Transformer的大模型，助力公司的AIGC和数字人等相关业务；新训练了上半身关节点检测模型，将手部关节点算法的范围扩展到加人手；采用同时输出双手关节点的新方案，改善了双手交互时手部姿态估计的精度。基于深度图的手部分割算法和3D手部关节点估计算法针对实车场景和车规级TOF摄像头做了相应优化，提升了较远距离下常见手型、小目标手型和大角度手型的手部分割和关键点回归的精度，增加左右手属性识别输出，为上层TOF手势应用提供更好的支持。
车载智能座舱产品线，手势技术持续升级并获得更多市场落地。基于OMS的RGB/IR镜头的手势交互技术，增加了支持的静/动态手势种类，支持更多车载目标平台，在一些新的NPU、DSP芯片上部署了量化加速模型。鼠标手势交互方案推陈出新，继基于手掌加握拳的手势交互方案，又推出了基于手掌加两指捏合以及基于食指点击的两套新方案。依托手部跟踪、手部分割及精准的3D关节点估计技术，对手指运动进行建模分析，准确识别手指捏合、点击、推拽等动作。相比老方案，新方案的手部动作更加自然省力，可以有更好的用户体验。为丰富产品矩阵，所有鼠标手势交互方案都可分别在TOF摄像头和RGB/IR摄像头下运行。基于TOF镜头的自顶向下视角的手势控制方案，解决了左右挥手动作存在的痛难点问题，支持更多手势交互动作，用户体验明显提升。此外，还研发了一些手势创新应用，如体感切西瓜游戏，“灯随手动”——智能阅读灯手部感应等，为客户提供更多具有科技感和趣味性的体感应用选择。面向公司智能座舱软硬一体的Tahoe产品线，针对其硬件和图像特点做了专项优化，目前一些静动态手势识别已经部署在Tahoe产品上对客户展示。
移动端手势产品，针对手机AON设备，实现凌空手势控制方案，目前可识别手掌/握拳/剪刀手等静态手势以及挥手/转圈/推压/抓放等动态手势，为不解锁即实现手势控制手机提供可能。
VR/AR/MR手势技术方向，引入新的动态手部数据采集方案，可实时高效地获取手部图像和3D关键点标注信息。针对整个数据链做了充分优化，提升了数据标注精度。此外，对生成式大模型在数据预标注方面的应用也做了探索性研究。数据质量的改善直接带来了手部姿态估计效果的提升，特别是在一些较精细的动作如两指捏合上提升明显。手部检测模块针对差光照和自遮挡场景做了优化，在暗光、高光、和双手近距离交互下也有良好的检测效果。手部关节点估计持续改进并尝试了多个新方案，针对3D关键点精度指标MPJPE和稳定性指标MPJPA达到业内领先水平。整体性能也得到较大优化，配合视线追踪技术，基于手眼配合的新交互方案也研发落地。
人像质量分析重点改善光照、遮挡、角度这三个使用频率最高、客户对指标要求最细的case方面，光照判断正确率提升4.6%；对遮挡的情况进一步细分，例如口罩遮挡、手遮挡、异物遮挡、墨镜遮挡、大角度自遮挡等，对遮挡程度细分轻中重不同程度，针对性优化，整体效果改善10.6%；同时对海外人种的效果做了一定程度调优；对人脸角度，利用高精度采集设备，构建标准化数据集，帮助改善算法，整体效果提升6.8%。
HDR场景识别技术持续优化算法方案，在保持低计算量的前提下，稳步提升预测稳定性和场景预测准确率；通用场景的图像画质分析技术，综合评分基础上增加对比度、亮度、色彩度、清晰度、噪声等维度的评分，同时优化评分的单调性，并支持加权组合以灵活适配不同应用场景。
YUVHDR支持了旗舰处理器AEB模式下的HDR融合。该模式配合改进的HDR融合算法，实现了零延时的高动态范围合成，实现了高光还原和亮度过渡的平衡，实现了防鬼影和防噪音的平衡，实现了对霓虹灯、日落、天空、室内ficker等不同场景的智能优化，提高了整体的合成率和还原度,该模式支持对动态曝光输入的自适应调整，保持输出曝光的稳定性。在防鬼影方面，加入了基于AI的增强技术，实现了提亮和去噪，减少了运动区域的噪音，提高了运动场景的画质。针对中低端平台无法提供ISP提亮帧的情况，通过调整原有框架，改进HDR融合算法和鬼影处理策略，改善融合结果。开发暗光环境人像HDR功能，并支持闪光灯和屏幕补光模式，在暗光人像模式能更好的还原场景动态，同时保持人像的亮度和人脸的细节。根据对不同风格的要求，定制HDR融合策略。基于机器学习算法结合预览图片的统计特征改进动态EV算法，为系统推荐适配的低曝光图片的EV值，提升融合结果的动态还原效果。基于RAW域的HDR在AI去噪、高动态图像获取方面都取得了巨大进步，针对HDR摄影的复杂环境，从白天到夜晚都准备了鬼影处理策略，在影调方面以保持真实场景亮度分布为出发点，自适应调整影调，在保持原本动态范围扩展能力的基础上使最终结果更贴近客户从美学角度的需求。基于场景识别与语义分割，实现对不同被摄环境、不同语义区域的自适应影调调节，并且保持成片的自然度。针对运动场景实现了智能优化，提升了运动区域的画质，提高了抓拍成片率。弱光环境结合图象分割方面，根据图象区域分割的结果动态调整局部的融合策略，最终的融合结果更加自然。开发暗光环境闪光灯模式和屏幕补光模式人像HDR功能，在暗光人像模式能更好地还原场景动态，同时保持人像的亮度和人脸的细节。进一步拓展了HDR的特性和应用范围：适配了Quadbayer数据，为使用最新sensor获取更好的纹理细节提供了保障；灵活支持可变倍率，为全倍率RAW域HDR的实现打下了基础。
暗光图像增强技术，公司为客户的摄像头传感器做了针对性支持，确保每个摄像头的去噪以及保留细节达到最佳效果。改进对齐算法，提升运动区域和人像的配准精度，使得算法结果细节保留更多。改进多帧融合算法，结合AI增强提升细节。改进针对运动区域的去噪和融合算法，消除运动噪音和运动模糊。改进训练策略，使得落地后的性能优化版本效果更好。针对中低端设备虫噪严重的特点，开发新的单帧处理算法优化图像。针对人脸部分，开发专门的算法对人脸进行去噪和增强，有效改善人脸的视觉效果。对不同的平台计算资源，比如NPU、GPU、DSP等做性能的最佳适配。同时，针对更低平台做了算法的针对性改进，维持效果和性能的最佳平衡，使得算法可以平铺到更多的客户设备。
超分辨率图像增强技术，通过不同方案的尝试和实践，最终方案在清晰度上有突出优势，在效果和性能上达到了一个新的高度，满足市场客户的需求。拓展更深层的超分维度，YUV域，RAW域，Quadbayer域等，实现超分辨率的质的提升。改进运动区域检测策略和配准精度，改进融合算法，优化AI模型训练流程，提升AI增强的效果，改进针对不同摄像头传感器的去噪效果，提升结果细节。优化代码框架，提升性能。实现在不同的放大倍率上，都展现出更好的去噪效果以及细节水平。
屏下摄像头画质修复技术实现了预期的功能，在抑制图像原有噪声的同时提升图像清晰度、对比度和色彩饱和度，图像整体视觉效果更接近普通摄像头效果。文档图像去阴影技术更新了基础模型，改善了阴影Mask检测的效果。通过对模型的优化和精简，在降低计算量的同时，也大幅降低了内存占用量，并且效果和之前基本一致，从而使得该技术在更多中低端手机上落地应用。此外，通用场景去阴影技术的研发，也拓展了该技术的应用领域。
美食阴影去除方案，提升了对美食阴影区域的精确分割，支持对室内各种强弱和不同形状的阴影做更合理的处理，在阴影去除后恢复出真实的食物颜色和对比度，进一步提升了用户的使用体验。在数据方面，阴影分割模型仅使用少量标注数据训练预标注模型，大幅节省数据方面的人力需求，提高了数据迭代的效率。支持开发了多种合成数据方案，有效补充了不同美食和阴影数据的场景组合。目前美食阴影方案在平均得分上超越竞品2%，同时在多个困难场景主观评测上得到提升，满足用户的画质处理需求。
通过对摩尔纹产生机理的深入研究，对摩尔纹合成算法进行了改进，可以根据不同场景，生成对应的摩尔纹，提升了数据的真实性和丰富性。算法上尝试了多种新的方案，提升了去摩尔纹的效果以及泛化性能，同时精简了模型，降低了计算量。去反光技术细分各种拍摄场景，设计了有效区分反光层和背景层的代价函数，有效地改善了强反光边缘的场景使用效果并抑制误去除，相比基础版本有明显的改善，未来还需要进一步与竞品效果做比较。
视频超夜技术，持续改善AI降噪模型的降噪能力和细节保持能力。针对PC端需求，合理根据多款摄像头的不同噪声特性，设计针对性的训练方案和量化策略，达到降噪质量和性能上的较好平衡。针对PC端视频会议的需求，提升视频噪声估计模块的准确率，使算法在不同环境下自适应调整处理强度，获得更好的效果。进一步提升了鬼影检测技术，改善了运动物体的去噪效果。视频超分技术，持续改善AI超分模型的效果，针对视频会议应用中的文字内容，着重提升了其在多种字体下较小字号时的清晰度和可阅读性，以及提升了人像区域的清晰度。增强了模型的鲁棒性，提升了混合语言文字场景的效果。视频插帧技术，针对该技术在模拟长曝光场景的应用，持续提升了其在大运动和频闪等复杂场景下的追踪能力和稳定性，强化了其对非刚性运动物体的运动表示能力，改善了运动轨迹的平滑性和动态范围。针对该技术在视频编码插帧场景的应用，提升了其在物体遮挡和复杂背景下的追踪精度，改善了插帧结果的边缘清晰度。
进一步优化了光学畸变消除性能和功耗表现，提升了视频流的处理性能；进一步提升了身体部分的修正效果并优化了任意输入区域透视畸变弱化的效果；设计实现了人脸和身体透视畸变检测及自适应矫正的方案，扩展了人像矫正的适用范围。增加了人像俯仰拍摄畸变修正方案，针对不同角度拍摄人像进行拍摄角度修正，合理利用畸变，提升了拍摄美观度。
平滑切换支持更多的摄像头组合，变焦算法扩展至更多的低平台，更新镜头间公差校正算法，解决低端平台因摄像头公差较大导致的旋转跳变感，更新融合过渡算法（即fusion），功能上将fusion模式拆分，实现模块化和参数化，能够针对客户需求定制fusion效果，提高效率。
同时在更多的场景下支持faback模式，新增融合过渡，使得切变效果更加自然；改进融合技术涉及到的核心算法，自适应处理不同场景下的融合切变，效果提升明显。支持客户isz模式输入的光学变焦，faback模式和融合切变。支持跨镜头间的faback/recovery，并同时加上融合过渡效果，另外首次在四摄上同时实现上述功能。
进一步扩大AVM标定和BSD标定的适配范围，以完成更多厂商/车型的需求，设计完成全套车载摄像头标定解决方案，包括EOL、在线、售后车载多摄像头标定姿态相对/绝对标定解决方案，设计完成激光雷达标定、ARHUD标定、红外传感器标定方案。完善在线标定和售后标定方案，投入实车部署。针对双目电影模式OIS开发了标定功能。
增加了对RAW数据作为输入的支持，在低光场景下对噪声抑制有一定的提升，并能够扩展全景图的动态范围；针对一些带有运动物体的场景，通过检测运动场景内的运动物体并加以保护，减少鬼影，对于大的运动物体，效果提升比较明显。针对3x摄像头像帧间移动距离变大，景深差异更大的特点，改进了匹配和融合算法，改善了拼接错位，减小了扭曲程度。针对超广角镜头优化了部分场景直线扭曲的问题。针对慢速移动并轻微手抖的拍摄方式，改进了选帧算法和策略，减少错位。
公司在图像修复与编辑方向上长期致力于LivePhoto、视线校正、人头姿态校正等人脸修复与编辑技术。
Livephoto技术调整了深度神经网络结构，针对性地改进了口腔区域模糊、不真实的问题；研发了针对特定人物的微调技术，使得算法能够生成更加逼真的结果；对网络进行性能优化，使得效果可以在PC设备上做到实时。新研发了视频口播数字人技术，基于用户提供的几分钟视频素材可以训练得到对应的数字分身，在输入不同的文字内容时可以进行相应的生动播报，支持中文、英文等多语种。视线D视线校正算法，创新地结合了三维人脸重建和二维图像编辑方法，相较于前代算法产品，突破了正脸姿态的限制，并且大幅度拓展了算法能支持的视线角度，在人脸角度和视线偏移角度均较大的情况下算法依然可以得到正确的矫正结果。在用户主观测试报告中，新的算法在真实感、矫正范围、算法稳定性、准确性等方面均明显优于竞品。人头姿态矫正技术结合了三维人脸重建与生成网络技术，设计了新的实现方案，相较于去年的版本，对效果的自然性、头部角度支持的角度大小、算法性能消耗等方案均进行了较大幅度的改进。在效果上，相较于前代版本，解决了可能会出现的额头部分变长、脖子区域融合拼缝、面部抖动、面部刘海眼镜断裂等问题，在视频上能做到连续、稳定、自然的结果。在性能上算法完成了模型的蒸馏和量化训练，以及计算过程全部部署在GPU上，实现了算法在设备端的实时运行。
在人脸美化技术上实现拍照磨皮新方案，提升了细节表现力、肤质纹理更加自然，增强了对不同画质人脸去噪的自适应性，改善人脸明暗不均现象的同时立体感也得到保持提升；实现预览磨皮算法，在去脏能力、通透度、立体感、肤质细腻度方面都有所提升；实现了Vukan方案的磨皮、美白、美唇、亮眼、白牙等美颜技术和腮红、眼影、SkinGoss、美瞳等美妆技术，在基本保持性能和视觉效果优势的情况下，解决了客户不同设备平台间驱动更新时产生的兼容性问题，降低了产品的维护成本；实现了4D眼睫毛、眼影、唇彩等4D美妆技术，较大程度上提升了美妆的真实性、立体感和光泽度，优化了大角度、姿态下的美妆效果；现了AI唇部、眼部遮挡物体分割算法，提升了美妆技术的实用性；实现了AI预览祛斑算法，较大提升了预览美颜的祛斑、去脏能力，对肤质纹理也有很好的保留；优化了拍照AI祛斑算法，对大侧脸提升祛斑效果的稳定性；图像祛斑方面也增加了去抬头纹、去颈纹等新功能。性能功耗方面，进行了GPU优化、模型优化和NPU硬件优化，优化了拍照AI祛斑算法，对大侧脸提升祛斑效果的稳定性。预览头发柔顺技术可以去除视频中的杂乱发丝、捋顺发束，达到美发风格化的效果。针对海外市场需求，定制实现了Bindi检测技术，可保护印度女性眉心Bindi，提升美颜效果；针对客户对高清人像的需求，开发了结合AI的人像算法，在调整光影瑕疵、修饰皮肤质感和恢复五官结构上做到了光影更好看、肤质更细腻、五官更清晰，打造了人像审美的高级感。
低光照和极暗光线下的人脸美颜解决方案继续扩展了超清人像美颜风格的应用平台，人像视觉效果更加自然、整洁，同时保持清晰度和立体感。视频任务上，针对移动设备端改善了模型以及任务框架，增强人像效果以及自然程度，同时提升了性能并优化了功耗。而PC端主要增强人像修复强度，提升人像解析力，同时针对不同平台的做了专门的性能优化。实现针对车载、平板、PC、手机等设备的视频人像修复的轻量级模型部署。
视频虚化继续精细打磨产品细节，持续保持行业领先水平。重构并升级了底层渲染引擎，对各硬件平台均具有更好的适配性和通用性，提升了算法部署效率。进一步优化了性能及功耗。优化了视频光斑触发算法，使得光斑更具层次感和立体感。单摄电影模式继续在更多手机客户及平台大规模成功出货，双摄电影模式也开发完成并成功出货。
升级了新一代渲染算法，该算法在效果上更加逼近大光圈的单反镜头，光斑更具真实性、自然性和艺术性；改善了渐变的层次感，使其更加立体、自然；改善了边界的准确性，使其更加锐利；进一步改善了虚化效果的准确性及渐变虚化的层次感，进一步提升了成片率；支持了圆形及椭圆形电影镜头级光斑效果。支持了高通SM8550等旗舰手机平台4K分辨率30FPS实时渲染，同时支持下沉到高通SM7325等中端手机平台并成功出货。实现了已拍摄视频在相册中重新编辑虚化强度、对焦点等功能的算法原型；作为底层核心技术，度达到了业内领先水平，为电影模式在多家手机客户成功出货提供了重要技术支撑。
升级了视频换背技术，能够根据背景图像自适应地调整前景的色调和亮度，使融合结果更加自然、真实。优化了手机前置摄像头场景下的人像虚化效果，发丝更加准确、真实、自然。双摄虚化基于更加精确的双摄AI深度，进一步优化算法，使得效果更加精确和自然，接近单反相机拍照的效果。同时虚化算法、HDR和超级夜景等画质类算法结合，显著提高了虚化光斑的层次感和真实感。进一步基于特定的单反相机或镜头专门优化光斑效果，使得效果更加接近光学镜头拍摄的效果如哈苏风格化等。结合AIMatting技术，进一步改善头发区域的虚化效果，使得发丝更加分明，接近光学相机拍摄的效果。使用全新的AI技术对虚化效果进行渲染，在获得更加自然的虚化效果的同时，还可以修复深度图上的瑕疵，使得虚化效果更加精确。
双摄虚化与TurboFusion技术有机结合为TurboFusionBokeh，利用TurboFusion获得真实场景亮度信息，使得虚化更加接近单反相机在实际场景中的拍照效果，光斑更具能量感和层次感，形状更加接近单反相机的效果，颜色也更加真实。
全新的AIBokeh技术，不仅可以修复深度图上的瑕疵，还业界首次可以逼真的模拟出接近单反相机真实自然的前景虚化效果，同时还可以支持多种单反相机的光斑形态。
根据应用场景、精度需求及平台算力限制，继续针对性地优化了模型精度，其中高精度深度恢复模型已成功落地于商拍等AIGC项目，为图像及视频生成提供深度信息指导；设备端模型继续改善准确性及视频深度恢复的稳定性，大幅改善了人像场景各类手持物的准确性，以及与主体接触的背景小人头漏虚问题，提升了人像虚化和人像视频虚化的产品体验。进一步提升了单帧/多帧画面的深度恢复精度，包括大幅改善了主体一致性和均匀性、人物及物体的边界精度、中远距离的错误、深度信息的层次性，特别是前后排人物深度的层次性、和人物同距离物体深度的准确性等等；大幅提升了前后帧的稳定性；进一步裁剪和压缩模型中欧体育，大幅优化了功耗和性能；作为底层核心技术，在度均达到了业内领先水平，为电影模式在多家手机客户成功出货提供了重要技术支撑。依托复杂模型和大数据，单目AI拍照模式也显著提升了极夜和近景场景的表现，报告期内算法在背景与前景物体的深度一致性，细小物体的细节等多个维度效果提升显著。双目AI视频方案显著改善了深度准确性、精细度与稳定性。
为进一步满足客户要求，双摄方案利用全新的技术对双摄深度进行估计，对传统方法比较难处理的重复纹理，无纹理区域有着极大的改善，并且极大地提高了深度的准确性和精细度。同时针对一些特殊情况，比如细小物体、透明物体、反光物体、低光夜景场景等，训练了全新的双摄深度复杂模型，深度精准度进一步提高。针对夜景低光场景输入画质很差的问题，结合人像分割的先验升级了针对夜景的双摄深度模型，使得深度效果更加稳定。另外，双摄视频虚化方案则进一步提高了深度图的准确性，景深变化的自然感，前后帧的稳定性，并对OIS的启用提供了支持，同时做到功耗可控，同期首次在安卓平台上部署推出了双摄电影模式。
实现了人像分割超大模型的训练和部署，具有良好的精度和泛化性，可为素材标注降本增效，同时也赋能AIGC等应用。优化人像matting算法，接入人像虚化拍摄功能，使得发丝等细节效果更加自然。同时针对多种平台进行性能和功耗优化，适配多种机型。继续优化AICamera智能场景识别算法，效果上通过算法更新和数据迭代，显著提升了天空、植物、宠物、人像及相关区域的分割精度和鲁棒性。功能上增加了对face区域的语义分割功能，在无须显著提高性能的情况下，获取了更多的细粒度语义信息。性能上，通过优化网络结构和充分利用底层硬件资源，实现了8550机器上的多类别实时处理。接入HDR等上层应用，为分区域画质增强提供了有力支持。
针对AIGC线上应用的数据量大和泛化要求高的特点，设计了ViT大规模视觉骨干网络，并基于此开发了区域解析、交互分割等多种视觉子任务模型。语义区域解析模型，能够支持相关的20多种语义区域分割，其中不仅包括了面部、头发、颈部、手、脚、皮肤等肢体区域，同时涵盖了裙子、外套、裤子、衬衫、饰品等衣着服饰细粒度类别。该方案具有良好的精度和泛化能力，为PhotoStudioAI模特应用提供了自动化的解决方案。交互分割模型在设计上也依托于大模型强大的特征提取能力，同时考虑了下游应用中与众多细分类分割子模型初始结果的兼容性问题，开发支持了包括点和子模型分割结果作为提示输入的交互功能，做到了灵活、自动、和高效。同时通过优化训练数据精度和解码端模型结构提高了交互分割结果的细节精度。该模型不仅为内部素材的标注降本增效，也为AI商拍用户交互操作提供了支持。
车牌检测解决方案针对行车记录、哨兵模式、车外实况直播等应用场景进一步优化效果。支持常见自动驾驶芯片和车机芯片，并结合GPU、DSP、NPU等高性能运算资源进一步优化性能，可以满足在线实时检测的需求。同时车牌检测解决方案已支持Android、Linux和QNX等操作系统。在报告期内进一步优化了复杂光照车牌场景下的检测效果，当前在内部车载多种应用场景实车采集测试集中测试结果召回率提升至98%以上，误检率降低至5%以内，满足《汽车传输视频及图像脱敏技术要求与方法》中的相关要求。哨兵模式增加了车辆和其他非机动车的目标识别和测距算法，增加车门开关动作识别，同时定制化发布高中低三档灵敏度的报警算法，方便用户选择。
场景识别引擎GPU版本继续更新迭代算法模型，支持高通、MTK等NPU平台的运行，进一步提升了全体场景检测准确率，改善支持任意角度和有限度遮挡的目标场景检测。
三维重建技术更新了基于3D高斯的重建算法方案。与原先的NeRF方案相比，重建速度和效果都有比较明显的提升。实现了一套在线内参标定算法，可以支持任意手机拍摄的视频作为算法输入而无需事先标定，方便服务器端重建应用场景使用。实现了一种全局一致的前景分割算法，能从视频中自动分割出前景物体完成重建，剥离不相关的背景。支持手机端实时渲染，能较好地复现各向异性的光照效果。
针对XR眼镜应用场景，迭代和部署实时三维重建技术。迭代实时语义场景重建，并构建出室内场景的布局信息，语义信息更加结构化，提升XR应用的感知能力并更加智能化。设计一整套用于双目深度和场景语义标签的标注系统，支持快速生成深度、语义等训练数据，加速算法迭代。
开发静态场景隐式建模技术，支持生成高真实感的新视点图像。该技术方案根据视频与实时获取的相机位姿，用神经网络隐式建模三维场景，通过可微的体渲染技术，实现端到端训练。该技术方案可重新规划相机路径后渲染得到新的视频，用于视频编辑和立体视频生成等。结合神经辐射场和隐式符号距离函数几何表达，还可用于重建静态场景的三维网格模型。在静态场景建模技术基础上，增加室外街道场景的动态物体建模，从而支持对开放式动态场景进行建模，并同时对静态场景和动态物体进行渲染。
通过扩充训练数据集、精细调整训练网络并优化图像后处理等持续的技术迭代，提高了对鼻子、嘴巴、眼镜、头发等复杂场景阴影的处理成功率,使得去阴影后的图像在对比度、自然度方面得到了较明显的提升；将最新的Diffusion技术应用于人像光照重建功能，并已经完成了初始模型的开发，该方案可显著提升光影重建算法的能力，使得效果光比更强，光影更加真实，为图像带来更加立体、生动的视觉效果。后续将继续对该方案进行优化，以进一步改善效果和性能，达到项目部署要求；结合公司的双摄深度、显著物体检测与分割等先进技术，实现了显著物体的单色舞台光效果，通过高对比度的黑白效果和对暗部细节的精准强调，提升了整个图像的对比度和视觉冲击力，目前，该方案已经成功部署在手机端。
VR手柄跟踪是SLAM技术的一个新拓展领域，是VR终端设备的刚需技术。报告期内，VR手柄算法完成了从仿真到实际设备开发的转变。支持多种第三方设备，并支持双手柄实时交互，实现了安全区设定、空间划线等功能。对VR手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化，在高通XR2设备平台上，算法单帧耗时在22ms以内，支持视野可见范围内2m/s的剧烈运动，平均定位精度小于6.5mm。除了基于光斑的传统VR手柄，还开发了使用手机作为VR手柄的功能，可以使用普通的Android手机实现实时六自由度跟踪定位，实现菜单点选、简单的游戏交互等。对手机手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化。从逻辑上优化了用户体验，使得输出轨迹更加光滑、流畅。
SLAM技术在XR眼镜的头部位姿估计上取得显著进步。头部位姿估计是XR眼镜的一个核心技术和基础功能，要求低功耗、高精度和低时延。通过优化SLAM算法和把视觉模块从CPU移到DSP，本年度内SLAM算法计算效率提升30%，有效地降低了功耗和运动时延。针对XR常见的室内小面积使用场景，对建图模块进行大量优化，极大提高后端建图和实时定位精度。同时，改进姿态预测模块，实时定位准确度提升30。
