高风险的人工智能指可能对个人健康、安全及基本权利产生重大有害影响的人工智能。草案虽然未作明确界定，但给出了高风险人工智能系统的判断标准。具体而言，下列人工智能系统应视为高风险人工智能系统：根据欧盟统一立法清单，相关产品或者作为其安全部件的人工智能系统本身，在投放市场或者投入使用前需要接受第三方合规评估的，如运输、机械、电梯、压力设备、医疗设备、安全设备、无线电设备的人工智能系统；旨在用于包括自然人的生物识别和分类、关键基础设施的管理和运作、教育和职业培训、就业、执法、移民、难民和边境管制以及司法和民主过程等领域的人工智能系统；就其严重程度和发生概率而言，其对个人健康、安全和基本权利造成不利影响的风险极大的人工智能系统。
与前述相比，诸如聊天机器人之类的非高风险人工智能技术，只需要满足最低限度的透明性要求。草案起草者认为，只要告知用户他正在与人工智能进行互动就可以减少潜在风险，故其对个人的健康、安全及基本权利造成损害的可能性较小。
3.高风险技术需要全过程监管
对高风险人工智能系统，草案设计了全过程监管制度。高风险人工智能系统“从摇篮到坟墓”——自投放市场或投入使用前直至整个存续期间——都要接受审查，以确定其是否遵守强制性的风险管理系统、严格的数据和数据治理规定，技术文件和日志保存的规定及上市后监测和事故报告的规定。与之相应，草案对高风险人工智能系统的提供者课以较重义务。
提供者负有合规义务。提供者应确保高风险人工智能系统的预期使用目的符合规定，按照规定建立、运行、记录并维持风险管理系统，并确保人工监管的准确性、韧性和安全性。
提供者应建立合理的质量管理系统，并以书面政策、程序和指令的形式系统、有序地载明该质量管理系统，确保合规程序的执行、相关文件的草拟以及强有力的售后监管制度的建立；确保高危人工智能系统在投放市场或投入使用前，经过相关的评估程序。在高风险人工智能系统投放市场或投入使用前，提供者应起草并持续更新技术文件。技术文件的编制方式应能证明高风险人工智能系统符合欧盟人工智能法的要求，并为国家主管部门提供全部必要的信息，以评估人工智能系统是否符合这些要求。
|
