【KJKX科技快讯】7月7日消息,OpenAI宣布成立一个新团队,旨在探索引导和控制下一代超智能人工智能系统的方法。该团队由OpenAI联合创始人兼首席科学家Ilya
Sutskever和Alignment负责人Jan
Leike共同领导。据悉,该团队被授予最高优先级,并获得公司20%的计算资源支持,他们的目标是在未来四年内解决控制超智能AI的核心技术挑战。

OpenAI的研究者Sutskever和Leike认为,下一代超智能AI可能在十年内问世,这将是迄今为止最具影响力的技术之一,有助于解决许多原本需要大量人力资源才能解决的问题。然而,他们也警惕这项技术潜在的反噬人类风险,因为超智能AI的巨大力量可能导致人类失去主权甚至灭绝。

该团队表示,目前还没有一个合理的解决方案来引导或控制潜在的超智能AI,人类目前只能通过反馈来调整AI系统的生成过程,但无法可靠地从根源上监督AI系统。为此,OpenAI计划构建一个大致达到人类水平的自动化对齐研究员,并利用大量的深度学习来扩展AI的能力,并迭代地调整这种超级智能。

据KJKX科技快讯了解,该团队计划开发可扩展的训练方法,验证生成的模型,并进行一系列可控性测试。研究人员目前计划利用这个AI系统来辅助评估其他AI系统,并希望了解和控制模型如何将监督推广到人类研究员无法监督的任务上。

Sutskever和Leike表示,随着研究的深入,他们预计研究重点可能会发生变化,并可能出现新的研究领域。

这一新团队目前正在招募机器学习研究人员和工程师。Sutskever和Leike认为,招募更多的机器学习专家对于解决下一代超智能AI的问题至关重要。他们计划广泛分享团队的研究成果,并促进整个行业的共同进步。

该新团队的工作是对OpenAI现有工作的补充,旨在提高ChatGPT等当前模型的安全性,以及理解和减轻人工智能带来的其他风险,如滥用、经济破坏、虚假信息、偏见和歧视、成瘾和过度依赖等。虽然新团队将专注于解决将超智能AI系统与人类意图结合的机器学习挑战,但OpenAI正在积极与跨学科专家合作,以解决与社会技术问题相关的更广泛的人类和社会问题。

文章采集于互联网