围棋人工智能基本原理

　　1 围棋与人工智能 络，极大减少了搜索空间，即在搜索过程中的计算量，提高

　　围棋作为中国传统四大艺术之一，拥有着几千年的悠了对棋局估计的准确度。

　　久历史。围棋棋盘由1 9 条横线和1 9 条竖线组成，共有2.1 深度强化学习方法

　　19*19=361个交叉点，围棋子分为黑白两种颜色，对弈双方深度学习源于人工神经网络的研究，人类大量的视觉

　　各执一色，轮流将一枚棋子下在纵横交叉点上，终局时，棋听觉信号的感知处理都是下意识的，是基于大脑皮层神经

　　子围上交叉点数目最多的一方获胜。围棋棋盘上每一个纵网络的学习方法，通过模拟大脑皮层推断分析数据的复杂

　　横交叉点都有三种可能性：落黑子、落白子、留空，所以围层状网络结构，使用包含复杂结构或由多重非线性变换构

　　棋拥有高达3^361种局面；围棋的每个回合有250种可能，一成的多个处理层对数据进行高层抽象，其过程类似于人们

　　盘棋可长达150回合，所以围棋的计算复杂度为250^150，约识别物体标注图片。现如今，应用最广泛的深度学习模型

　　为10^170，然而全宇宙可观测的原子数量只有10^80，这足以包括：卷积神经网络、深度置信网络、堆栈自编码网络和递

　　体现围棋博弈的复杂性和多变性。归神经网络等。

　　人工智能（Artificial Intelligence，AI）主要研究人类思强化学习源于动物学习、参数扰动自适应控制等理

　　维、行动中那些尚未算法化的功能行为，使机器像人的大论，通过模拟生物对环境以试错的方式进行交互达到对环

　　脑一样思考、行动。长期以来，围棋作为一种智力博弈游境的最优适应的方式，通过不断地反复试验，将变化无常

　　戏，以其变化莫测的博弈局面，高度体现了人类的智慧，为的动态情况与对应动作相匹配。强化学习系统设置状态、

　　人工智能研究提供了一个很好的测试平台，围棋人工智能动作、状态转移概率和奖赏四个部分，在当前状态下根据

　　也是人工智能领域的一个重要挑战。策略选择动作，执行该过程并以当前转移概率转移到下一

　　传统的计算机下棋程序的基本原理，是通过有限步数状态，同时接收环境反馈回来的奖赏，最终通过调整策略

　　的搜索树，即采用数学和逻辑推理方法，把每一种可能的来最大化累积奖赏。

　　路径都走一遍，从中选举出最优路径，使得棋局胜算最大。深度学习具有较强的感知能力，但缺乏一定的决策能

　　这种下棋思路是充分发挥计算机运算速度快、运算量大等力；强化学习具有决策能力，同样对感知问题无能为力。深

　　优势的“暴力搜索法”，是人类在对弈规定的时间限制内无度强化学习方法是将具有感知能力的深度学习和具有决

　　法做到的。但是由于围棋局面数量太大，这样的运算量对策能力的强化学习结合起来，优势互补，用深度学习进行

　　于计算机来讲也是相当之大，目前的计算机硬件无法在对感知，从环境中获取目标观测信息，提供当前环境下的状

　　弈规定的时间内，使用计算机占绝对优势的“暴力搜索法”态信息；然后用强化学习进行决策，将当前状态映射到相

　　完成围棋所有局面的择优，所以这样的下棋思路不适用于应动作，基于初期汇报评判动作价值。

　　围棋对弈。 深度强化学习为复杂系统的感知决策问题提供了一

　　搜索量巨大的问题一直困扰着围棋人工智能，使其发种全新的解决思路。

　　展停滞不前，直到2006年，蒙特卡罗树搜索的应用出现，2.2 蒙特卡洛树搜索

　　才使得围棋人工智能进入了崭新的阶段，现代围棋人工智蒙特卡洛树搜索是将蒙特卡洛方法与树搜索相结合

　　能的主要算法是基于蒙特卡洛树的优化搜索。形成的一种搜索方法。所谓蒙特卡洛方法是一种以概率统

　　2 围棋人工智能基本原理 计理论为指导的强化学习方法，它通常解决某些随机事件

　　出现的概率问题，或者是某随机变量的期望值等数字特征

　　目前围棋人工智能最杰出的代表，是由谷歌旗下人工问题。通过与环境的交互，从所采集的样本中学习，获得关

　　智能公司DeepMind创造的AlphaGo围棋人工智能系统。它于决策过程的状态、动作和奖赏的大量数据，最后计算出

　　在与人类顶级围棋棋手的对弈中充分发挥了其搜索和计累积奖赏的平均值。

　　算的优势，几乎在围棋界立于不败之地。蒙特卡洛树搜索算法是一种用于解决完美信息博弈

　　AlphaGo系统的基本原理是将深度强化学习方法与蒙（perfect information games，没有任何信息被隐藏的游戏）

　　特卡洛树搜索结合，使用有监督学习策略网络和价值网的方法，主要包含选择（Selection）、扩展（Expansion）、模拟

　　作者简介：胡赵宇，男，浙江绍兴人，研究方向：计算机、教育学。

　　2017年4月上 第7期 总第259期 193

　　 学术研究 China Science & Technology Overview

　　（Simulation）和反向传播（Backpropagation）四个步骤。

　　2.3 策略网络与价值网络

　　AlphaGo系统拥有基于蒙特卡洛树搜索方法的策略网络（Policy Network）和价值网络（Value Network）两个不同的神经网络大脑，充分借鉴人类棋手的下棋模式，用策略网络来模拟人类的“棋感”，用价值网络来模拟人类对棋盘盘面的综合评估。

　　AlphaGo系统主要采用有监督学习策略网络，通过观察棋盘布局，进行棋路搜索，得到下一步合法落子行动的概率分布，从中找到最优的一步落子位置，做落子选择。DeepMind团队使用棋圣堂围棋服务器上3000万个专业棋手对弈棋谱的落子数据，来预测棋手的落子情况。期间，系统进行上百万次的对弈尝试，进行强化学习，将每一个棋局进行到底，不断积累“经验”，学会赢面最大的棋路走法，最终达到顶级围棋棋手的落子分析能力。而AlphaGo的价值网络使用百万次对弈中产生的棋谱，根据最终的胜负结果来进行价值网络训练，预测每一次落子选择后赢棋的可能性，通过整体局面的判断来帮助策略网络完成落子选择。

　　3 围棋人工智能意义

　　经过比赛测试证明，AlphaGo系统的围棋对弈能力已经达到世界顶级棋手水平。一直以来，围棋因为复杂的落子选择和巨大的搜索空间使得围棋人工智能在人工智能领域成为一个具有代表性的难度挑战。目前的硬件水平面对如此巨大的搜索空间显得束手无策，AlphaGo系统基于

　　有监督学习的策略网络和价值网络大大减少搜索空间，在训练中开创性地使用深度强化学习，然后结合蒙特卡洛树搜索方法，使得系统自学习能力大大提高，并且AlphaGo系统在与人类顶级棋手对弈中取得的连胜卓越成绩，为其在人工智能领域奠定了坚实的里程碑地位。

　　虽然围棋人工智能取得了如此优秀的成绩，但是也仅仅是它在既定规则内的计算处理能力远远超过了人类的现有水平，并且还有有待提高和完善的地方。在人类的其他能力中，例如情感、思维、沟通等等领域，目前的人工智能水平是远远达不到的。但是随着科技的进步和人类在人工智能领域的研究深入，人工智能与人类的差距会逐渐减小，像围棋人机大战人工智能连胜人类这样的例子也可能在其他领域发生，这就意味着人工智能的发展前景十分可观。

　　4 结语

　　人类和人工智能共同探索围棋世界的大幕即将拉开，让人类棋手结合人工智能，迈进全新人机共同学习交流的领域，进行一次新的围棋革命，探索围棋真理更高的境界。

　　参考文献

　　［1］赵冬斌，邵坤，朱圆恒，李栋，陈亚冉，王海涛，刘德荣，周彤，王成红。深度强化学习综述：兼论计算机围棋的发展［J］。控制理论与应用，2016，（06）：701-717.

　　［2］陶九阳，吴琳，胡晓峰.AlphaGo技术原理分析及人工智能军事应用展望［J］。指挥与控制学报，2016，（02）：114-120.

　　······上接第192页实践证明，只有不断提高管理人员和管制人员的安全

　　3.2 加强空管安全文化的制度建设文化素质，才能全面提升空管的整体安全素质。而管制人

　　任何事业的发展都必须有政策作保障，正确且有力的员安全素质的提高关键在于观念的更新。促使人们树立正

　　政策可促进工作的开展和事业的发展。只有正确的政策作确安全观念，可通过宣传画，出版管制好习惯手册，组织班

　　指导，才能推动空管安全文化建设顺利进行。前班后讲评会、月度安全生产分析会、安全管理大课等形

　　首先，要进一步完善空管安全管制法律法规，制定空式来宣传安全文化理念；通过严格管理，领导以身作则来

　　管安全文化建设纲要，明确空管安全文化建设的指导思确保制度的执行；通过不安全事件的案例分析来教育和培

　　想、战略目标、任务以及措施等，促进空管安全文化建设的养员工安全意识，使员工认识到“安全就是诚信”；“安全就

　　规范化。健全的法律法规和完善的建设纲要，可以使空管是核心竞争力”“安全就是效益”。逐步将员工从“要我安

　　安全文化建设不会因人、因时、因地的改变而改变，真正做全”到“我要安全”转变。营造安全文化氛围，通过潜移默化

　　到依法建设、依法管理，保障空管安全文化建设的可持续的方式来强化员工的核心价值观和安全理念。安全文化是

　　发展。通过教育形成观念产生行为，教育在安全文化建设中，承

　　其次，要制定空管安全文化建设责任制，明确各级领担重要任务，安全教育要形成制度，不断进行。只有通过安

　　导和人员的责任，以强化空管安全文化建设的组织领导。全教育，才能优化人的安全观念，安全意识，提高人的安全

　　第三，要建立空管安全文化建设的激励机制和约束机行为水平。

　　制，把空管安全文化建设作为创优评先等的基本条件，推4 结语

　　动空管深入地开展安全文化建设。综上所述，安全文化建设是一项基础性、战略性的工

　　3.3 加强空管安全文化的教育形式

　　程，这需要我们从长计议、持之以恒，急功近利、半途而废

　　民航的技术性、系统性和风险性特征要求行业必须有

　　是不可取的。建设良好的安全文化管理，是空管有效预防

　　一个统一的“职业规范”，通过科学、有效的规范保证安全

　　事故、保障安全生存和安全生产的重要基础。

　　生产。“职业规范”的形成，很大程度上依赖于职业培训工

　　作。通过规范化培训，一方面使员工形成统一的行为准则、参考文献

　　思维方式和对安全工作的共同看法，使员工在按照同一目［1］毛海峰。企业安全文化评价体系［J］。现代职业安全，2003.

　　标前进时，沟通、协作有效率；另一方面使每个员工都有明［2］高培建。民航安全管理体系浅析［J］。科技资讯，2009.

　　确的岗位规范，每个岗位都有标准的岗位职责，职业技能

　　鉴定就是行业进行规范化培训和认证的主要方式。