通俗解释爬⼭法、模拟退⽕、遗传算法、贝叶斯算法
1爬⼭法
成本函数抽象成了⼀座⼭（想象⼀下⼀个2维坐标系，横轴为变量，纵轴为成本函数，成本函数随着横轴的递增⽽上下起伏绵延不绝，好似⼀座⼭），某⼈可在⼭中⼀任意位置左右移动（取该函数中的⼀点），因此，随着某⼈⽔平⽅向的变化（变量的变化），这哥们的海拔⾼度也在变化（成本函数随着变量的变化⽽变化）。
可惜，这哥们⼀⼼想去⼭的最底处。所以他总喜欢⾛下坡路，⼀旦发现各个⽅向再⾛都是上坡的时候，那这哥们认为他终于⾛到了⼭的最底处，他不再⾛了并返回此时他的位置。（该例⼦的成本函数仅和⼀个变量有关，但现实⽣活中，成本函数是和多个变量有关。道理也是⼀样，就好像这个哥们每次⾛路的时候有N个⽅向供他选择（N个变量））
明眼的⼈都能看出来，这哥们⾮常容易的会把局部最⼩值当成全局最⼩值。以为⼭的⼩凹⾕就是整座⼭的最低处了（这座⼭绵延不绝，并不是两头连接⼤地的那种，是长度⽆限长的那种），too navie。
有什么办法呢？就是随机重复爬⼭法，让你每次初始位置都随机的多试⼏次。说不定还真能蒙到正确结果。
2模拟退⽕算法
这哥们突然变聪明了，认为有时候退⼀步海阔天空，我有的时候稍微⾛点上坡路，指不定后⾯会有⼀个⼤下坡等着我呢，于是这哥们开始只要上坡路不是上升的特别离谱，他都会试着去尝试⼀下，⾛⾛看。不过，随着时间的流逝，这哥们开始越来越不愿意⾛上坡路，⼀开始可能这是上坡路还会去尝试着⾛⼀下呢。到后来，越来越不愿意去尝试。这个愿不愿意去尝试⾛上坡路的⼼态就跟刚出炉放在空⽓中的铁⼀样，随着时间的流逝⽽渐渐降温，渐渐冷却，渐渐退⽕。
公式表⽰就是这样：，如果新的成本函数降低了，当然欣然接受⼀开始，不多说。但是如果新的成本函数增⾼了，那么就开始考虑要不要试⼀下要不要⾛，⼀开始的时候，温度很⾼，⾼低成本之差显得很⼩，除了个温度接近为0，这个P值接近为1，⼀般程序当中都是⽤⼀个0和1之间的随机数与P值⽐较，如果⽐P⼩那么就尝试，如果⽐P⼤那么不尝试。所以很明显，⼀开始肯定是乐意尝试的，后来随着时间的增加，温度的下降，P值越来越⼩接近于0。因此，更加不愿意去尝试上坡路了。
这个⽅法的问题和爬⼭法其实差不多，每次结果可能都会不同，尝试着每次改下参数（初始温度和温度下降的速度）来试试。
3遗传算法
这时候，想象成⼈类吧。⼈类的⽣存环境⼗分的残酷，只有优秀的⼀拨⼈才能活下来（优秀的⼈意为成本函数⼩的最优解），⼀代⼀代，每代之中会有变异（对既有解进⾏微⼩的，简单的，随机的改变）也会有交叉（选取最优解中的两个解，然后将他们按照某种⽅式进⾏结合）。
很显然，变异和交叉会产⽣新的种（会对成本函数产⽣或增或减的影响）。同样，这些新的种有的能适应这个世界⽽存活下去，有的就消失在⼈类的进化长河⾥。正所谓物竞天择适者⽣存。真是残酷。
4 贝叶斯法
250 年前，贝叶斯牧师就很重视⼩数据预测问题，他来⾃英国迷⼈的温泉城镇坦布⾥奇韦尔斯，是⼀位长⽼会的牧师。贝叶斯设想，如果我们买10 张新的、不熟悉的抽奖，其中有5 张中奖，那么要估计中奖概率就似乎相对容易：
5/10，或50%。
但是，如果我们只买了⼀张，并赢得奖品呢？
我们真的认为中奖的概率就是1/1，或是100%的？这似乎过于乐观，不是吗？
如果是这样的话，那中奖概率应该是多少？我们应该猜多少呢？
对于那些曾在不确定性推理历史上产⽣如此重⼤影响的⼈来说，贝叶斯⾃⼰的故事也具有讽刺的不确定性。
对于那些曾在不确定性推理历史上产⽣如此重⼤影响的⼈来说，贝叶斯⾃⼰的故事也具有讽刺的不确定性。
他出⽣于1701年或者1702年，出⽣地是英国的赫特福德郡，或是伦敦。
在1746年，或1748年，或1747年，抑或是1749年，他写了⼀篇在数学界最具影响⼒的论⽂，他却未将它发表，并继续做其他事情。
有毒的蛇
在这两个事件之间我们有了更多的把握。作为牧师的⼉⼦，贝叶斯去爱丁堡⼤学学习神学，并像他⽗亲⼀样被任命为牧师。
他对数学和神学感兴趣，并在1736年为⽜顿全新的 “微积分”理论写了⼀篇慷慨激昂的辩护书，以回应乔治伯克利主教对⽜顿的攻击。
这使他在1742年当选为皇家学会的成员，并被赞誉为“擅长⼏何、数学和哲学学习的绅⼠”。
1761年贝叶斯去世后，他的朋友理查德·普莱斯被要求整理他的数学论⽂，看是否有可发布的内容。
城镇化会议
⼀篇⽂章引起了他的兴趣，并令他特别兴奋——他说这篇⽂章“极为出⾊，值得保存”。
这篇论⽂就论述了本⽂所讨论的问题：让我们想象⼀个⼈在抽奖的时候，对会不会中奖完全不知道，也不知道中奖和⽆奖的⽐例如何。
让我们进⼀步假设，他要从他之前了解到的⽆奖的数量来推测相对的中奖数量，并询问他在这些情况下能做出什么合理的结论。
贝叶斯的关键见解是，试图使⽤我们看到的中奖和未中奖来分析来源于整体池的⽅法，本质上是在倒推。
他说，要做到这⼀点，我们需要先⽤假设向前推理。
换句话说，我们⾸先需要确定，如果各种可能场景都成真的情况下，我们中奖的可能性有多少。
这个被现代统计学家称为“可能性”的概率，给了我们解决问题所需要的信息。
例如，假设我们买了三张，三张都中奖了。现在，如果这种中奖率特别⾼，所有都能中奖，那我们的买三中三的中奖率就肯定会⼀直发⽣，在这种情况下就是100% 的概率。
但如果只有⼀半的能中奖，那我们三张的中奖率就是1/2×1/2×1/2, 也就是1/8。
物竞天择适者生存如果1000 张只有⼀张能中奖，那么我们的中奖率将是1/1000×1/1000×1/1000，也就是1×10–9。
贝叶斯认为，因此我们应该判断如何能让所有都尽可能中奖⽽不是⼀半能中奖，或者尽可能使⼀半的中奖⽽不是1/1000。
也许我们⽣来便拥有这种直觉，但贝叶斯的逻辑思维却给我们提供了为这种直觉定量的⽅法。
在同等条件下，我们应该想象成所有都中奖的概率⽐⼀半中奖的概率要⾼8 倍，因为我们在这种情况下买的正好是8 倍多的中奖概率（100% 与1/8）。
同样的，⼀半的中奖的概率正好是1000 张中⼀张中奖的1.25 亿倍，我们已经通过⽐较1/8 和1×10–9 ⽽得知其中的原因。
这是贝叶斯论证的关键所在：从假设的过去向前推理，并奠定了理论基础，让我们可以向后到最⼤的可能性。
这是⼀个巧妙和创新的⽅法，但它对抽奖问题没能提供⼀个完整的答案。
qq桌面主题
普莱斯在向皇家学会提交贝叶斯的研究结果时，他能够确定，如果你买了⼀张并中奖了，那么⾄少有⼀半的都
普莱斯在向皇家学会提交贝叶斯的研究结果时，他能够确定，如果你买了⼀张并中奖了，那么⾄少有⼀半的都能中奖的概率是75%。
但是，考虑概率的概率问题会让⼈有点⼉头晕。更重要的是，如果有⼈在催促我们：“好吧，但是你认为的中奖率到底是多少？”我们仍然不知道该说什么。
如何将所有可能的假设提取到单⼀的期望值，这⼀问题将在短短⼏年后，由法国数学家⽪埃尔·西蒙·拉普拉斯（Pierre Simon laplace）解答。
拉普拉斯定理
1749年，拉普拉斯⽣于诺曼底，他⽗亲送他到⼀所天主教学校，并希望他成为神职⼈员。
拉普拉斯继续在卡昂⼤学学习神学，他不像贝叶斯那样⼀⽣都能平衡对神学和科学的奉献，因此他最终放弃了做牧师，⽽专攻数学。
1774年，在完全不知道贝叶斯以前做的⼯作的情况下，拉普拉斯发表了⼀篇雄⼼勃勃的论⽂，名为“事件原因的概率论”。
集美大学什么专业好在这篇论⽂中，拉普拉斯终于解决了如何从观察到的效果向后推理并出可能的原因这⼀问题。
如我们所见，贝叶斯到了⼀种⽐较两种假设的相对可能性的⽅法。但是在这⼀问题上，这⾥的假设⼏乎就是⽆穷的——每⼀个中奖可能的⽐例。
利⽤微积分这⼀曾备受争议却受到贝叶斯坚决拥护的数学学科，拉普拉斯能够证明这个巨⼤范围的可能性，这可以提取成⼀个单⼀的预估值和⼀个⾮常简洁的数字。
他表⽰，如果我们提前真的不知道的情况，然后当我们第⼀次买的三张中的⼀张中奖了，我们可以推测奖池⾥的总中奖⽐例为2 / 3。
如果我们买三张，都中奖了，那我们可以推测总中奖⽐例正好是4/5。
事实上，如果买n 张共w 张中奖，那么中奖率就是中奖数加1，除以所购买的数⽬加2，即（w+1）/（n+2）。
这种令⼈难以置信的简单⽅法，估计概率的简单⽅法被称为拉普拉斯定律，它很容易就能适⽤于任何你需要通过历史事件来评估概率的情况。
如果你做了10 次尝试，其中有5 次成功，拉普拉斯定律估计你的整体成功概率是6/12 或50%，这符合我们的直觉。
如果你只试⼀次便取得成功，拉普拉斯给的估计是2/3，这⽐假设你每次都赢更合理，也⽐普莱斯的观点更具可操作性。（它告诉我们，50% 或更⼤的成功概率有75% 的元概率。）
拉普拉斯继续将他的统计⽅法应⽤到⼴泛的时间问题上，包括评估男孩和⼥孩的出⽣率是否真正平均。（他发现，男婴其实⽐⼥婴的出⽣率稍⾼。）舍身技
他还写了关于概率的哲学论⽂，可以说这是给⼤众读者的第⼀本关于概率的书，也是最好的概率书之⼀，此书奠定了他的理论基础并讲述了这些理论在法律、科学与⽇常⽣活上的应⽤。
拉普拉斯定律为我们在现实世界中，⾯对⼩数据时提供了第⼀种简单的经验法则。
即使我们只进⾏了⼀些或⼀次观察，它也都能给予我们实际指导。想知道你的车晚点的概率吗？你的垒球队会赢吗？数⼀数过去已经发⽣的数量再加⼀，然后除以可能的机会数再加2。
拉普拉斯定律的精髓就在于⽆论我们有⼀个单独的数据点，或数以百万计的数据，它都同样适⽤。
相信太阳明天会升起是有道理的，这句话告诉我们：地球已经连续看到太阳上升约1.6 万亿天，在下⼀次的“尝试”中看见
相信太阳明天会升起是有道理的，这句话告诉我们：地球已经连续看到太阳上升约1.6 万亿天，在下⼀次的“尝试”中看见太阳不升起来的机会，⼏乎没有可能。
...........