数据骗子无处不在,教你拆穿所谓“万金油”

本文转载自公众号“读芯术”(ID:AI_Discovery)

数据分析师、机器学习/人工智能工程师、统计学家,这样的头衔是不是听起来很高大上?但小心别被骗了!高薪诱惑之下,不少数据骗子也隐藏在其中,这些骗子毁了遵纪守法的数据专业人士的好名声。

数据骗子无处不在,教你拆穿所谓“万金油”

数据骗子非常善于在众目睽睽之下隐藏自己,你甚至可能都没有意识到他们的存在,他们有可能就藏身于你的公司当中、不过还好,如果你知道该找些什么线索,那么他们是很容易识别的。第一点线索就是,他们无法理解分析学和统计学是两个截然不同的学科。

不同的学科

统计学家接受的训练是推断数据之外的内容,而分析师接受的训练是探究数据集中的内容。换句话说,分析师根据数据中包含的内容得出结论,而统计学家根据未包含于数据中的内容得出结论。分析师帮助你提出好问题(假设生成),而统计学家帮助你获得理想答案(假设测试)。

还有一些神奇的“混血”,会拥有两种身份……但他们不会同时扮演这两种角色。为什么呢?数据科学的一条核心原则是,如果要处理不确定性,则不能使用相同的数据点进行假设生成和假设测试。数据有限时,不确定性会迫使你在统计学和分析学之间做出选择。

没有统计学,就无法知道自己刚刚产生的观点是否站得住脚。没有分析学,就只能在摸索中前进,几乎无法掌握未知的未知。

这是一个艰难的选择!是睁开双眼接受灵感(分析学),发誓放弃知道新发现是否能站住脚的满足感,还是冒着冷汗祈祷自己选择要问的(在没有任何数据的情况下,一个人在杂物室里冥思苦想出来的)问题值得自己即将得到的严密答案(统计学)?

“兜售”后见之明的小贩

骗子摆脱这种困境的方式是对其视而不见,发现一片薯片长得像猫王,然后假装对这一事实感到惊讶。(统计假设测试的逻辑可以归结为:我们的数据是否让我们惊讶到改变自己的想法。如果我们已经见过这些数据,我们又怎么会对它们感到惊讶呢?)

在你看来,图片中的云朵和薯片长得像兔子还是像猫王呢?亦或是像某一位总统?

骗子发现一个模式并从中得到启发,然后以相同的模式测试相同的数据,为的是用一到两个合理的p值生成可验证其理论的结果,他们这样做实际上是在欺骗你(可能也是在欺骗他们自己)。这样的p值没有任何意义,除非在查看数据之前对假设作出承诺。

骗子模仿分析师和统计学家的一举一动,却并不明白其中缘由,这为整个数据科学领域带来了不好的声誉。

真正的统计学家总是谨慎行事

由于统计学家在严密的推理方面享有近乎神秘的声誉,“万金油”在数据科学领域的出现频率创下了历史新高。这种骗术不易被人发觉,尤其是在那些毫无防备的受害者认为这正关系到方程和数据的时候。数据集就是数据集,对吗?错,要看你如何使用数据集。

这些骗子身上都带有冒牌货的标志,你只需要一个线索就可以识破他们的真面目:骗子只有后见之明——用数学重新发现他们已经知道的存在于数据中的现象,而统计学家提供的是具有先见之明的测试。

与骗子不同,优秀的分析师是思想开放的典范,总是将鼓舞人心的见解与提醒相结合,提醒人们观察到的某种现象可能有多种不同的解释,而优秀的统计学家则会谨慎地做出决定。

分析师带来灵感

分析师不必负责一切,他们要根据数据中包含的内容得出结论。如果他们想对没见过的事物提出观点,那他们担任的就是另一种工作了。他们应该摘下分析师的“帽子”,带上“统计学家”的头盔。毕竟,无论你的正式职位是什么,都没有这样一条规则说你不能投身两种行业。只要你想,就可以这么做,只是不要把它们弄混了。

骗子怎样测试假设

擅长统计并不意味着擅长分析,反之亦然。如果有人跟你说的与之相反,请自行思考。如果这个人告诉你,你可以对你研究过的数据进行统计推断,请再次问问自己。他很有可能是个骗子。

隐藏在天花乱坠的解释背后

如果你在现实生活中观察数据骗子,你会发现他们喜欢编造一些天花乱坠的故事来“解释”观察到的数据:故事听起来越学术越好,并不在乎它们只是(过分)符合事后的数据。

骗子这样做完全是胡扯。再多的方程甚至是夸夸其谈也无法弥补这样一个事实:他们没有证据表明他们知道自己谈论的内容超过了数据的范围。不要被他们天花乱坠的解释蒙骗了。如果是统计推断,他们就必须在看到数据之前谨慎做出决定。

这相当于炫耀他们的“通灵”能力,先瞄一眼你出的牌,然后预测你手上拿着什么牌……无论你拿着什么牌,他们都能预测出来。做好准备,听听他们的花言巧语:你的面部表情如何将你手中的牌泄露给他们。这是后见之明偏误,它在数据科学领域随处可见。

分析师说,“这是你刚才出的方块皇后。”统计学家说,“游戏开始之前,我把我的假设写在了这张纸片上。我们开始吧,观察一些数据,看我假设得对不对。”骗子说,“我早知道你要出方块皇后,因为……”

机器学习说,“我要一直提前调用它,看看我完成得如何。然后重复再重复。我可能会调整自己的反应,从而适应某个有效的策略。但我会用某个算法来完成这一过程,因为手动追踪这一切实在太烦人了,”

阻止骗子进入你的生活

要处理的数据不算太多时,你必须要在统计学和分析学之间做出选择。幸运的是,如果你有大量数据,那么你将有一个绝妙的机会来利用自己的分析和统计信息,而不会上当受骗。你还可以通过一个完美的计策来让自己免受骗子侵害,这叫做“数据拆分”,笔者认为这是数据科学中最强大的思想。

为保护自己免受骗子侵害,你要做的就是确保某些测试数据处于他们可窥探到的范围之外,然后将其他所有内容看作分析学(不要当真)。当你面对某种你可能会全盘接受的理论时,可以用它来替你做主,然后打开你的秘密测试数据,看看这个理论是不是一派胡言。

从人们习惯的时代到“小数据”时代,这是一个巨大的文化转变,你必须解释自己是如何知道自己所知道的东西,才能以一种轻松的方式-说服人们,你可能确实知道一些东西。

同样的道理也适用于机器学习/人工智能

一些伪装成机器学习/人工智能专家的骗子很容易被识破。你可以通过识破蹩脚工程师的方法来识破他们:他们反复尝试构建的“解决方案”无法交付。(较早的预警信号是他们缺乏行业标准编程语言和库的经验。)

但是那些构建出看上去可以正常运行的系统的人呢?你怎么知道事情是否有可疑之处?同样的道理也适用于此!骗子是阴险的,他会向你展示他们的模型有多好,用的是他们制作模型时使用的数据。如果你构建了一个极其复杂的机器学习系统,你怎么知道它能不能正常运行呢?你没法知道,除非你能证明它可以处理以前从未见过的新数据。

有足够的数据可以分割时,无需改变工整的公式即可证明项目的合理性(这仍然是一种老习惯,在任何地方都可以看到,不仅仅是在科学领域)。

进行统计工作或保持谦虚的态度

套用经济学家保罗·萨缪尔森(Paul Samuelson)的一句俏皮话:骗子成功预测了最近五次衰退中的九次衰退。

笔者对数据骗子没有耐心。“了解”一些长得像猫王的薯片又怎样?没人在乎你的观点是不是符合原来的“薯片”。解释再天花乱坠,笔者也不为所动。看看理论/模型能不能适用于(而且能够一直适用于)一大堆从未见过的新“薯片”,这才是对该观点的真正考验。

给数据科学专业人士的建议

数据科学专业人士,如果你想得到那些明白此处幽默的人的重视,请不要再用花哨的方程式来支持你的个人偏见。让我们看看你的真才实学。如果你想让那些“了解”你理论/模型的人将这些理论/模型看作是鼓舞人心的诗歌,那么就请大胆地在他们面前用全新的数据集进行一次伟大的展示吧!

给领导者的建议

领导者不愿认真看待任何与数据有关的“见解”,除非这些见解已经通过了新数据的测试。不想付出努力吗?要坚持利用分析学,但不要依赖于这些见解——它们站不住脚,而且其可信度尚未通过检查。

此外,公司拥有大量数据时,将分割数据作为科学文化的核心部分,甚至通过对专用于统计数据的测试数据的访问加以控制,从而将其应用于基础架构,这不会有任何坏处。这是一个将“万金油”扼杀于摇篮之中的好办法!

数据过少而无法分割时,只有数据骗子才会严格追随他们的灵感,用数学方法重新发现他们已知的存在于数据中的现象,宣称他们的惊人发现具有统计学意义,这便是后见之明。这让他们有别于思想开放的分析师和细心的统计学家。

相关推荐