教你戳穿所谓 万金油 数据骗子无处不在

数据剖析师、机器学习/人工默认工程师、统计学家，这样的头衔是不是听起来很矮小上?但小心别被骗了!高薪诱惑之下，不少数据骗子也暗藏在其中，这些骗子毁了遵纪违法的数据专业人士的好名声。

数据骗子十分擅长在大庭广众之下暗藏自己，你甚至或许都没无看法到他们的存在，他们有或许就藏身于你的公司当中、不过还好，假设你知道该找些什么线索，那么他们是很容易识别的。第一点线索就是，他们不可了解剖析学和统计学是两个一模一样的学科。

不同的学科

统计学家接受的训练是推断数据之外的内容，而剖析师接受的训练是探求数据集中的内容。换句话说，剖析师依据数据中蕴含的内容得出论断，而统计学家依据未蕴含于数据中的内容得出论断。剖析师协助你提出好疑问(假定生成)，而统计学家协助你取得理想答案(假定测试)。

还有一些神奇的“混血”，会领有两种身份……但他们不会同时表演这两种角色。为什么呢?数据迷信的一条外围准则是，假设要处置不确定性，则不能经常使用相反的数据点启动假定生成和假定测试。数据有限时，不确定性会迫使你在统计学和剖析学之间做出选用。

没有统计学，就不可知道自己刚刚发生的观念能否站得住脚。没有剖析学，就只能在探索中行进，简直不可把握未知的未知。

这是一个困难的选用!是睁开双眼接受灵感(剖析学)，发誓丢弃知道新发现能否能站住脚的满足感，还是冒着冷汗祈祷自己选用要问的(在没有任何数据的状况下，一团体在杂物室里左思右想进去的)疑问值得自己行将失掉的严密答案(统计学)?

“抛售”后见之明的小贩

骗子解脱这种困境的形式是对其熟视无睹，发现一片薯片长得像猫王，而后伪装对这一理想感到惊讶。(统计假定测试的逻辑可以归纳为：咱们的数据能否让咱们惊讶到扭转自己的想法。假设咱们曾经见过这些数据，咱们又怎样会对它们感到惊讶呢?)

在你看来，图片中的云朵和薯片长得像兔子还是像猫王呢?亦或是像某一位总统?

骗子发现一个形式并从中失掉启示，而后以相反的形式测试相反的数据，为的是用一到两个正当的p值生成可验证其通常的结果，他们这样做实践上是在诈骗你(或许也是在诈骗他们自己)。这样的p值没有任何意义，除非在检查数据之前对假定作出承诺。

骗子模拟剖析师和统计学家的一举一动，却并不明确其中缘由，这为整个数据迷信畛域带来了不好的声誉。

真正的统计学家总是审慎行事

由于统计学家在严密的推理方面享有近乎奥秘的声誉，“万金油”在数据迷信畛域的出现频率创下了历史新高。这种骗术不易被人觉察，尤其是在那些毫无防范的受益者以为这正相关到方程和数据的时刻。数据集就是数据集，对吗?错，要看你如何经常使用数据集。

这些骗子身上都带有冒牌货的标记，你只要求一个线索就可以识破他们的真面目：骗子只要后见之明——用数学从新发现他们曾经知道的存在于数据中的现象，而统计学家提供的是具备先见之明的测试。

与骗子不同，低劣的剖析师是思想放开的模范，总是将鼓舞人心的见地与提示相联合，提示人们观察到的某种现象或许有多种不同的解释，而低劣的统计学家则会审慎地做出选择。

剖析师带来灵感

剖析师不用担任一切，他们要依据数据中蕴含的内容得出论断。假设他们想对没见过的事物提出观念，那他们担任的就是另一种上班了。他们应该摘下剖析师的“帽子”，带上“统计学家”的头盔。毕竟，无论你的正式职位是什么，都没有这样一条规定说你不能投身两种行业。只需你想，就可以这么做，只是不要把它们弄混了。

骗子怎样测试假定

擅长统计并不象征着擅长剖析，反之亦然。假设有人跟你说的与之相反，请自行思索。假设这团体通知你，你可以对你钻研过的数据启动统计推断，请再次问问自己。他很有或许是个骗子。

暗藏在缄口不语的解释面前

假设你无理想生存中观察数据骗子，你会发现他们青睐假造一些缄口不语的故事来“解释”观察到的数据：故事听起来越学术越好，并不在乎它们只是(过火)合乎预先的数据。

骗子这样做齐全是胡扯。再多的方程甚至是纸上谈兵也不可补偿这样一个理想：他们没有证据标明他们知道自己议论的内容超越了数据的范围。不要被他们缄口不语的解释蒙骗了。假设是统计推断，他们就必定在看到数据之前审慎做出选择。

这相当于炫耀他们的“通灵”才干，先瞄一眼你出的牌，而后预测你手上拿着什么牌……无论你拿着什么牌，他们都能预测进去。做好预备，听听他们的甜言蜜语：你的面部表情如何将你手中的牌暴露给他们。这是后见之明偏误，它在数据迷信畛域随处可见。

剖析师说，“这是你刚才出的方块皇后。”统计学家说，“游戏开局之前，我把我的假定写在了这张纸片上。咱们开局吧，观察一些数据，看我假定得对不对。”骗子说，“我早知道你要出方块皇后，由于……”

机器学习说，“我要不时提早调用它，看看我实现得如何。而后重复再重复。我或许会调整自己的反响，从而顺应某个有效的战略。但我会用某个算法来实现这一环节，由于手动追踪这一切真实太烦人了，”

阻止骗子进入你的生存

要处置的数据不算太多时，你必定要在统计学和剖析学之间做出选用。幸运的是，假设你有少量数据，那么你将有一个绝妙的时机来应用自己的剖析和统计消息，而不会受骗受骗。你还可以经过一个完美的计谋来让自己免受骗子损害，这叫做“数据拆分”，笔者以为这是数据迷信中最弱小的思想。

为包全自己免受骗子损害，你要做的就是确保某些测试数据处于他们可窥探到的范围之外，而后将其余一切内容看作剖析学(不要当真)。当你面对某种你或许会全盘接受的通常时，可以用它来替你做主，而后关上你的秘密测试数据，看看这个通常是不是一派胡言。

从人们习气的时代到“小数据”时代，这是一个渺小的文明转变，你必定解释自己是如何知道自己所知道的物品，才干以一种轻松的形式-压服人们，你或许确实知道一些物品。

雷同的情理也实用于机器学习/人工默认

一些伪装成机器学习/人工默认专家的骗子很容易被识破。你可以经过识破蹩脚工程师的方法来识破他们：他们重复尝试构建的“处置打算”不可交付。(较早的预警信号是他们不足行业规范编程言语和库的阅历。)

但是那些构建出看下来可以反常运转的系统的人呢?你怎样知道事件能否有可疑之处?雷同的情理也实用于此!骗子是阴险的，他会向你展现他们的模型有多好，用的是他们制造模型时经常使用的数据。假设你构建了一个极端复杂的机器学习系统，你怎样知道它能不能反常运转呢?你没法知道，除非你能证实它可以处置以前从未见过的新数据。

有足够的数据可以宰割时，无需扭转工整的公式即可证实名目标正当性(这依然是一种老习气，在任何中央都可以看到，不只仅是在迷信畛域)。

启动统计上班或坚持虚心的态度

套用经济学家保罗·萨缪尔森(Paul Samuelson)的一句俏皮话：骗子成功预测了最近五次消退中的九次消退。

笔者对数据骗子没有耐烦。“了解”一些长得像猫王的薯片又怎样?没人在乎你的观念是不是合乎原来的“薯片”。解释再缄口不语，笔者也不为所动。看看通常/模型能不能实用于(而且能够不时实用于)一大堆从未见过的新“薯片”，这才是对该观念的真正考验。

给数据迷信专业人士的倡导

数据迷信专业人士，假设你想失掉那些明确此处风趣的人的注重，请不要再用花哨的方程式来允许你的团体成见。让咱们看看你的真才实学。假设你想让那些“了解”你通常/模型的人将这些通常/模型看作是鼓舞人心的诗歌，那么就请大胆地在他们面前用全新的数据集启动一次性平凡的展现吧!

给指导者的倡导

指导者不愿仔细看待任何与数据无关的“见地”，除非这些见地曾经经过了新数据的测试。不想付出致力吗?要坚持应用剖析学，但不要依赖于这些见地——它们站不住脚，而且其可信度尚未经过审核。

此外，公司领有少量数据时，将宰割数据作为迷信文明的外围局部，甚至经过对公用于统计数据的测试数据的访问加以控制，从而将其运行于基础架构，这不会有任何坏处。这是一个将“万金油”扼杀于摇篮之中的上策!

数据过少而不可宰割时，只要数据骗子才会严厉追寻他们的灵感，用数学方法从新发现他们已知的存在于数据中的现象，宣称他们的惊人发现具备统计学意义，这便是后见之明。这让他们有别于思想放开的剖析师和仔细的统计学家。

数据短缺时，要养成数据宰割的习气，必定要对原始数据堆的不同子集区分启动剖析和统计。这样你就可以在不受骗的状况下占据双重长处了!