在Hadoop中保护大数据安全的9个技巧


  本文标签:Hadoop 大数据 大数据安全

当企业改变为数据驱动的机器时,其 后劲是 硕大的:企业所 占有的数据可能成为 获得竞争优势的 要害  。 因此,企业的数据和 根底设施的安全也变得比以前任何时候都主要  。

在许多状况下,企业或组织都可能得到Forrester所说的“有毒的数据”  。例如,一家无线公司正在收集谁登录哪一个天线塔、他们在线 勾留多长期、他们 使用多少数据、他们是在移动还是处于静止状态等数据,这些数据可用来了解消费者行为的状况  。

这家无线公司 兴许有许多消费者生成的数据:信用卡号码、社会保险号码、购买习惯数据和消费者 使用任何信息的 模式等  。关联这种数据和从这些数据中提取判断 后果的 威力是有价格的,然而,这种做法也是有害的,假如这种关联的数据泄露到机构外部而且落入他人手中,这将给个人和机 构造成 苦难性的损失  。

利用大数据,不要 淡忘法规 听从和操纵  。下面是 保障大数据安全的9个技巧  。

1. 在启动大数据 名目之前要考量安全问题  。不应该等到 产生数据 打破事件之后再采取 保障数据安全的措施  。组织的IT安全团队和 加入大数据项 目标 其余人员在向 分布式计算(Hadoop)集群安装和发送大数据之前应该认真地 探讨安全问题  。

2. 考量要存储什么数据  。在 方案 使用Hadoop存储和运行要提交给监管部门的数据时,可能需要 恪守具体的安全要求  。 即便所存储的数据不受监管部门的管辖,也要评估风险,假如个人身份信息等数据 迷失,造成的风险将包含 信用损失和收入损失  。

3. 责任集中  。现在,企业的数据可能存在于多个机构的竖井之中和数据集中  。集中的数据安全的责任可 保障在所有这些竖井中强制执行 统一的政策和 拜访操纵  。

4. 加密静态和动态数据  。在文件层添加透明的数据加密  。SSL(安全套接层)加密 可以在数据在节点和 利用程序中间移动时 掩护大数据  。安全探究与 参谋公司Securosis的首席技术官和 综合师阿德里安·莱恩(Adrian Lane)称,文件加密解决了绕过 畸形的 利用安全操纵的两种 突击 模式  。在 歹意消费者或者治理员 获得数据节点的 拜访权限和直接 审查文件的权限以及可能窃取文件或者不可读的磁盘镜像的状况下,加密 可以起到 掩护作用  。这是解决一些数据安全 挟制的 节俭成本的 路径  。

5. 把密钥与加密的数据 离开  。把加密数据的密钥存储在加密数据所在的同一台服务器中等于是锁上大门, 而后把钥匙悬挂在锁头上  。密钥治理系统同意组织安全地存储加密密钥,把密钥与要 掩护的数据隔离开  。

6. 使用Kerberos网络身份 鉴别 协定  。企业需要 可以治理什么人和流程 可以 拜访存储在Hadoop中的数据  。这是幸免流氓节点和 利用进入集群的一种有效的 步骤  。莱恩说,这 可以协助 掩护网络操纵接入,使治理 性能很难被攻破  。我们晓得,设置Kerberos 比较 困苦,验证或再一次验证新的节点和 利用 可以 施展作用  。然而,没有 构建双向的信任, 诱骗Hadoop同意 歹意 利用进入这个集群、或者 承受引进的 歹意节点是很方便的  。这个 歹意节点以后 可以添加、 批改或者提取数据  。Kerberos 协定是 可以操纵的最有效的安全操纵措施  。Kerberos建在Hadoop 根底设施中, 因此,请 使用它  。

7. 使用安全自动化  。企业是在 解决一个多节点环境, 因此,部署的 统一性是很难 保障的  。Chef和Puppet等自动化工具 可以协助企业更好地 使用补丁、配置 利用程序、更新Hadoop栈、收集可信任的机器镜像、证书和平台的不 统一性等信息  。事先 构建这些脚本需要一些 工夫,然而,以后会得到削减治理 工夫的回报,而且额外地 保障每一个节点都有 根本的安全  。

8. 向Hadoop集群添加记录  。大数据很自然地 合适收集和治理记录数据  。许多网站公司开始 使用大数据专门治理记录文件  。为何不向现有的集群添加记录呢?这会让企业 视察到什么时候浮现的故障或者是不是有人 认为企业已经被黑客攻破了  。没有一个事件跟踪记录,你便是一个瞎子  。记录MR 申请和其它集群 运动是很方便的而且 可以略微 普及存储和 解决需要  。然而,当有需要的时候,这些数据是不可或缺的  。

9. 节点中间以及节点与 利用中间采纳安全通讯  。要做到这丝毫,需要部署一个SSL/TLS(安全套接层/传输层安全) 协定 掩护企业的所有网络通讯,而不是仅仅 掩护一个子网  。就像许多云服务提供商一样,Cloudera等Hadoop提供商已经在做这件事  。假如设置上没有这种 威力,就需要把这些服务集成到 利用栈中  。