Google 处理采集数据的一些分析


  本文标签:Google,处理,采集数据

点击跟踪

Google logs 把全部用户在其服务产品上的引导点击(广告,行动,功能点击等等)都记录起来 。

形式 -随着用户输入数据的形式直接进入(用户名,密码等),Google 记录了时间和日期以及提交的位置 。

google form Google 邪恶的一面:Google 用户数据采集大揭秘

注册 Google 帐号时的表单

输入类型是隐藏的,使用户不会看到或进入特定领域的数据

向用户发送后提交 (隐藏) 的位置

输入类型是隐藏的,所以用户不会看到或进入到特定数据里头 。

用户使用引用数据,并通过表格获得怎样才把”注册”放在什么位置用户会点击

Cookies

Google 把它所有网站属性的 Cookie 都用上了,此外,他还留下了广告 Cookie 来跟踪用户在网站上的行为 。通过这种方法,Google 就可以在有 doubleclick 和AdSense 广告的网站下跟踪该网站上任何一个用户的网站行为 。

google cookies Google 邪恶的一面:Google 用户数据采集大揭秘

存储的cookies列表

存储在日志文件的服务器请求

每一个向 Google 服务器发出的请求都存储在日志文件里头,而存储的内容取决于发出请求的类型 。

google log Google 邪恶的一面:Google 用户数据采集大揭秘

日志文件

URL - http://www.google.com/search?hl=en&q=seomoz&ie=UTF-8

从用户付出的请求而获得的 IP 地址,可以根据这个IP 地址定位该用户的具体地理位置 。

日期,时间和时区偏移的用户

用户的语言

用户的操作系统

用户的浏览器

其他信息就没有那么重要但是必须具体的描述向服务器发出的请求,服务器的响应和转译引擎 。

Javascript

Google 有小部分的 JavaScript 已经嵌入到互联网上众多的网站上面 。当用户的浏览器执行背景中的脚本时候,Google 就能够知道很多关于这个用户浏览习惯等重要信息(地理位置,操作系统,浏览器类型和版本等)

网站信标

Google 向很多结算屏幕嵌入小尺寸的透明 gif 图片,就好像 JavaScript 一样,一个用户下载隐形的图片并且向 Google 发送他们的电脑信息 。

网站信标样例(什么?你看不到?这才是重点)

了解一下 Google 是怎样处理这些数据

存储

Google 使用一个内部数据库叫 BigTable 扩展到近乎 100W 个服务器

Google Data In 2006

 

Data

Size (TB)

Crawl Index

800

Google Analytics

200

Google Base

2

Google Earth

70

Orkut

9

Personalized Search

4

这压缩的数据的大小接近 TB(1024GB) 。而 Google 透露的数据大小超过 1PB(1048576GB) 。这甚至不需要考虑 AdSense,Gmail,Google Map,街景,Google图片,或者其他私有数据库 。并且这些数据都是超过2年前的 。

大量的数据分析

这就有点像 Charlie and the Chocolate Factory (电影《查理与巧克力工厂》) 。我们都知道有很多数据都进入到 Google 那里,我们也知道有大量处理好的数据会导出来 。我们就只是不知道两者之间是发生了什么,是怎么转换的 。

我们也知道 Google 本身有很多运算法则组织他的数据,Page Rank 就是最出名的了 。据说,Google 也有很多复杂的 spam 的过滤系统,内容复制过滤系统,类型侦查运算法则,自然语言解析程序,图像识别软件,和其他大量的复杂的软件 。

永久备份

Google 上的数据最终的栖息地可能会在永久存储 。Google 的隐私政策提示某些用户数据永远都不会完全被删除,因为已经被永久的备份 。

理解Google收集特定用户的数据情况

以下都是一些当用户与很多网站交互的时候 Google 收集到的用户的资料的清单列表 。这意味着其实有更多的数据被 Google 收集而却又没有公开的 。不过其实无知就是幸福,当你看完之后,你或许会感觉很不爽:

Google用户数据收集情况汇总:Google用户数据收集情况汇总

你能相信 Google 会帮你保密一切信息么? 你敢相信 Google 会遵守所有保密要求么?

原文地址:http://semwatch.org/2009/11/evil-of-google-data