在加拿大
申明：纯技术分析，键政爱好者请移步。 关于棱镜计划，我们知道的是这是一个由中情局主导的，旨在截获及分析互联网数据的秘密项目。以下内容摘自维基百科： 稜鏡計畫（英语：PRISM）是一项由美国国家安全局自2007年起开始实施的绝密级電子監聽計劃。[1][2]該計劃的正式名稱為「US-984XN」。[3][4]根據報導，泄露的文件中描述PRISM計劃能夠對即時通信和既存資料進行深度的監聽。[5]許可的監聽對象包括任何在美國以外地區使用參與計劃公司服務的客戶，或是任何與國外人士通信的美國公民。[5]國家安全局在PRISM計劃中可以獲得的數據電子郵件、视频和语音交谈、影片、照片、VoIP交談內容、檔案傳輸、登入通知，以及社交網路細節。[5]綜合情報文件《总统每日简报》中在2012年內在1,477個計劃使用了來自PRISM計劃的資料。[6]关于PRISM的报道是在美國政府持續秘密地要求威訊向國家安全局提供所有客戶每日電話記錄的消息曝光後不久出现的。[7][2]洩露這些絕密文件的是國家安全局合約外判商的員工愛德華·斯諾登，並在2013年6月6日，在英国衛報和美国華盛頓郵報公開。[8] 好吧，有没有人好奇，为什么要用“棱镜”作为这样一个项目的代号呢？ 我们知道，棱镜最大的用处是将自然光线分裂，或者反射成光谱。但是这和情报分析有什么关系呢？ 要回答这一问题，先要想一想什么是当今互联网数据传输最主要的介质？ 没错，答案就是光。无论你身处那个国家，无论是语音、图像还是纯数据传输，最终的传输介质就是那一束束穿行在光缆中的光线。 那么，如果有那么一种方式，可以把光缆中的光线折射出去，是不是就可以对数据进行截获了？ 这不是科学幻想，而是早已成熟的技术手段。在业界，我们称之为“分光”。 理论上，这种技术可以将光缆中的光线折射到另外一个通道上去，而不影响原有的传输，然后对旁路的信息进行分析。一个形象的比喻就是，在一条高速公路旁建了另外一条路，然后把高速路上的车流全部克隆了一遍。 可怕吗？Yes and no。理论上这种技术确实可以对互联网上所有的信息进行复制并监听。但实际操作中有这么几个明显的问题： 一，分光是一种物理操作，这样的设备不是黑客原创就可以无中生有变出来的，而必须物理上接驳在骨干网的某侧。也就是说，中情局绝无可能到中国来安装这样一个家伙。唯一的可能，就是在美国本土的大运营商的骨干上，或者跨洋光缆的美国侧来安装。至于中国大陆有没有做这样的事情，呵呵，我不知道。 二，现有分光设备的处理能力有限。设想一下，互联网上传输的数据量有多大？实时分析？做梦吧。等天顶星人来了还差不多。目前常见得手段就是对部分特征数据先存储下来，再做分析。想象下一条大河，怎么可能把所有的水流都截下来呢？问题是，怎么样界定特征数据呢？稍有一点it网络方面基本常识的都会想到，ip地址，特定端口，TCP/IP包中得服务器地址等等，都是可以入手的地方。当然CIA之类的专业部门肯定有其他的办法，这就不得而知了。 三、处理加密信息的能力有限。前面说了，信息分析的基本单位还是TCP/IP包。但大部分TCP/IP包体的内容都是加密的。怎么办？那就需要原始服务提供商提供解释报文的算法或者是工具咯。这也就是，为什么qq，sina之类的邮件毫无保密性可言，而gmail是公认得加密利器的原因：google还真是有骨气，至少对中国政府是这样。至于CIA能做到什么程度，那就鬼知道了。 小结： 一句话，普遍撒网的不行，重点捞鱼的可以。 第二句话，不怕贼偷，就派贼惦记。 以目前的技术能力，任何个人活部门要想从互联网的海量数据中大海捞针般的寻找有价值的信息，基本是不可能完成的任务。但是只要被盯上了，根据某些特征信息进行针对性的分析，基本上就无从遁形了。 纯属个人推断，请勿对号入座。 另外，感兴趣的童鞋可以自行搜收DPI，DFI，深度检测包，探针等关键字。 再另外，思科和华为是业界最大的此类设备的生产商。 以上。
评论
煮饭侠回复: 原创：关于棱镜门的纯技术分析随便构思一下，感觉对于重点人物，肯定是从某个接入点进行数据分析比较靠谱，要物理切入也比较容易。对于全网，好像是不太可能把，而且大量ssl协议的通讯更是无法解析，我想这里也no magic，呵呵
评论
A brave new world
随便构思一下，感觉对于重点人物，肯定是从某个接入点进行数据分析比较靠谱，要物理切入也比较容易。对于全网，好像是不太可能把，而且大量ssl协议的通讯更是无法解析，我想这里也no magic，呵呵点击展开...我怀疑是接在某些重要路由上。比如跨洋光缆的接入点，五角大楼的出口，google机房出口等等。 加密协议诚然比较难分析，但哪怕是截获一些相关信息，比如收发报IP地址、端口、时间、频率等等，对于情报人员也是很大的收获了。 至于SSL也不是无懈可击。首先如果是对称算法的话，在分光的环境下密钥可以被截获。即使是非对称算法，如果CIA能够要挟服务提供商提供算法甚或是直接强行要求服务提供商实时截获密钥的话，SSL就无用了。 Again，对于情报分析而言完全的解密不是必须的，只要能够提供“足够”的信息就可以了。评论
煮饭侠回复: 原创：关于棱镜门的纯技术分析学习了。
评论
回复: 原创：关于棱镜门的纯技术分析我怀疑是接在某些重要路由上。比如跨洋光缆的接入点，五角大楼的出口，google机房出口等等。 加密协议诚然比较难分析，但哪怕是截获一些相关信息，比如收发报IP地址、端口、时间、频率等等，对于情报人员也是很大的收获了。 至于SSL也不是无懈可击。首先如果是对称算法的话，在分光的环境下密钥可以被截获。即使是非对称算法，如果CIA能够要挟服务提供商提供算法甚或是直接强行要求服务提供商实时截获密钥的话，SSL就无用了。 Again，对于情报分析而言完全的解密不是必须的，只要能够提供“足够”的信息就可以了。点击展开...我想截获都不是问题，问题的关键是海量的数据如何过滤和分析，如果通过底层ip包里面的数据不能立即完成分析过滤的话，很难想象这个设备的机房需要有多大的并发计算能力阿，呵呵
评论
A brave new world
我想截获都不是问题，问题的关键是海量的数据如何过滤和分析，如果通过底层ip包里面的数据不能立即完成分析过滤的话，很难想象这个设备的机房需要有多大的并发计算能力阿，呵呵点击展开... 目前成熟的产品有两种做法，同步分析和异步分析。 同步完全依靠网络设备硬件处理能力，简单的包分析可以，复杂一点包括加密包的处理就不行了。 异步的话就是不管三七二十一，把分光出来的数据全部存储下来再进行分析。处理复杂包，加密包的能力倒是有了，但问题是要处理的数据量太大。 还有一些定制系统，我猜测包括棱镜，是采用同步异步相结合的方式。大致的思路是，在分光出来的链路上部署具备DPI分析能力的硬件，根据预先设置的特征码，IP，帐号，端口等等，来判断是否需要将某个具体的包存储下来。这样需要处理的数据量就会大大减少，然后再对存储下来的数据进行异步的进一步分析。评论
煮饭侠目前成熟的产品有两种做法，同步分析和异步分析。 同步完全依靠网络设备硬件处理能力，简单的包分析可以，复杂一点包括加密包的处理就不行了。 异步的话就是不管三七二十一，把分光出来的数据全部存储下来再进行分析。处理复杂包，加密包的能力倒是有了，但问题是要处理的数据量太大。 还有一些定制系统，我猜测包括棱镜，是采用同步异步相结合的方式。大致的思路是，在分光出来的链路上部署具备DPI分析能力的硬件，根据预先设置的特征码，IP，帐号，端口等等，来判断是否需要将某个具体的包存储下来。这样需要处理的数据量就会大大减少，然后再对存储下来的数据进行异步的进一步分析。点击展开...咱们这里难得来点技术讨论帖阿，嘿。这个总体思路我完全赞同，但是这个里面的challenge还是非常巨大。首先根据ip包特征、协议类型等进行分类筛选肯定是不成问题，问题的关键是我们是否有能力进行全网扫描呢？如果没有很精确的针对性的过滤，把所有过滤出来的数据进行长期存储后再进行处理显然是不现实，那么同步分类后，异步处理应该是没有可逆性的，因为无法保留长时间的数据。那么异步处理的准确性挑战其实还是非常大的，不知道大家是否在natural language processing和machine learning有研究，不得不说我们行业在这个领域还是菜鸟水平，就是google等公司也高不到那里去，呵呵，这个准确率和召回率总是不可调和的矛盾，而全网的海量数据也让采集样本，调优验证变成一个几乎到不了很高水平的情况。那么这样的自动分析是无法保证是否能达到cia的期望的，我想必然是会有针对性措施来提高准确度。看看现在天朝的短信群发自动过滤系统，就知道他们做的有多2，呵呵，但是做的好确实很难，我知道的也就是在一些垂直领域大家做的好一些，不知道军方是不是比google等公司要更牛气一些，呵呵。
评论
A brave new world
咱们这里难得来点技术讨论帖阿，嘿。这个总体思路我完全赞同，但是这个里面的challenge还是非常巨大。首先根据ip包特征、协议类型等进行分类筛选肯定是不成问题，问题的关键是我们是否有能力进行全网扫描呢？如果没有很精确的针对性的过滤，把所有过滤出来的数据进行长期存储后再进行处理显然是不现实，那么同步分类后，异步处理应该是没有可逆性的，因为无法保留长时间的数据。那么异步处理的准确性挑战其实还是非常大的，不知道大家是否在natural language processing和machine learning有研究，不得不说我们行业在这个领域还是菜鸟水平，就是google等公司也高不到那里去，呵呵，这个准确率和召回率总是不可调和的矛盾，而全网的海量数据也让采集样本，调优验证变成一个几乎到不了很高水平的情况。那么这样的自动分析是无法保证是否能达到cia的期望的，我想必然是会有针对性措施来提高准确度。看看现在天朝的短信群发自动过滤系统，就知道他们做的有多2，呵呵，但是做的好确实很难，我知道的也就是在一些垂直领域大家做的好一些，不知道军方是不是比google等公司要更牛气一些，呵呵。点击展开... 首先，对全网的监控是不现实的。前面提到过，比较现实的也是现在常见的做法是将分光设备部署到一些重要、敏感路由上。比如说，骨干网的汇聚点，海底光缆接入点，重要数据中心接入点等等。举例来说，我所了解到的CISCO SCE的高端产品就具有10G的处理能力，那么如果某个节点的传输能力是1个T，那么在这个节点上就需要部署100台SCE。理论上没问题，只要预算足够就行，哈哈。 接下来就是选择是同步处理还是异步处理的问题了。同步处理，主要的目的不是立刻从数据包中获取精确的信息，而是像一面大筛子一样，把数据流中被认为是可疑的包截留下来，保存到存储介质上去，然后再由高性能的服务器进行后续的拆包、解密等处理将数据包转换为明文信息。 即便到了这一步，需要处理的数据仍然是海量的。这时机器学习才派上用场：用MAPREDUCE算法先对原始信息（解密后的海量但不具可读性的明文信息）进行并行处理后得到汇聚程度和结构化程度比较高的数据，在此基础上利用机器学习算法进行分析，得到相对比较可读的报告，再交由情报人员人工分析。 对于兄提到的过滤的精确性和后续产生的计算量的矛盾，我的想法是可以按照不同的场景来定制筛子的大小和存储机制。举例来说，对于某些需要重点监控的场所，比如某大使馆的IP，那么就是事无巨细的先截留下来再说。对于这些目标需要事先做好相应的专用资源规划。而更常见的是adhoc的分析，即临时需要对某特定对象进行监控，那么首先要确定的是特征码和监控范围，是IP，帐号还是特定应用？一个月，两个月还是一年？对于这类目标，可以利用共享的资源或者临时增加资源来处理。 Again，这些都是纸上谈兵的想法，实际应用中肯定会有巨大的挑战。但是至少这个思路应该是比较靠谱的。 另外插一句，恶名昭著的大火墙的基本思路和这个差不多。据说始作俑者最近偶然风恙，不知道是不是被斯某人给吓得？评论
煮饭侠回复: 原创：关于棱镜门的纯技术分析http://www.iask.ca/news/china/2013/0712/209825.html
《华盛顿邮报》近日获得了一份美国国家安全局的机密幻灯片，并于前天公布。该幻灯片列出了两大情报收集类型。其一就是斯诺登揭露的“棱镜”秘密计划，另一个则名为“上游”。 “上游”秘密监听的是流经海底光缆及通信基础设施的信息。海底光缆对全球数据传输至关重要，也是美国及其盟友的监控项目的重要来源。 ------------------------------------------------------------------------- 看样子在下分析的还不算离谱，哈哈。评论
煮饭侠我怀疑是接在某些重要路由上。比如跨洋光缆的接入点，五角大楼的出口，google机房出口等等。 最简单的就是dump了，有在端口上做的，有做透明扑捉的，多了去了，大多数ISP的POP都在北美，所有美国在Internet上抓信息太容易了，无线通信更没问题了，连深空的无线电信号都可以捕捉和探测，这么多的间谍卫星。。。 ：-）我个人相信捕捉整个Internet是不可能的，但大部分是没问题的，至于是否实时，那要看什么样的信息。个人感觉大量数据还是离线处理的，不过一定有备份。我在加拿大的某个ISP工作过，经理曾经给我看过RCMP布置在机房主结点上的一个DPI设备，不过管理权不在我们手中。 加密协议诚然比较难分析，但哪怕是截获一些相关信息，比如收发报IP地址、端口、时间、频率等等，对于情报人员也是很大的收获了。 至于SSL也不是无懈可击。首先如果是对称算法的话，在分光的环境下密钥可以被截获。即使是非对称算法，如果CIA能够要挟服务提供商提供算法甚或是直接强行要求服务提供商实时截获密钥的话，SSL就无用了。只要有密钥，解密不是问题，密钥哪里来，问提供商。 Again，对于情报分析而言完全的解密不是必须的，只要能够提供“足够”的信息就可以了。点击展开...
评论
回复: 原创：关于棱镜门的纯技术分析Updates.前面提到过，对于分光后的数据处理主要受限于系统处理能力和容量，这样的认识是基于我几年前的经验。而现在随着hadoop的普及，业界已经开始采用大数据的方式来对互联网流量信息进行分析了。
评论
煮饭侠Updates.前面提到过，对于分光后的数据处理主要受限于系统处理能力和容量，这样的认识是基于我几年前的经验。而现在随着hadoop的普及，业界已经开始采用大数据的方式来对互联网流量信息进行分析了。点击展开...以前在一个team08年的时候就用这个map reduce在ec2搞n台机器跑了，我们也不过就分析一下全美的某个行业的数据而已，要分析全网数据是我的认知所难以想象的，呵呵。还有NPL处理的难度其实也非常大，噪音太大数据量太大，噪音太小可能过滤掉关键信息，调优很困难，另外CIA能搞定那么多语言么？那肯定有中国工程师在里面阿，呵呵。
·澳洲新闻 29岁全球选美冠军转行到澳洲当矿工：烈日下每天工作12小时（图
·澳洲新闻 澳洲阿兹海默症患者数量猛增！专家：吃这些就能有效预防（图