加拿大华人论坛 德国工作管中窥豹：大数据时代的德国IT业的个人感受

在加拿大

早就想写点热门话题的自我感受。 大数据和几年前的云类似，很火的一个话题，在中美更是。不过和云稍有不同的是，big data在德国这边叫好不叫座。我想写点skin deep技术文字给未接触过此技术的人看看，以我不成熟的一点经历，就算是管中窥豹吧。

大数据，看文字就知道是数据量大了嘛。大？那就把原来的扩展一下嘛，好比原来一个人干的活，后来事情多了，就三人、五人做嘛。可惜实际上并不是简单的增加软硬件容量那么简单，全世界数据的增长速度解决CPU的摩尔定律，即以指数增长，而靠线性增加软硬件容量的办法是力不从心的。所以，change，在所难免。
Big Data在美国那边人的嘴里，和NoSQL基本是同义词。Big Data包含3V，不只是说Volume大，还有多样性Variety要求速度Velocity，可惜传统的SQL&传统关系型数据库达到不了。大数据好像说的是数据库这些，和分布式系统以及函数编程联系紧密。CAP，GFS/HDFS，MapReduce这些奠定了NoSQL和Big Data的理论基础，所以美国人靠着NoSQL玩起大数据来得心应手。一开始市场还觉得NoSQL还只是Google、Facebook、Amazon它们的阳春白雪，普通公司当然没有这些互联网巨头的那么多数据和高并发要面对。但随着RDMS的缺点越来越突出、各种低成本的NoSQL软件和解决方案的层出不穷，在中美越来越认为，NoSQL是可以低成本的满足大量公司&单位的数据处理要求的，特别是在大数据时代。

回到德国这里，首先要说的就是SAP和这个庞大的(重)工业体系。SAP当然不会在大数据时代自甘寂寞，所以搞出个HANA(先从别的公司买下技术，然后加以改进推出HANA，号称大数据时代的终极解决方案。广告词当然看看就可以了，不过HANA还是一个关系型数据库，不是NoSQL，敢自称自己是玩Big Data的关键在于它是in Memory的，嗯，都放在内存里当然快了，只要土壕买得起硬件。再加上SAP大量的家族产品的高市场占有率，HANA这样的RDMS也敢说自己是大数据时代的。一切都是市场说的算，因此，一开始和Big Data几乎同意思的NoSQL，从not SQL改为not only SQL之后，越来越得退让，只能说是大数据时代的一个组成部分了。

（未完待续）


评论
支持技术普及

评论
顺便说明一下，我个人对技术解决方案上没有感情上的偏好，一切都是为了解决问题和赚钱。

先说几个争议话题或者误会：

1，        大数据技术只跟大公司、特殊领域和业务相关，普通公司没必要赶这个时髦去花冤枉钱。
        对也不对。对于只是管管小数量的业务，比如大学里管学生的数据库，公司给每个员工发工资的这些业务，egal。但其实NoSQL技术，不仅是对big data领域可以用，对数据量暂时不那么大的情况，由于其对硬件的要求低，DBA需求弱，再考虑到起拓展性，NoSQL也未尝不是个很好的选项。

2，         针对大数据的要求，稳妥起见，节约成本，还是别搞NoSQL吧。
        是也不是。SAP HANA、Teradata这样的数据库，成本不是一般的高。考虑到先期沉默成本，那是没辙。如果从头开始，搭建成本低的NoSQL系统是有优势的。但另一方面，大家对NoSQL的了解还不够，熟手不多，解决方案也只是方兴未艾，还谈不上成熟。

3，        SQL技术以后只能靠硬件提升性能，或者针对小打小闹的业务，和NoSQL以后是两条路，各有各的市场。
        现在的确是各有各的市场，但关系型数据库的一方面可以和NoSQL混搭，另一方面SQL方在压力下也有不少改进。除了HANA的土壕式方案，NewSQL的solution也出现了不少，它们在很多细节上做了改进，对锁机制、通信、缓冲、日志等等做了优化。


写着写着，发现要回到“德国”这个中心上来了，下篇就开始讲。


评论
技术贴，一定要顶

评论
大数据发展到今天，已远远超出了数据库的领域，并行计算，网格计算，分布式系统，机器学习这些同样属于。这也是Big Data来了，传统的Datenbanker感到的冲击，还不如那些学数学、统计、物理的人兴奋的原因。各种高深算法、统计分析模型，门槛高我攀不起，就来说说我遇到的德国数据库行业这块吧。

德国现在在搞什么工业四点零，偶尔也提提物联网，大数据并不是最热门话题。据一项调查，现在德国公司的CIO对大数据感到最为了解欠缺，夸张点说就是不知所措。修修补补的事情是在做，像国内JD那样短短几年之内连续升级，从MS SQL，MySQL，到Hadoop去年又搞到Spark，这种魄力和速度还是少见的。另外德国做DWH这块的虽然工资高，但还是基本上只和RDMS打交道，NoSQL难道是洪水猛兽？其实每年增加大数据量，大部分都是非结构或半结构化数据，用RDMS的话要花大量成本做data intergration。不只是互联网企业，包括车厂这样的制造业，其数据结构和数量也是很适合NoSQL的。但车厂这些大户本身还是过于保守，同时由于长期的对IT的从属地位的定位，使得做做传感器的活自己干，剩下的大数据相关的就外包了，(想)以此来实现Industrie 4.0(?) 其它公司曾有过装了Hadoop系统又觉得不好用，再放弃掉的情况。Hadoop诚然有很多不足，又是开源，但真正的问题还是在Hadoop(及其家族产品)的高手极度缺乏。
   
   对企业的实际情况我还是了解很少，自己的粗浅印象就是：

1，        传统的抱负重，观望态度浓厚，或者指望自己的SAP，也可说SAP宣传HANA能提供满意的解决方案。
2，        市场比起中美来太小，需求不那么强烈，也可以说不思进取。修修补补小打小闹别走边看。
3，        相关从业人员和高手严重缺乏，IT consulting公司待遇低，制造业大公司对其反应缓慢，导致新技术推广慢。我知道的几家做big data有领先技术的公司，都是外国公司。
4，        总的来说，符合德国的(重)工业制造业的一贯特点，但对工业界靠吃老本的制造技术+外包IT的搞法想实现Industrie 4.0，特别是在大数据时代，我持怀疑态度。


评论
顶技术贴

评论
是不是知乎也同步发个帖？

评论



工业4.0的灵魂不仅仅是大数据，大数据只是其中的一个很小的部分。 核心是信息化和大数据基础上的CPS(Cyber-Physical Systems) 虚拟融合系统。

3大汽车商搞得是后半段。 西门子是最全的，搞得是全波普的工业4.0.  个人感觉SAP 的HANA也是取得里面一个部分而已。

现在竞争的核心是谁最先出具有国际水平的工业4.0各大标准。就是DIN和ASIN一样，那谁就牢牢占据4.0的制高点了。 就像德国汽车业柴油机等新技术标准的砝码，三巨头兴盛至今。

德国也没办法，智能手机，移动设备和互联网技术已经输给美国，以德国人的基础和反应速度将来在这一块也不可能赢得了美国中国。 所以，只能被迫搞模拟，设计，测试，engineering，生产，维护等一条龙为基础的CPS系统。 现在这个领域倒是中国美国处于追赶德国的态势。

目前德国人工业4.0可以做到以战养战了。 所以，高层说到了工业3.8也不是胡乱说说的。

评论

说得好，工业4.0和大数据的概念不一样，也可以说外延内涵很不一样。
但搞工业4.0如果不好好同时搞大数据，同样是有很大的风险的。
德国工业对信息化中偏硬件的部分采取自己做，偏软件的采取外包为主，大致没错，但隐忧很多

评论
好贴要顶~知乎开贴了没, 链接给一下!

  ·中文新闻 2024年巴西G20峰会：直言不讳的前外交官山上真吾指责总理安东尼
·中文新闻 在内皮恩河寻找失踪男子