主题:【原创】大数据与郑国渠 -- zw
大数据与死数据
为什么,在得知贵州还开办了大数据交易中心,也许是全球第一个
会觉得无比别扭??
连续发布了blog《大数据与郑国渠》、《大数据与黑天鹅》...
在blog中,笔者曾经提到:
积累的数据,一个连pm2.5、耕地面积,都是国家机密的政府,再多的数据,缺乏流动与共享,也是死数据,有意义吗?
4月30日,一周后,黑天鹅又一次出现:《中国科学家难以获取高质量的国内数据科学》
大数据是互联网、后资讯时代的产物。
而互联网的核心只有两个字:free(免费)+open(开放)
纽约的大学生,利用市政府的开放数据库,可以轻松制作出全市的犯罪热点分布图
而我们,就连专业科学家,都无法获得一手的数据,更何况商业应用了、BI开发。
也许,贵州的大数据交易中心,改为免费的、开源的数据共享中心,能够有一个华丽转身。
国内政府强推大数据,提升为国家战略的另外两个“潜在”考虑,可能是:
::基于大数据、信息科技的新型“计划经济”,个人对经济不熟悉,但直觉上觉得不靠谱,至少目前没看到有这方面的理论体系,而成熟的理论体系,是项目成功的基本要素。
有了成熟的理论体系,未必一定成功,没有,绝对是失败
::建立类似1984的社会管理体系,这个更加不靠谱,网络危机公关的经典手法就是,采用大量的关联信息,淹没负面新闻。
一组(10台)电脑,每天可以发布上亿条信息(包括填写验证码),可以模拟千万级的用户数据。
大数据的通道是互联网,数据、信息是一次性消费产品,可以零成本传播、复制,互联网的核心只有两个字:free(免费)+open(开放)
积累的数据,一个连pm2.5、耕地面积,都是国家机密的政府,再多的数据,缺乏流动与共享,也是死数据,有意义吗?
http://www.solidot.org/story?sid=43883
上海海事大学的Zheng Wan在《自然》上发表文章称,中国科学家越来越难以获得高质量的国内数据,认为这一情况可能阻碍科研和创新。他说,大部分公共数据被政府部门控制,其中一些加强了对数据的垄断,使得中国研究人员难以获取这些数据。人文科学的研究人员受影响最大,但数据访问的限制正扩大到环境科学和公共健康等领域,原因是数据具有政治敏感性。即使数据公开了,其质量也令人担忧,最明显的一个例子是全国的GDP数据和各省公布的GDP数据之间存在显著差距,国家统计局称数据差异是数据收集方法的不同导致的。在文章最后,Zheng Wan谈论了互联网审查,称Google学术搜索被屏蔽对他的工作影响非常大。
用来做什么是会产生不同的效果的。其中也有大政府,加强管制的用处,也有增加生产力,扩散知识的用处。如何用,关系到百年大计。
在速度和规模方面,速度的重要性,永远是第一位的
不要说百年大计,科学不是下大棋
高频交易,滞后1秒钟的数据,都是垃圾数据,无效数据
军事上,更不要说了
又一只黑天鹅爆掉了
blog:<大数据与郑国渠> 外链出处
当然,前提是必须稳定,百度的世界杯18连胜,只能是学术界的一个笑话,连百度自己现在都不好意思提
《百度在ImageNet图像识别测试中有违规行为》
其实,已经有一批黑天鹅爆掉了
历史又一次证明:【黑天鹅才是新常态】
《盘点互联网黑色5月 携程被黑支付宝故障而网易瘫痪》
【黑天鹅才是新常态】
金融市场 大家都是大数据 会反向干扰态势的
现在(2015) 黑天鹅才是新常态
看看:石油价格 瑞士法郎 日元升值 光大砸盘 黄金狂跌
全部没节操 没下限
参见《大数据与黑天鹅等》
郑国最后被发现是韩的间谍后被抓后说,我为韩躲过一时之患,为秦造就万世之利。
为反智(反对人工智能)人士提供了口水,为下一次人工智能冬天提供了可能。
百度只喜欢做表面功夫
国内很多企业都是如此、华为类的企业太少了
联想手机,这几天不是boss都受不了
国外大企业的底蕴、基础课题,真心不是盖的
国内政府大数据的一个G点,人脸识别
核心99%是opencv
opencv是intel早在1999年发起的项目,目前是100%的开源软件
和linux一样,国内能够看懂opecn源码的,不会超过100人
就这样,还全球率先,大数据产业化
靠谱吗?
百度作为IT技术密集型企业,再加上钱实在太多,研发投入,在国内企业,应该也算可排到TOP10吧
连TOP10的企业,都是这样,
看来,解决好《当代TG人的“异化”》,再谈大数据、谈创新吧,是必须的
Creating a face detection API with Python and OpenCV (in just 5 minutes)
只能说明,opencv函数库封装的好
就像会用i7电脑,不等于知道如何做i7 的cpu
更搞笑一点,小日本被两颗原子弹爆过,前几年福岛有核了一次,不等于,现在的小日本,就明白如何制造原子弹,氢弹
国内6成以上的opencv、大数据等专家,能够在win、linux下搭建好相关的开发环境,就达到合格标准,这个应该是现实
这个环境,其实简单的很,去下载个zwPython,解压即可
:: 网盘下载:[URL=]http://pan.baidu.com/s/1tY7Wq [/URL]
http://pan.baidu.com/s/1tY7Wq
现实就是这么残酷
这个就是中国目前底层科研的现实
【文件说明】
$mx1,是单日数据;$mx9,是日数据和
::入选率:2%,
::准确度:40%,
::盈利率:120%
目前在测试稳定性
5月1日-6月14日,实盘数据
$mx9,15061409x150614,$100,151%,44.79%(43/96),#,x,44%,43,96,$,152%,100,29184,@x2,$319,277.22%(499/180),k9,47.62%(10/21)
单关盈利率v:150%,准确率:44.79%(43/96)
2x1盈利率v:277.22%(499/180)150%
zw黑天鹅算法重点关注:盈利率,高赔
股灾、马云、大数据
这篇blog,股市关头“七·七”之日,就差不多构思,因为事件敏感,一直压住没有发布。(ps,本人从不炒股)
“七·七”股灾,是国家大数据战略发布后、也是本届政府最重大的事件,没有之一。
涉及的领域,不仅仅是股市,以及经济、金融领域,而且将国家政治战略、社会战略甚至军事应对措施,暴露在敌对国家面前。
自六月起,得知国家大数据战略后,连续发布了二十余篇大数据的blog,其中大多为负面。
作为专业的一线IT业者,在大数据方面,还算ok,不能像政府官员一样,只听忽悠。
虽然“七·七”股灾,相隔贵州全球首个大数据交易会(数博会,5月29日),才一个月左右。
但作为政府项目,有理由相信,国家的大数据战略,至少经过了6-12个月的压力测试。
这种国之重器,如果不经严格压力测试,没有N套灾变应对策略,就匆忙上线,所有全体相关政府官员,无论级别,都应该下台,自裁,移交司法机关。
blog《大数据与郑国渠》曾经说过:
http://blog.sina.com.cn/s/blog_7100d4220102vkqd.html
个人的基本观点:凡是无法通过“足彩数据”进行实盘测试的方案、算法,都是在耍流氓。
对于大数据这种新产业而言,全世界都在摸索,政府做决策,必须进行调研和试点,而不是听过几个专家,尤其是某些协会的人员胡说几句,就作为国家战略操作。
大数据产业,从概念到目前,不超过五年,因此试点是不存在的,以大数据作为核心战略,不要说国家,就是大企业,在全世界至今都没有一个成功的案例。
将大数据比做郑国渠,的确有些不恰当,至少郑国渠现在依然在造福国民,而大数据的投资,数年后,只是一堆废铁
至于其中的团队,政府公务员,能够有什么人才,最好也不过是一群技术官僚,可能连技术两个字都称不上。
“七·七”股灾前后,整个社会好像“三战”核弹爆发,经济、金融的“灭国”之战,国家经济有倒退十年的危险。。。。。
连外访总理都匆忙回国,好像美国华尔街、联合欧洲、日本等全球资本,恶意做空中国,
更加关键的是,这种错误的推断,引发了政府部门实质性的的救市行为,上万亿的资金被导入股市,
好似当年三个代表,有关政府部门,近期言必“大数据”,这次股灾应对,必然会极大的参考大数据方面的资料。
可惜,政府主导的大数据,和其他政府项目一样,往往换来的是是十倍、百倍的失败。
面对“七·七”股灾,政府种种应对措施,全面失败,而且,闹出了个世界金融史上的超级“大乌龙”事件,居然找错了“靶标”。
“七·七”股灾的最终调查结果,目前虽然没有发布,但有消息称,虽然不一定正确:
前期,不过是江浙的一些土老板,为防止风险,做的空头对冲保险,因为配资杠杆,引发的技术性股市大幅度下调。
后期,则是因为程序化交易系统,对阀值K值的设定,引发的一系列自动抛盘,
就像前几年光大乌龙事件,专业人员一听,就知道是因为交易系统,相关参数,未进行初始化设置,直接上线引发的自动抛盘
也许,“七·七”股灾,根本就不关华尔街、美帝什么事?
完全是躺枪。
《大老虎想在中国玩双头政治?白日做梦》外链出处
欧洲最近有点看中国的笑话。大老虎作乱。欧美都看笑话。
(ps,应该就是这个“七·七”股灾的超级“大乌龙”事件)
事件后,损失惨重的投资人,有人质疑某些机构、个人,利用关系,可能可以获得恒生系统交易后台的所谓“大数据”,获得不当暴利。
这个是必须的,某些政府官员,为了拆迁,就敢于不顾人命,透过交易系统,看看底牌,赚的钱毕竟要干净些,而且是千亿、万亿级的“大钱”。
《大数据、趋势与黑天鹅》blog说过
http://blog.sina.com.cn/s/blog_7100d4220102vn8s.html
资本的力量是无法阻挡的,即使政府限制,关系企业,有关人士,也会拿到相关权限,这个毕竟只是商业数据,保密权限不可能很高,“SSS”级,和二炮一个级别
......
首先,少数权贵部门和企业,从资本、原料等方面的垄断,会延伸到数据方面的垄断,获得不当利益,
而广大普通企业、个人,却因为受限于数据,无法进行正确的商业决策、个人投资,社会的二元化分割更加严重,
这个,看看现在的房屋数据库,始终无法进行全民查询
这里多说一句,政府与其,梦想通过大数据,建立2.0版本的1984社会,不如管好全国四百个城市的局级以上官员,毕竟这个才几十万数量级
如果连几十万数量级的中高官员,而且绝大部分是党员,都无法有效管理,希望利用大数据,来管理十亿级的民众,只能是。。。。。。
《人工智能永远差500年》blog说过
http://blog.sina.com.cn/s/blog_7100d4220102vmlm.html
从职业操守而言,不过是内幕交易,
完全不需要大数据,哪些三线城市、乡政府的官员,根据规划局的预案,强行拆迁买卖房产,收益比这个高N倍,百度一下案例大把
其次,数据与资本、原料、设备不同,一个邮件,一张U盘,就可以将涉及全体国民的数据暴露给国外敌对机构
发达国家的模式是,除极少数敏感数据库外,普通数据基本免费开放,全民共享,这样才能全体国民受益,减少数据事故,减少数据意外事故,对普通企业、个人的冲击
这次股灾,如果当事人是一家企业,即使是“五百强”、高盛,十万亿的盘子,数千亿的亏损,分分钟倒闭。
这也说明,政府的大数据战略,存在重大bug,负责的话,政府大数据项目,应该在近期理性化,转交给几家专业机构操作,而不是全民大数据。
国家强力部门,公安部直接介入金融机构,这个可能比上万亿的救市资金,更加恶劣
大家不妨好好看看伦敦“金融城”,这一块被称为“一平方英里”(Square Mile)的地方,为什么要采用“国中之国”的运营模式,
百度百科,外链出处
资本最重要的属性,就是安全。商人,特别是金融业,对枪杆子是最敏感的
不要说非洲、南美,这些动荡之地,
希腊危机,就连欧盟的马甲都不好使
17%+利率的希腊债券,为什么不能无限印刷、发行,
余额宝啦,据说就是阿里和半官方机构中信合作的产物。
马云旗下企业,特别是支付宝,是中国互联网事实上的隐形央行,作为政府电商、金融、大数据领域,最核心的技术企业,
在这次股灾事件当中,也许涉及的环节、深度,比大家想象的要“深的多”。
马云的恒生,作为事件操盘核心IT企业,涉及事件,这次,也许不是主观恶意。
孔老夫子,算是圣人了吧,中国五千年,也只出了一位,还留下了偷会“南子”小姐的野史
马云,毕竟只是商人,不是道德模范。
商人,对于利润的敏感,想必会刺激其他的“牛”云、“羊”云,组织团队,研究此次股灾。
中国这么大一个盘子,居然被江浙的一小搓土豪,就差点引发经济、金融的“灭国”之战
有理由相信,美国华尔街的猎手、日本的经济学者、甚至五角大楼的专家。
就在此时,就在此刻,会有不下十个,国际顶级的专业团队,
从各个角度,犹如庖丁解牛,如外科手术般,在分析这次股灾的每一个细节,每一篇大V以上的blog、新闻、甚至微信、帖子
从而制定更加专业的,可以操作的,股市、金融、经济、军事,“商业计划书”
也许,下一次股灾,才是华尔街专业猎手真正登场,正式引爆 xx 经济、金融的“灭国”之战
上帝(或其代言人)越来越腐败,所以时代需要一个新上帝(或其代言人)
市场(或其参与主体)越来越腐败,所以时代需要一个新的东西(或参与主体)来取代。
虽然<50%,但是>33%就是成功了呀。你的意思是他们已经通过了你的图灵测试?