注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

熊猫外交官 的博客

 
 
 

日志

 
 
 
 

大中央与小地方  

2016-10-12 17:45:15|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

         学了大概有半个月的大数据平台核心技术.从最初的数据存储读写,到任务调度,再到数据系统部署,算法,最后到整个大数据平台的搭载与设计节点.逐层递进,模块化的逻辑关系,技术迭代,让我看到不少新东西.忽然想到昨天的新闻联播里面有好多套路跟这个东西不谋而合.所以,就想到了这个题目,大中央与小地方.

         我记得我在2011年的时候,写文章讨论过有关政府信息融合的必要性问题.那个时候之所以有这样的判断在于,我当时在学习金融与统计学知识的时候,忽然发现在很多微观数据的背后,用统计学工具抓取出来,可以看到很多宏观现象,甚至是帮助我们优化决策的工具性信息.而我之所以那个时候对统计学感兴趣,主要是因为在研究战争战略的时候,被一个故事给打动了.刘邦在打进秦国首都的时候,退兵霸上.对秦朝老百姓秋毫无犯,但是萧何却趁机把秦王朝所有的户籍等管理文件全都搬跑了.这导致项羽后来虽然火烧咸阳城,看起来好像是大赚一笔,但是刘邦却在萧何的帮助下在后来的对抗中,连战连败却总是能够东山再起.这个故事让我对于文书管理对于政府强大的调动能力感到十分的钦佩.所以那个时候再借着互联网盛行的风潮,感觉政府治理的信息融合是提升国家综合治理能力的必要手段.

       不过我这篇文章却不是从这个角度老调重弹,讨论中央集权的行政管理手段这个老问题的.在我学完整个整个大数据平台的核心技术课程以后,我忽然对于计算机从物理层到表现层,再到应用场景的实现逻辑,以及这些年来的发展趋势,感到十分的兴奋和有趣.我忽然发现计算机发展到今天,依旧在相当多的领域需要架构设计,很多所谓的人工智能,只能模仿人类的某些行为状态.在很多领域我们多维度的系统协同,容错,安全性,并发能力都还存在着极大的限制.这让我对于从应用场景和技术层面之间依旧存在的巨大鸿沟感到巨大的潜力.而最重要的是,从这个趋势来看,我们的政府管理体系从功能到效率都还远不如这个东西复杂的百分之一.

       我们现在在整个社会管理机制当中面对的顽疾之一,就是人才素质的提高的效率依旧有很大的调整空间,而除了在智商与学习能力这些问题之外,道德与社会规范层面,也依旧存在很多不对称的问题,比如说腐败.我认为在很长一段时间里,我对于标准化这个事情的理解,都还存在着缺陷.比如说,我一直以为标准化是一个不同标准背后的利益集团竞争之后的产物.这种判断在很大程度上是一种对表象的观察而非标准化意义的实质.或者说,标准化这个东西,本来是一个利益集团内部特定的竞争优势,而在后来不同集团之间,融合了各种优势技术,才形成了一个达成共识的技术标准.而事实上,这个世界存在着很多非缺陷的非标准化技术.标准化是一个技术公开与合作的过程,而不是一个利益集团之间战争胜利的标志.

       我之所以有了这样的判断,是因为我在研究大数据平台的计算运行机制的时候,忽然间发现很多创新的运算语言和逻辑结构都是建立在表运算这个基础上的,也就是说很多我们看起来都是在同一台电脑上执行的淘宝,慕客,视频网站的背后是完全不同的技术平台在做支撑.类似学习平台,视频网站这些东西,都仅仅是使用了一个大并发带宽的数据读写功能,而对于视频的播放更多的是以终端计算机的解码器进行处理.所谓的学习记录,认证,跟踪这些功能从数据产生的形态来说在线运算的量非常只少.而类似淘宝,京东,饿了吗,这样的在线平台,需要大规模的在线流运算.即便是类似对全国哪些商品占人口消费比重最高这样的简单数据,可能也要动用几十PB以上的运算量(要知道,我们全人类现今为止所有文字创作加总在一起,才5PB),进行批量运算才能够实现.而对于这类运算,并不是把一堆类似视频文件包那样的东西落在一起,而是需要一个表格一样的东西把所有的数据纳入到这个表格中进行抓取与运算,在不同数据中心,不同计算机上才能实现对数据的切片,运算任务的调度.而这个表是可以随时增减条目和维度的,这绝不是我们通常意义上理解的标准化技术能够把这样的底层要素直接转化成可处理数据的.我们生活中存在着大量这样不公开,但是又规模庞大的非标准化数据,而且与我们的生活息息相关.

      因为人对于数据的用途可能不同,所以他们组织数据的形式,调度的信息方式,抓取信息的记录模型都可能五花八门,每一个目的都可能需要编一套单独的代码以及服务器部署,逻辑架构才能够配合应用场景进行有效运算,而这些东西一开始是并不是为了相互竞争被制造的,恰好相反,越是深度高效的功能应用,往往就可能需要调动更得多的数据库和平台服务,复杂的逻辑运算架构才能够实现.所以,人们并不是天生高尚,而是被制度逐渐教化与融合的产物.制度机制有多么先进,人就可以有多么优秀(从宏观大趋势上来说).

       让我感觉非常有意思的问题,其实是从应用场景到功能实践的技术进步,最后会反推回来改变应用场景的集成化.中央集权的最大好处不仅在于对宏观资源和制度的调度和优化,更加体现在它的层级设计可以实现单一部门所实现不了的复合目标.也就是所谓的多部门联合推行命令.但是这并不等同于说基层结构越简单越傻越好,其他的问题都由中央进行调度和分配就好了.我们最早的计划经济就把这个问题走到了某种极端,在面对某些突发情况时,没有容错机制导致整个国家的行政机制进入雪崩状态,文革和三年自然灾害都是类似的例子.

         在我学这个平台底层技术架构的时候,我忽然发现有好多设计,貌似在新闻联播对于行政督办系统当中看到过,比如说从层级的链式命令,到跨层级的任务调度系统.比如说从大批量的任务运算,衍生出的处理器状态显示机制,避免某些个别处理器导致的长尾问题.我们政府管理系统里,也设计了类似的任务传递时限机制,个人日常工作负荷状态显示机制等等.当然,除了这些行政命令的执行与调度机制的优化,对于不同业务特点的地方政府部门,采取差异化的的协同调度策略,在同一个部门内根据不同系统命令执行不同的调度执行策略,像这样的不同运作模式的基层部门内部的不同任务不同操作流程与手册的优化设计,也是一个非常重要的制度优化方向.

         现在这届政府比较迫切的问题,其实也就是在这个层面提高基层政府部门的整个工作制度的优化.用听得懂的语言来讲,就是日常对下工作的处理模式的专业优化,部门内部工作制度的协同效率的提高,上层新任务命令对部门内部的革新与提高.我们现在政府的很多事情,还需要层次报批,上层督办,指导学习,挂一阵风,搞运动式的大检查,可其实我们可以通过对部门日常工作信息的制度优化,实现通过即时工作运行成果进行抽检和调度.大量工作变成了不得不由上层督办的形式才能够实现,耗费了额外的资源,山头主义,腐败也就在这些细节上相互干预,因为串并联过多,导致基层既没有自主性,又没有执行力,资源调度大量被浪费在中间环节,公款吃喝,小金库,帮派等等东西都是在这个过程当中产生的.

       事实上,解决单一任务表现层到逻辑语言层面出现的大量带宽浪费,还仅仅是类似这种集成系统最起步的小优化.在我把整个核心技术都学习完以后,才捋顺整个系统的发展,应用与设计脉络.还有一章我没学的,据说是讲分布式机器学习平台的内部学习性优化.不过,即便是如此也让我看到了政府机构内部优化潜能的广阔前景.

      我这篇文章主要是借助大数据平台的知识,来讲一个有关系统集成与底层执行逻辑之间的发展趋势与改革目标的道理.标准化是不是一个任务性的竞争之后的结果,而是一个动态持续的集成整合的过程.而系统集成的过程,也并不是简单的中央集成与底层任务简单化的离心分离.系统集成的过程,强调的是以小规模成本集群优化部署,单一部门集群适用执行多类型任务调度,整体机制高效,容错,冗余抗震荡与大增量任务不崩溃.换成管理术语就是,以某类特定常态化任务建立成本最优,规模最小的基层政府机构.机构之间可以协同跨部门,跨层级协同调度,执行更多类型的复合型任务.且整体效机制效率高,有后备执行方案与部署,快速执行与状态反馈机制,允许出现个别卡壳而不会导致整个部门执行任务拖慢或者崩溃.这对基层政府内部治理体系的优化提出一个更高的要求与发展方向.对中央现有的治理体制也会有加大的改革作用.改革不是斗争,而是把每一个个体优势集成一个强大的集体与共识的过程.

  评论这张
 
阅读(8)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017