谢 邀请。首先强调几个点。1 这是一个很长,很长,很长的答案。2 利益相关:Mckinsey&Company以及对应相关机构3 连载数不定,一天1.5小时左右更新,大概篇幅不会小于2000字per day,不会大于5000字per day。4 关于连载:1 作为长期连载段子手,…
谢 邀请。
首先强调几个点。
1 这是一个很长,很长,很长的答案。
2 利益相关:Mckinsey&Company以及对应相关机构
3 连载数不定,一天1.5小时左右更新,大概篇幅不会小于2000字per day,不会大于5000字per day。
4 关于连载:1 作为长期连载段子手,连载只是为了帮助学习,在此感谢 的督促和 的鼓励。2 本人是从大数据与咨询的角度出发分析,希望诸位不要犯Geek病,欢迎讨论,但拒绝回复牛角尖。3
连载的意义在于东西可以往简单里说,不至于抽象,水平有限,所以三五千字的东西,估计三五万字才讲的明白。
15.09.20
大数据的核心价值
与上贴一致,一开始先回答问题。
大数据的核心价值是?
先得明白,什么是大数据。
(big data),
是指无法在可承受的时间范围内用常规工具进行捕捉、管理和处理的数据集合。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。
大数据的4V特点:
Volume(大量)
Velocity(高速)
Variety(多样)
Value(价值)
前面不少答主已经提到了这个,这里不再展开
首先有几个关键概念:
1 无法在可承受的时间范围:
大数据的存在土壤,基于单位时间无法解决所有数据的前提,最简单的例子:微博每周都需要出一期热榜,榜单上有本周各个门类,各个领域曝光度最高,关注度最高的热点,但是,统计整个微博的所有信息却需要花若干周,甚至更长的时间 —— 如此大量的数据,在概念上,几乎可以成为不可承受。
用高端数据牛人 的话说:
这可以理解为长时间维度上的无法承受,毕竟时间成本有限,而要达到的功能却是时间成本无法承担的;而从另外的角度看,高频交易公司的服务器很多都集中在华尔街,亦或是金融数据大量集中,密布的区域,这样的分布可以保证前两个V的顺利实施 —— Volume的大量冲击,以及Velocity的急速要求,因为在金融交易场或者二级交易场,100毫秒的延迟也是不可接受的;军事上也有类似的用途,比如预警机和海基防空雷达的设计,都需要同时处理超过100个目标的能力,并且都是实时的。
所以,世界上规模最大的短时间爆发访问量,往往都在常态上无法承受:
请注意,时间维度的不可承受,一方面来源于时间成本的不可承受,另一方面,来源于时间短期阈值与达到目标之间的鸿沟,这个鸿沟在某种程度上,一般成本和时间,都无法承受 —— 由于所有数据都有关联性,而且几乎每个数据都要在尽可能短的时间内反应到每个客户的界面上,在保证多样采集的过程中保证最大的工作效率和精确度,的确对计算能力和计算模型,是个巨大的挑战。
2
常规工具
Hadoop --- 它实现了一个(Hadoop Distributed File System),简称HDFS。HDFS有高的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算(From 百度百科)
3 捕捉,管理和处理数据
所以,基于数据量巨大,类型复杂,却富含价值的数据库,依托于Hadoop或其他大数据工具,对这部分数据库进行数据捕捉,数据管理和数据处理的技术,可以成为大数据。
引:
1 在Mckinsey的划时代报告《Big data : The next frontier for innovation, competition, and productivity》中,
大数据并不一定是超过特定TB值得数据集才能成为大数据。
2 Amazon给出的定义是:超过任何一台计算机处理能力的数据量。
3 在本时期谈及的所有大数据概念,都必须延展到
获取信息并且处理信息的能力,意味着失去这个能力,大数据的概念可以成为不成立 —— 大数据并不意味着数据堆叠,而意味着数据计算和一系列挖掘,分析的连带反应。
所以,建立在上述的概念上我们可以看到大数据的产业变化:
1 大数据飞轮效应所带来的产业融合和新产业驱动
2 信息获取方式的完全变化带来的新式信息聚合
3 信息推送方式的完全变化带来的新式信息推广
4 精准营销
5 第三方支付 —— 小微信贷,线上众筹为代表的互联网金融带来的全面互联网金融改革
6 产业垂直整合趋势以及随之带来的产业生态重构
7 企业改革以及企业内部价值链重塑,扩大的产业外部边界
8 政府及各级机构开放,透明化,以及随之带来的集中管控和内部机制调整
9 数据创新带来的新服务
由上述9点(绝不是大数据能够带来的全部意义,这些只是其中的一小部分)带来的数据化世界将会以怎样的方式展现,鄙人和诸位一样,只能拭目以待 —— 从三大产业角度撬动生态圈的概述,答主@Han Hsiao 已经介绍的非常详实,鄙人只是顺着他的知识链,继续向下展开,并且尽其可能进一步的展现大数据的美丽画卷。
下一期:
大数据飞轮效应所带来的产业融合和新产业驱动(从咨询行业的角度)
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.21
大数据飞轮效应所带来的产业融合和新产业驱动(从咨询行业的角度)
首先,什么是飞轮效应?
顾名思义,飞轮效应的本质是产生运动属性。我们把自己置于社会的平均产业面这个巨大的轮盘中,很难用平面,平台的角度看待自己 —— 简单说,一个个体,无论是企业,个人,或者其他属性的个体,都没有任何可能,使整个商业平台产生飞轮效应 ——
一个静止的,巨大的飞轮需要转动,需要巨大的源动力,虽然开局极难,可是一旦开局,而后的转动只会越来越快 —— 飞轮效应的惯性就在于此 —— 达到某一零界点后,飞轮的重力和冲力也会成为所谓推动力的一部分,这时,你无需费力,便可跟随飞轮转动,在整个利益平台寻找自己的接口和资源,用资源惯性完成利益整合。
从咨询业的角度呢?
对于咨询公司来说,特别是诸如麦肯锡,贝恩,罗兰贝格这样体量和技术量的咨询大鳄,每年都会从自己的企业战略,文化咨询案例中,得到大量的数据 ——
这些数据包括企业运营的常用数据,人力资源KPI的运营数据,资本运营状况的基本数据 —— 简单说,整个企业内部可以量化的咨询数据,都会由咨询公司进行收集,打包,采样和整理。而随着行业的变动,亦或者随着互联网时代的到来,很多现代企业,诸如互联网公司,电信运营商,投资银行,不但自己积累数据,更为自己收集的数据进行大规模的整合,打包处理 —— 现代企业数据管控能力,也随着企业的发展而发展,二者属于共生关系。
所以,咨询公司往往在现代企业的咨询案例中坐收渔翁之利 —— 由于现代企业对于发展数据挖掘技术的渴求,以及对于充分释放数据资产中蕴含的商业价值的渴望,大规模的,高度管理化的数据资源,便可以通过咨询诊断报告务求数据背输和数据支持的手段,很好的被采纳和吸收,并且从咨询的角度,对整合过的数据进行进一步的挖掘,探索。
对于现代企业,特别是大型现代企业(国外的GE,中国的中铁,中钢),对于数据整理已经颇有心得 —— 所以,对于大型咨询公司而言,利用当前收集的数据资源,整理数据整合标准,显然是可行的。
怎么讲?
数据收集分为高中低等,咨询行业面对的行业模型,同样是高中低等。
简单说,中小企业同样有利用数据发展的必要性,但是无奈缺乏数据收集的方法。所以,利用大型企业收集,打包,采样整理的数据收集经验,泛化到中小企业方法中,制定数据泛化收集标准,完成大数据资产的第一步清理工作。
所以,飞轮转动的前提,是整个商业社会和商业平台,形成常规化,常态化的数据整合收集思路 —— 咨询公司首当其冲 —— 利用大型企业数据收集整合的经验,泛化大数据资产收集的方法论,制定类行业,近似行业的标准,手册化,网络化的进行对外宣导。对于咨询公司而言,如果形成:大数据基础概念普及 —— 大数据收集方法论宣贯 —— 大数据资产化处理的咨询配套产品和模型,飞轮转动的社会基础,将在5-10年后,渐渐形成。
从咨询的角度看,大数据资产可以衍生的角度,可谓五花八门,
例如:利用数据平台终端输出企业人力资源职能数据,在企业管理绩效考核中设定痛点机制,即:发生什么行为做什么事,完成企业人力资源管理的条件反射;利用数据平台输出大量对标案例,利用时间纵度完成企业对标问题假设和解决方案诊断验证,利用大数据的数据采集职能而不是通过大量企业高中低层的访谈,彻底改变咨询行业常态化的资讯模式和诊断模式 —— 数据化平台的租售数据,租售信息,数据采纳整合,媒体,空间运营的综合机制的建立,配合前面所需的大数据资产化处理的配套软件,数据模型,大数据衍生飞轮效应的理论模型也可以基本清晰。
在产业频繁接触的过程中,各个行业的特点将不再是经验主义的价值输出,更多会采用社会流行指标 —— 而社会流行指标的建立,对于咨询行业,特别对于各类社会资讯指数,社会问题常态化研究的机构,可谓是巨大的福音。
可是,由于大数据概念并非完全落地和产业化,更多的产业,职能部门,对于数据终端的依赖仍然取决于第三方 —— 请注意,大规模数据化流通的本质在于,自己拥有可以和企业和社会流行指标向对应,采用一套数据方法整合和整理的数据模型和数据样本,才有对标意义和参考价值。在推动大数据飞轮转动的过程中,数据资产从适应社会生态到数据资产的垄断运用间,需要一个递进的过程,但一旦递进过去,行业将会被企业撬动。
所以,对于咨询来说,宣导社会进行数据化管理的意识首当其冲,其次,提供第三方的数据化整理标准范式(例如发改委,国资委等各部委的文件中设计的中国中小企业标准委员会等等),向全社会树立数据化建设模块的标准,以及数据管理组织形式的建立。第二步,利用各行业不同的数据整理方式和最终数据整合的数据资源,提供相对应的,撬动大数据飞轮转动的具体建议。
例如,对于类谷歌类的搜索产品,由于门户特征集中于搜索领域,所以,五花八门的数据碎片,将出现在谷歌的大型数据库中 —— 这些碎片化的信息如何整理,运用?如果企业拥有一套有效的关联信息碎片化计算模型,并且可以将碎片数据整合管理起来,并且反馈给用户呢?谷歌已然做到这一切,并且在邮件,日历,地图,企业搜索排名,客户管理关系,Google Drive以及相关社区里,运用了这些技术 —— 碎片化信息和关联性的运用,让谷歌的产业飞轮,随着数据库的不断增大而越飞越快 —— 随着谷歌国际化,技术化的不断演进,这个飞轮的惯性,将会带来其他产业的产业迭代。
咨询行业能够更好的看到诸如谷歌对于信息碎片和数据处理而后转动的飞轮,那对于涉及更多行业的咨询类而言,产品类企业是否也可以被这样转动飞轮?艺术品鉴赏行业呢?快销品行业呢?
是的,任何采用标准化数据采集和管理的行业,都可以被数据的管理型和有效碎片化整合,最终转动产业飞轮,从而产生巨大的产业驱动力 —— 这不是简单意义的精准营销或定点销售,这是产业整合和产业变革的前兆。
下一期:
信息获取方式的完全变化带来的新式信息聚合
--------------------------------------------------------------------------------------------------------------------------------------------
PS:应群内大部分人要求,大数据飞轮效应这里,补一期案例分析。明天分析信息获取方式的完全变化带来的新式信息聚合。
下面只讲一个东西,苹果。
苹果的伟大无需赘述,现在从大数据结构上对它进行剖析,将会更能看到苹果巨大的产能和数据效能。
1 数据化概念怎么在苹果形成的?
首先,IPOD是什么?
IPOD的物理本质是便携音乐播放器,但是它是怎么运转的?为何它成为了一座丰碑?那是因为它内在的数据意义 —— 它从易用性入手(例如消除了所谓P2P软件瞎子啊音乐,刻录CD,以及刻录机操作等等硬门槛),利用收购的Rio团队(音乐管理程序创业团队),以苛刻的要求简化产品,强调用户体验,一步步的完成了1.0版本的划时代音乐数据依托平台 ---- iTunes。
依托于iTunes,iPod才悄然问世 —— 神奇的苹果将数据整合放在终端产品前进行战略构建,让终端体验很好的嫁接在了数据之上 ——
殊不知在iPod大卖之前,乔布斯早已说服了五大唱片公司向苹果提供数字音乐的销售权,五大唱片公司所提供的数字音乐,成为了支撑iPod运转的数据总库,而在iPod没有进行全线商业运作之前建立好了标准化,结构完整的数字音乐数据库(依托于五大唱片公司对于音乐原本的初分类,本来这个体系就非常成熟和完备了),一个依托于iTunes的,iTunes+iPod的数据库输出终端,加上五大唱片公司,艺术家,用户和苹果四方盈利的天才商业模式应运而生。
从数据结构化,碎片整合的角度,我们又能看到什么呢?
首先,iTunes的音乐数据整合,更注重于个体音乐人的整理,我们这里可以把每一个人看作数据碎片 —— 每个音乐人只要由苹果出面解决版权问题和发行问题,借助这个平台,就可以走向世界任意一个被苹果覆盖的角落,这是及其有利的条件。
而将这所有数据碎片整合,并且提供高质量运转数据平台的苹果公司,也因为各个个体音乐人(数据碎片)的加入,把不同曲目,不同风格,能够满足不同肤色,国家,地区人等不同音乐需求的音乐整合到自己的数据闭合平台,并且规定:用户可以在平台内任意购买自己喜欢的曲目 —— 最大限度地满足了用户个性化的需求,而这些由用户自组的音乐数据碎片被搁置到“播放列表”中 —— 这个极具个人色彩的设置,让所有人都参与到了大数据构建和数据信息整合的过程中。
所以,只从苹果的立场,利用自组闭合平台的建立整合的巨量数据碎片,只要在自己可以控制的范围内,定点,定向,精确,迅捷的处理和表达用户所需信息,完成所谓用户需求和供应的同步,一个巨大的大数据盈利闭环就实现了,只不过伟大的苹果公司,在15年前就实现了这个伟大的目标。
2 APP以及身后的平台,以及对于时代的影响
由iTunes建立,并由iPod作为物理呈现的一整套数据盈利闭合机制出现后,苹果向母级发起冲击 —— iPhone。
为何iPhone成为了母集?当手机内置音乐播放器软件后,iPod的存在意义,便烟消云散了 —— 而这个新型的iPod,还可以打电话,邮件,甚至做更多的事情。
在由iTunes转动起飞轮一角的时候,iPhone可谓彻底的转动了飞轮 —— 原因是,用手机依托可以展现的数据多样性,远远超越音乐一个领域 —— 所以,苹果将数据碎片整合的能力扩展到应用(一个如此huge,简直没有任何阈值的词),
音乐商店摇身一变,成为了应用商店。试想:当全球的线上数据都通过iTunes平台进行同步数据运营机制的管理(同时你自己也是其中的一份子,只要你有自己的播放列表和下载列表),并且这样的巨量碎片可以由你(作为一个普通用户),在自己需求产生的瞬间满足到自己的需求,这样的平台,基本等于天堂再现 ——而如今,数以十亿计的苹果用户,正在每时每刻享受着这样的同步,这是最好的时代。
所以,如果说,iTunes+iPod的出现建立了大数据碎片整合概念,成为大数据的触媒的话,APP以及身后平台的构建,对互联网行业,甚至对整个商业生态,甚至人类生活模式,都产生了巨大的推动和影响。
3 放开APP应用开发权限,进一步做大转动的飞轮
2008年3月,苹果发布iPhone的应用开发包,对于大数据而言,这又是一次产业革命 —— 在构建好数据整合平台,从音乐入手,到而后渗透到整个线上领域的方方面面,完成所谓强交互式的大数据全民平台后,应用开发包的展开,
则将原有的大数据飞盘做大。很简单,对于产品和技术一贯拥有封闭性的苹果而言,大数据飞盘的转动不可逆的前提下,飞盘的大小直接决定了苹果的市场体量。
所以,开放的第三方平台催生了整个产业格局的巨变 —— 以数据内容制造产业,只要苹果作为第三方和最大的平台拥有者,解决利益分配问题即可。而作为互联网王牌的苹果公司提供了3:7(用户购买应有所支付费用,苹果拿走30%,开发者拿走70%)的支付比例,留下了世界上最大体量的个体数据供应商,而正是这些供应商的数据碎片,构成了如今人们工作,娱乐,休闲,购物,生活等等各种丰富多彩需求的信息基础:
由门户iPhone作为信息接收体,依托于巨大的,利益分配机制成熟的APP商店,以及由无数第三方参与的,10万种以上应用构成的巨大数据化碎片市场,改良了整个产业生态,形成了全新的商业格局。
4 对碎片化信息进行新一轮的大整合
当iPad问世后,一系列的苹果终端产品面临新的数据问题:用户如何把行为数据和内容数据更有效的收集和记录?比如照片,通讯录,音乐播放列表等等?
iCloud横空出世。
iCloud,从大数据的角度,对从2000年开始的iTunes所引发的数据化产业革命,进行了二度整合和产业梳理:
利用多个数据源收集数据,但通过统一的储存和索引功能,建立大数据中心,而数据中心的本质,仍然是对于依托于苹果平台上的所有碎片化信息进行进一步的升级处理,形成新一轮的数据大整合。
iCloud的出现,标志着苹果完成了完整的闭合大数据产业链 ——
以iCloud作为用户行为,内容的大数据中心为核心,向全球第三方手机碎片化数据,由APP提供数据整合和发送平台,由信息终端(手机,播放器,电脑,平板电脑)收集用户数据,反馈回iCloud,然后由iCloud的数据反馈,依托于市场需求的变化,完成对于碎片化第三方的指导和进一步开发,形成完整的苹果数据大飞盘价值闭合链。
至此,苹果公司的大数据飞轮效应所带来的产业融合和新产业驱动的案例分析(咨询报告的角度),就结束了。
Again,明天分析《信息获取方式的完全变化带来的新式信息聚合》,请关注。
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.22
信息获取方式的完全变化带来的新式信息聚合
在大数据下,所有的概念都不能简单的顾名思义 —— 如同前面说到的,大数据的本质是处理,挖掘,分析大数据的能力,并不是简单的数据组合。所以,对于信息获取方式,大数据本身的要求和条件,也相对其他类别,要更严苛,需要更多的方法加以管理和运用。
一般意义上,偏狭的数据样本对于数据分析的意义并不明显(也可以基本理解为,大规模全方位的数据覆盖与最终的数据分析效果成正比),所以,数据样本的大小,数据算法的优劣,直接决定了是否会产生最终的误导性结论。
所以,大数据就是这样一个工具 —— 利用大数据可以获得前所未有的精确的预测能力,可以成功预测大量历史上无法想象的事件:2012年总统大选中,内特 希尔沃利用自己的数学模型准确预测了美国50州最终的选举结果,基本可以证明大数据样本和大数据分析的强大威力。
为何要强调信息获取?
刚才我们提到,大数据的本质并不是简单意义的数据堆叠 —— 这并不仅仅取决于数据处理的算法,数据样本也必须要足够大,大到大数据可运转的临界值,大数据才可真正意义上发挥功效。
但是,真正做到这两点,是否真的可以达到大数据信息获取的目的?不尽然是。
例如,跨国公司的市场部喜欢在全球各地进行市场调查,举办各类的现场活动。苹果公司喜欢在自己的商店中推广自己的IOS系统以及一系列device,并且在活动中大搞所谓的偏好度分析 —— 你会选择IOS还是Windows?
当然,可以预见的是:到苹果体验的用户,几乎所有都已经拥有了潜在的品牌偏好和品牌选择,
在主观上已然认定苹果成为自己选择的前提下进行的数据分析和数据挖掘,其主观性会完全毁掉最终的计算结果。
所以,信息获取的客观度其实比想象的,更难保证。跨国公司都拥有自己的市场部门和战略部门,但是为何咨询公司的生意重来没有消失?
一个第三方在选择数据和分析数据上所拥有的客观性,是主体调查公司完全不具备的 —— 从自己战略部出发的数据分析样本,总在不经意间,已被自己主观进行了排序。
所以,在保证了客观性的基础上,样本大小是第二步需要考虑的。
为何需要考虑数据样本的大小,这里插入什么是蒙特卡洛模拟(Monte Carlo Simulation)和蒙特卡洛分析(Monte Carlo Method/Analysis)。
蒙特卡洛模拟的核心思想是:
当所要求解的问题是某种事件出现的,或者是某个随机变量的期望值时,它们可以通过某种“试验”的方法,得到这种事件出现的频率,或者这个随机变数的平均值,并用它们作为问题的解。这就是方法的基本思想。蒙特卡罗方法通过抓住事物运动的几何数量和几何特征,利用来加以模拟,即进行一种数字模拟实验。它是以一个为基础,按照这个模型所描绘的过程,通过模拟实验的结果,作为问题的近似解。可以把蒙特卡罗解题归结为三个主要步骤:构造或描述概率过程;实现从已知抽样;建立各种。
蒙特卡洛分析的核心思想是:
当所求解问题是某种随机事件出现的概率,或者是某个随机变量的期望值时,通过某种“实验”的方法,以这种事件出现的频率估计这一随机事件的概率,或者得到这个随机变量的某些数字特征,并将其作为问题的解。
从理论上来说,蒙特卡罗方法需要大量的实验。实验次数越多,所得到的结果才越精确。
以蒙特卡洛分析的核心思想看,蒙特卡洛方法需要实现的保证,在于大量重复实验的有效保障,只有保障了足够多的实验次数,最终所得到的结果也会越发精确。
对于大数据的分析来说,“大”,已经足够体现了大数据对于样本量的需求,这也是大数据信息获取上,最重要的一个前提保障。
所以,我们从信息获取的科学性角度,可以得到以下几个结论:
1 样本容量的大小,样本算法和分类方法的科学优劣,直接决定了大数据分析最终的结果。
2 要保证客观,前瞻性,以及数据的实用性,第三方介入大数据样本分析十分必要。
3 同行业数据不做交叉分析,最终得到的结论将没有意义。
4 异行业数据不做交叉分析,是行业属性不同带来的基准量和测量方式的不同,所以必须坚持。
优异的信息聚合怎么使用?有何用处?
咨询公司和市场调查公司利用自己宏大的市场背景和市场分析背景,除了增加样本量外,也可以大张旗鼓的扩宽数据来源的渠道,增加数据的维度。
在Mckinsey的大数据报告中,宏大的数据库和多维度的优势吸引了诸多行业的参与,
其中最亮眼的,当属政府机构。
对,不仅是市场调查公司对于社会言论感兴趣,政府同样非常渴望得到人民群众的真实想法。公共舆论从古至今,都是政府维持公共行政管理和正常政府治理的关键因素。
比如,微博,朋友圈。
前文提到,良好的信息聚合,可怕之处在于:我们可以通过事先准备好的数据算法,在极短的时间内,完成大密度的数据聚合和信息归类,最终按照信息反映的真实情况,对各个问题进行分类处理,前提是保证客观,准确的信息获取渠道,以及提供足够的信息获取样本。而微博,朋友圈具有巨大的传播和扩散效应,并且从量上,完全可以满足大数据的分析要求 ——
一个正常的咨询公司总倾向于到微博寻找热点,一个正常的市场调查公司也会倾向于微博上搜索已被完全整理和疏导好的有效数据,一个政府行政部门呢?对,可以从这些巨大的舆论场中寻找到舆论走向,而在此同时,大数据舆情服务也就应运而生。
所以,政府部门可以通过事先的舆情调查分析,很好的引导舆论,缓解很多社会矛盾,甚至可以提早处理不少还未发生的恶性公共事件。所以,良好的信息聚合口径尤其重要,在保证客观,准确,足量的数据聚合后,政府利用大数据分析缓解社会矛盾,提升政府公共行政效能,完全有可能做到。
隐藏数据?
信息聚合另一个问题是:并非所有的数据都是显性数据,所以,数据挖掘(Data Mining)应运而生 —— 通过数据采集钱的预处理机制,建立数据处理预模型,从推断的商业价值用户中挖掘一系列隐藏数据,从而达到优化用户产品或者提高盈利的能力。
比如:谷歌和百度同时拥有全球最大的用户即时意图数据,利用即时意图数据的偏好,只要拥有足够大的样本量和一定的时间维度,对数据进行一定的跟踪,聚合和利用,形成一个以用户即时意图数据为核心的用户数据生态圈体系完全是可行的。
下一期更:
信息推送方式的完全变化带来的新式信息推广
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.23
信息推送方式的完全变化带来的新式信息推广
雅虎 --- 依托信息高速公路传统概念的信息推送
其实当时,杨致远应该没有想那么多 —— 当年在杂志,电视,甚至家中的一本由复旦大学出版社出版的《阿爸讲现代科技》,都提到一个著名的概念:信息高速公路。
什么是信息高速公路?
信息高速公路就是把信息的快速传输比喻为“高速公路”。所谓“信息高速公路”,就是一个高速度、大容量、多媒体的信息传输网络。其速度之快,比目前网络的传输速度高1万倍;其容量之大,一条信道就能传输大约500个电视频道或50万路电话。此外,信息来源、内容和形式也是多种多样的。网络用户可以在任何时间、任何地点以声音、数据、图像或影像等多媒体方式相互传递信息。
雅虎的初衷,就是利用互联网作为运通媒介,利用自己的门户网站,建立一条名叫“雅虎”的信息高速公路。而“雅虎”只需要关注自己的受众面的覆盖广度,只要在自己的门户上设置各类广告,只要经过这条路的人,都可以看到广告的内容,从而达到最大效应的营销覆盖效果。
是的,作为真正的高速公路而言,每条高速公路的承载量都有限 —— 例如,洲际公路每公里可以承载的汽车数量,都有最大值。而信息的最大值?一条信道可以承载接近50万路电话的信息量 —— 这样的信息量对于雅虎一个门户而言,仅仅是微乎其微。
所以,雅虎所创建的门户网站的概念,很大程度上建立了互联网信息推送方式的建立:开放,免费的信道,传递信息的最便捷,以及访问流量与内容优质度挂钩的良性循环之路。在雅虎访问量如天文数字般爆发开始,互联网门户采纳品牌广告极大的推动了互联网产业的发展,
而随着互联网的日益普及,互联网广告创制,定价,包装,售卖,以及一系列的广告营销手段,都随着互联网在全球站点的设立,迅速普及全球。
但随着行业的发展和建立,依托信息高速公路的基础概念所涉及的互联网广告牌,开始出现了发展瓶颈 ——
传统广告行业的宣传,包装,售卖的营销模式,无非就是被线上运营系统复制推广,并没有真正运用到信息聚合所产生的价值。试想:如果互联网品牌广告可以通过浏览分析,流量分析和其他手段,对消费者,商户的行为进行监控和切分,从而达到所谓的个性化精准投放,会是什么样的情况?任何实体用户都知道自己的广告不会被100%的人接纳,但是损失的部分,谁能精确的告诉我?那一部分客户到底喜欢什么?谁能告诉我?
于是,谷歌告诉你,我可以解答这些问题。
谷歌 ---- 依据消费者行为,甚至动机的信息推送流式
谷歌到底为何如此值钱?谷歌是怎样利用自己的搜索引擎制造自己的广告王国的?
上文说到,当雅虎模式慢慢布局开来的时候,所谓的传统广告行业的线上包装的本质,便暴露无遗了 —— 不管是多宽广的高速公路,无论广告牌怎样琳琅满目,客户对于广告牌的接受度都是极其有限的。
为何?其本质原因在于,
所有的广告牌所提供的服务信息,都是商家主动提供了,它与消费者的需求之间,有一条明显的鸿沟 —— 一个广告牌是无法判断消费者真正所需的。那如何可以判断消费者的动机呢?
谷歌解决了这个问题 —— 利用搜索。由于搜索行为,谷歌可以掌握所有搜索行为的意图,根据搜集到的所有数据进行分类整理,根据分析推送报告,其操作流程可以归结为三点:1 提供免费的搜索服务;2 搜集所有搜索行为数据;3 根据意图推送广告。
这个模式,无疑迅速的解答了雅虎无法解答的问题:怎样让广告牌提升关注度,以达到最终提升成交转化率的目的。通过信息搜集方法的更迭,互联网早期广告模式在谷歌的搜索引擎带动下,完成了巨大的升级。
可这只是刚刚开始 —— 谷歌利用自己的算法,将收集到的搜索信息逐一分类,排名,用关键词出价和质量评定分数做乘积,决定搜索结果页面的关键词陈列显示顺序(这套做法而后的淘宝利用直通车的功能实现并加以运用,成为淘宝一个极其重要的盈利点) —— 这种依托于大数据量基础上进行的线上泛化拍卖,随着谷歌搜索量的日益提升,给谷歌带来了巨大的经济价值。而依托于关键词出价和质量评定两个变量的搜索排名体系,在满足谷歌自身的经济利润的基础上,也很大程度上优化了整个线上广告的质量和产品升级,毕竟市场为王。
依托于大数据的智能推送
依托于搜索动机的推送方式,将所有的动机揣摩,都局限在了谷歌的搜索框内,当然,这并不能让数据推送方完全满足。所以,谷歌通过AdSense,或者一些类分析软件,从各个角度捕捉消费者行为和动机 —— 简单说,广告和用户正在浏览的网页内容关联度和用户关注推送信息的关注度正相关。
所以,设置一个简易的信息推送互动体系,只要每个电脑拥有一个反馈模型,能把用户浏览的任何link信息进行分类处理,分析用户浏览的网页内容,将重复出现关键词高的几个字,反馈到主信息平台,然后由主信息平台反馈相对应的广告给用户 —— 这就出现了所谓的智能推送,当分析软件可以很好的读懂你的意图,广告的转化率,将会在现有的基础上,再提升一个数量级。
所以,依托于这个思路,捕捉用户浏览网页图片,数字,都可以成为依托于大数据下的精准定位和精确营销 —— 当信息推送的意图和用户的真实意图贴近度越高的时候,广告的点击率提高,最终的商业效益便会明显的体现出来。
下一期更:
4 精准营销
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.24
精准营销
这一节,讲一讲咨询行业的精准定位,进而进行精准的处理,最终达到精准营销。
咨询行业对于行业研究有天生的好感,对于行业内的所有与咨询有关的信息,都有收集的潜意识。简单说:一个咨询团队掌握一个行业的全面知识,无论是深度还是广度,都有很大的优势。
比如:负责酒店行业的咨询团队,常理来说,只要有超过10年的咨询经验,
掌握全国高中低档酒店大量的index(管理),包括全行业行评报告(管理),资产负债表(会计),服务品质,商业模式,运作模式,诸如此类的信息,将会大量的聚合在团队数据库;一个茶叶行业的专业营销团队,甚至连茶叶产地的地理条件,气候以及当地种植方式的详细信息,甚至一部分可量化信息,都能轻松掌握。
在这样的条件下,咨询行业一旦接触到新的企业咨询立案,就能最快速度的切入,利用组织对标 —— 一些可以量化的指标,只要新企业也有量化标准,行业标准对比模型一旦建立,诊断方案便可以即刻得出,剩下的,只是对于个体本来个性方法论的探讨和进一步实施落地,但事先数据的整理,很好的避免了这些问题 ——
毕竟对标机构的落地实施细则具有极强的参考性,抛开时代变化和一些政策的细微调整,精准定位诊断的理论基础仍然存在。
所以,一个咨询团队利用自身数据库进行精准定位诊断企业,并且在接触新的企业数据时,能够第一时间更新自身企业数据库,从而有概率不断的为新案例提供对标,从而拥有更加科学,效率更高的企业战略以及企业文化的诊断机制。
所以,依托于大数据思维,每个咨询团队都可以通过自己人员配备的不同需求,建立最适合自己团队需要的大数据库,以匹配使用效率为此数据库的原则:
一个资本团队的关注倾向与一个管理团队的关注倾向完全不同,使用泛化数据库的意义很小,效能会极其低下。
在收集和整理团队数据库时,团队人员配置,是建立此大数据库非常重要的指标,依托于这个指标所建立的数据库模块,才能在不同的,但针对性和指向性都相同的案例中,迅速发挥作用,并且形成拥有自己特点的业务模式,揭示自身团队的核心咨询价值。所以,精准定位在某种程度上,也是对咨询团队构建核心的一种正常要求。
做到上述几点后,咨询团队的精准营销思路,便完全打开 ——
由于有侧重点的构建某一项企业问题的咨询产品,在此问题上,团队也有相应侧重的数据面和数据模型,以此为营销核心,向平台展示自己的核心能力。简单说,只要数据库针对的企业有一定的社会代表性,这样的营销是精准无疑的 —— 企业诊断的效率在于对于错误信息的筛选频率,减少失误不确定性的亮度。数据的根本用途在于提供决策依据,而这样的决策依据,已经在前端的历史数据中,得到了很好的解决,提升,以及参考对标的空间,并不属于数据和团队的未知领域。
在这样的前提下,咨询团队只要解决好单体咨询产品1.0数据库的构建,剩下的就可以通过不断的更新案例来提升相关类目的咨询能力,毕竟数据库的作用在于建设确定性更明显的诊断方案。而这样的咨询产品构建,只要依托于大数据,便有一定普世价值:
所有可以人为量化的咨询产品,都可以通过这样的方式,很好的建立起1.0的版本,顺遂着案例的不断递增而升级 —— 咨询公司依托于大数据的精准定位不仅有利于咨询工作的开展,更会有利于整个咨询产品的升级以及最终的精确营销和精确服务。
下一期更:
第三方支付 —— 小微信贷,线上众筹为代表的互联网金融带来的全面互联网金融改革
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.27
第三方支付 —— 小微信贷,线上众筹为代表的互联网金融带来的全面互联网金融改革
快捷支付分两个子概念 —— 快捷,支付。首先说一说快捷。
现代核心商业价值的来源地,以“快”为核心 —— 这和现今时代的工作节奏,生活节奏密切相关,快节奏已经渐渐成为了人们生活习惯的节奏。
但是,快的前提是?
一切金融的本质,都以安全为先。但只需安全维护可以保障,数据资产向不同行业的传统核心领域渗透,冲击 —— 凡是拥有大量用户行为导向的数据,都是有效数据,而剩下的,是对数据的有效梳理和有效整合,无非就是数据维度,质量,采取手段方面,核心业务的突破和管理。
快捷支付的本质在于:采调用户一级数据,完成支付平台支付,共享的第一时间,基本从目的上摆脱传统银行的束缚。支付次数和支付领域维度的不断扩大,使得支付平台的数据吞吐量陡然增大 —— 拥有大数据支付数据和支付平台的第三方,例如支付宝,可以最大限度的利用收集到的支付信息进行挖掘,探索,以深挖信息判断支付习惯和支付行为,从支付行为中对支付体系进行更新换代,从而吸引更大的现金流。
所以,数据的本质,更像土地:土地需要开发利用,在土地上构建什么样的钢筋混凝土结构,最终的楼层才有可能是什么样子。对于数据本身,更像一种基础资源,就如同土地,人力一般,成为公司的资产。
在淘宝,京东等行业巨头疯狂发展的今天,网上支付早已被巨头们一次次更新换代升级。但如果只是供应渠道链的终端进行掌控,数据资产的纵度,并不能完全得到彻底的挖掘。所以,在终端支付的前端,出现了供应链金融:
供应链金融是指在对供应链内部的交易结构进行分析的基础上,运用自偿性贸易融资的信贷模型,并引入核心企业、物流监管公司、资金流导引工具等风险控制变量,对供应链的不同节点提供封闭的授信支持以及其他结算、理财等综合金融服务。这里既包括企业上游的原材料零部件供应网络和链条,也包括下游的分销商、代理商、即渠道链 —— 中欧国际商学院、深圳发展银行2007《供应链金融》
所以,对于金融来说,数据作为基础资源能提供的,是试图以更为快捷,高效的运作方式取代高成本,较复杂系统的传统金融机构 —— 比如四大银行。但是,这里的运作方式并不是取代传统银行的传统支付方式,但是更多的,是促进整个商业银行体系的升级,至少是支付方式的升级 —— 毕竟流动性是金融世界的核心体征,并且打通以四大银行为核心的平台数据支付渠道。另外,四大银行利用自己定额资金池的巨大额度,开展了和其他第三方支付的合作:和快钱利用企业应收应付账款的资本和时间的效差开展融资服务,在企业的应收账款货音符账款信息和产业链上下企业中,分别打包资金流转数据给银行 —— 这样的一手数据,在某种层面上,可以为企业客户提供进一步的贷款服务 —— 而这样的服务,都是建构在数据这块肥沃的土地上进行的数据构架,而采纳第三方支付的企业沉淀海量数据,这样的模型对于发展数据这个稳态资产,有着广阔的前景和不可估量的影响。
B2B的支付革命
B2B 是指进行电子商务交易的供需双方都是商家(或企业、公司),她(他)们使用了互联网的技术或各种商务网络平台,完成商务交易的过程。电子商务是现代 B2B marketing的一种具体主要的表现形式。
含有三要素:
⒈买卖:B2B 网站平台为消费者提供质优价廉的商品,吸引消费者购买的同时促使更多商家的入驻。
⒉合作:与建立合作关系,为消费者的购买行为提供最终保障,这是 B2B 平台硬性条件之一。
⒊服务:物流主要是为消费者提供购买服务,从而实现再一次的交易。
(摘自百度百科)
传统金融机构的抵押,担保手段的使用原则,是降低由于信息不确定性导致的运作风险和经营损失。但是大数据很好的规避了这个问题:在大数据时代,所有的金融信息都将呈现透明,商业环境的该表也必将推动商业运作模式的变化,而这种商业模式的变化,建立在B2B平台的阿里巴巴,淘宝,支付宝,积累了数以亿计的用户交易数据,其中还涵盖大量的资金流动,产品变化,投诉量,用户注册信息(深度广度不同,根据用户注册的体验和最终提交的信息数),而通过大数据模型验算,这样的数据都以极低的成本,有序的进入阿里公司的数据库。在数据库中,实时自动生成的大量数据,便可以成为行业参考和行业对标信息的数据库,而这些行业对标信息的开展,最终带来的,将是以B2B支付革命为导火线的,以线上资金和数据中转为源头的,整个金融体系的改变。
一旦此类数据公开化,开展数据共享平台,只要保证商业利益不受数据共享的影响,传统金融机构的大额流动性,势必会加入金融信息共享的行列:这是对于传统金融产业的信息升级,而这样的信息升级,在某种程度上,将配合互联网+,进一步的彻底改变人类商业社会买卖的货币渠道,进而推动整个商业社会的变迁。
下一期更:6 产业垂直整合趋势以及随之带来的产业生态重构
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.28
产业垂直整合趋势以及随之带来的产业生态重构
几乎每个行业的发展规律,都会沿着同样的轨道 —— 合并。有时垄断并非人为有意,在某种程度上,资源朝着最合理的分配方向走,乃是大势所趋。
什么是供应链?
供应链的概念是从扩大的生产(Extended Production)概念发展而来,现代管理教育对供应链的定义为“供应链是围绕核心企业,通过对商流,信息流,物流,资金流的控制,从采购原材料开始,制成中间产品以及最终产品,最后由销售网络把产品送到消费者手中的将,制造商,分销商,,直到最终用户连成一个整体的功能网链结构。
什么是产业整合?
所谓产业整合是指为了谋求长远的竞争优势,按产业发展规律,以企业为整合对象,跨空间、地域、行业和所有制重新配置生产要素,调整和构筑新的资本组织,从而形成以大企业和企业集团为核心的优势和相应产业结构的过程。
产业整合包括横向整合、和混合整合。产业的横向整合是指条中某一环节上多个企业的合并重组;产业是指处在产业链中,上、中、下游环节的企业合并与重组,包括前纵向整合和后纵向整合。
(均来自百度百科)
所以,当产业链完成初期发展时,上游企业的产品成为下游企业的原材料和供货商,下游企业将最终产品呈现,来到市场,这样的供应链环节,成为了资本主义发展和市场经济发展的正常步骤,以及整个商业社会的基础。
但是,由于产业链的逐渐发展,产业链的每一端,所谓都会出现大量同类竞争者 —— 同类竞争者在几乎类似的产品和供应商不断的提高产品质量和降低成本,不断优化供应链体系,在供应链的端口完成市场占据和市场垄断 ——
20世纪90年代以及21世纪头十年,中国的珠三角,长三角地区,出现了大量的类似供应商,而很多供应商产品的成本,已经降到了不可想象的程度 —— 横向整合的结果,会形成在某产业环节的垄断,或者几家竞争的格局,这是供应链企业做大做强的表征。
在完成诸如此类的产业核心面竞争后,横向垄断,或者说横向整合,已经渐渐不能满足这些企业的胃口 —— 产业垂直整合开始出现。横向垄断的企业讲究的是低成本,大规模生产,关注的点,更多集中于成本的管控,企业规模的扩大以及生产技术的革新,而把企业逐渐做大;而纵向整合,所谓产业垂直整合,要求企业做强 —— 对于核心部件,垄断性资源和关键技术的限制加强,
同时,渗透供应链的其他端口,用资本,技术,政策,战略等等核心手段,完成对于下游或者上游供应链的占领,以达到对于整条产业链的控制。例如:中国的电脑企业无论占据多大的市场规模,在芯片上自始至终掣肘于因特尔,操作系统掣肘于微软 —— 无论市场规模有多大,最终的利润空间,都会被无法完成垂直整合而缩减。
所以,对于大企业而言,产业内的垂直整合趋势是必然通道。随着技术的发展,特别是大数据能力的发展,产业链的最终战役和最终立足点,还是回到消费者的核心中去。
苹果,小米,以及千千万万的跟随者
我做手机。
是的,我做手机。小米的成功,是贴合消费者为核心的完全胜利。小米作为一款完全围绕消费者进行设计,全民参与创新,更新,制造,最终围绕用户进行经营的企业,最终被自己的粉丝推上了天空。这种经营思路,不是诺基亚,摩托罗拉等传统手机,移动设备巨头采纳的,但最终小米的一飞冲天,完全证明了这一套模式的可行性。
而为何小米可以做到这样的出色成绩?
大量的线上运营加上精确的计算,定位,最终数据化的管理,是小米能够精准定位用户需求,提升客户粘性的关键因子。不能想象 —— 在诺基亚风靡全球的时期,网上论坛的信息量以及用户与企业的交互性,都由于线上垂直社区的不发达,数据处理技术的掣肘,没有发展完全。到如今,小米利用自己的网上社区以及大量的第三方论坛,释放自己的信息源,同时与用户完成同时段,同一频率的交互,进而改进同一时期的产品 —— 利用第一时间反馈的数据资源来提升客户粘性和最终的商品忠诚度,这样的体验,是非大数据时代无法想象的。
所以,每一款小米手机,都会因为贴合度,成为粉丝力捧的产品 —— 每个提出问题的粉丝,几乎与小米和小米公司一起,成为见证产品诞生的参与者,
这样的近乎神圣的参与感,几乎一同参与研发,一同参与产品上市的感受,充分满足了消费者为自己设计产品的体验感,这种深度参与的价值几乎无可替代的反应在了小米成功的每个阶段。
而对于小米来说,除了使用安卓平台的定制以外,小米手机的几乎每一层供应链,都完全被自己抓住 —— 可以说,这样的运营和对自身产品的深度挖掘,以及对于自己产品供应链的控制,可圈可点。利用粉丝 ——
这个松散的组织,用第三方论坛,自己论坛以及一系列的线上手段对这些松散组织进行捏合,利用数据管理的方式,很好的梳理和筛选自身产品最终发展所最急需改进的问题以及升级的部分,通过社区设置的管理员,解决社区与铁杆粉丝,以及技术控的交流问题,能让有价值的意见,第一时间反应在产品上,完成技术渠道的构建;当技术渠道的构建逐渐完成后,一款完成技术研发的产品投入自己的生产线,完成第一步的产品生产,以及反馈到论坛中的,第一步的产品体验 —— 而这样的内部供应链轮转来回进行,最终,小米将自己作为制造商的身份和用户(消费者)之间的天然鸿沟逐渐消退,而一些用户通过不断的参与小米的技术研发,最终加入小米团队,成为小米的一份子 —— 可以说,小米完成了新型制造商和消费者的新关系构建,而这种新平台带来的“以消费者为核心,定制消费者核心需求,通过线上协作达成的信息共享”的新模式,将会逐步推广到更多的领域。而其中,完成一切新供应链整合的技术背景,都通过新型数据化的管理和信息筛选,完成供应链的精确调整和针对消费者核心的精确用户体验定位,这样的公司的投资价值,将远远超越传统横向供应链的企业。
下一期更:
企业改革以及企业内部价值链重塑,扩大的产业外部边界
--------------------------------------------------------------------------------------------------------------------------------------------
2015.09.29
企业改革以及企业内部价值链重塑,扩大的产业外部边界
到底谁是权威?
什么是领导力?
领导力(Leadership)就是指在管辖的范围内充分地利用人力和客观条件在以最小的成本办成所需的事提高整个团体的办事效率,比较常见的领导力开发方法包括CEO12篇领导力提升、EMBA及EDP项目等。领导力与组织发展密不可分,因此常常将领导力和组织发展放在一起,衍生出了更具实战意义的课程《领导力与组织发展》[1] 。领导力心理学是以心理学为、以管理应用为实践、以组织实验为依托,塑造管理者的领导魅力;重新审视管理者的误区,突破管理瓶颈,改善管理氛围;培养管理工作中让别人说“是” 的能力-----让否定、拒绝、抵抗、放弃变成、、、;应用于、、、、、等诸多领域。
(摘自百度百科)
从概念上看,领导力对于管辖范围内的所有资源 —— 包括人力资源,物力资源以及一切客观条件在最小的成本办成最多的事情,提升整体办事效率上,有密不可分的作用。从历史上看,任何时代的英雄或者领袖之所有高人一等,就在于对于其个人意志或几个人的集体意志,可以改变一个时代的资源配置方式,以推动整个时代充分的物质发展和精神发展,衍生出更大的历史意义。
所以,领导核心的本质是
寻找真理 —— 由于个人能力,个人经验和个人素质在某一群体中的高度,人群,群体,企业,集体中,总会退出一个或者几个极其优越的个人,对整个集体和群体的所有行为进行总的决策,而这种决策的最终目的,就是为了在政治世界,或者经济世界指明核心战略方向,以达到最终的资源优化配置的目的。
事实上,到了20世纪,几乎所有的大企业,仍然强调着以商业领袖为核心的组织文化和企业文化,而不同的企业文化代表的不同的思维和精神导向,仍然辅证着这个最终原理 —— 谁能为企业的最优资源配置定制战略导向,谁能够最大化的激励整个企业职能效率,这仍然是企业最大的价值。
于是,大数据的出现,开始撬动了人类这个传统的人权认知
怎么讲?
对于企业而言,如果自身企业数据库的建立已经达到成熟的商业级别,收集到的数据深度,广度以时间,以及企业核心价值体系的类目进行延伸,企业内部的权威价值的判断体系,将会无一例外的从人权,向数据妥协 —— 只要拥有足够大的样本库和数据量,没有人可以与数据所提供的精准定位相匹敌,也没有人可以质疑科学推演的数据决策。
但是,是否大数据的利用,是推动数据企业管理完全代替人制管理的序幕?
并不是。大数据的运用,无论在任何行业,任何区域,都有非常明确的针对性 —— 要知道,推动数据化或大数据演算提升企业决策和企业战略实施的,仍然是人的大脑,而大数据的运用,仍然是人的大脑给予数据在企业中的一个普遍试用的方法论。只是,大数据的运用,很好的代替了人为收集大量的数据资源所耗费的时间成本和经济成本(很多数据收集和数据推演如果都以人力完成,则需要耗费大量的时间和精力,而最终的分析结果,还依赖于分析人的经验),大数据的好处在于,利用设计好的,或者高度证明可行的数据模型,代替了决策层收集,分析数据的初步工作,而领导层 —— 利用这样的科技,就可以从第一时间享受到经过一手处理的,保持绝对正确率的数据资源,领导决策的准度和效率,其实上,得到了大大的提高。
而做到这一切,需要的是大数据什么样的能力?这里必须再提数据挖掘和数据分析:
数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
数据挖掘利用了来自如下一些领域的思想:(1) 来自统计学的抽样、估计和假设检验,(2)、和的、建模技术和。数据挖掘也迅速地接纳了来自其他领域的思想,这些领域包括最优化、进化计算、、信号处理、可视化和。一些其他领域也起到重要的支撑作用。特别地,需要提供有效的存储、索引和查询处理支持。源于高性能(并行)计算的技术在处理海量方面常常是重要的。分布式技术也能帮助处理,并且当数据不能集中到一起处理时更是至关重要。
(均摘自百度百科)
对于企业而言,利用既有系统,亦或是设计好的计算模式所为管理层提供的一手数据资料,或者整合处理过的加工数据资料,都将撬动企业核心价值链体系 —— 至少是决策体系的大变动 —— 从前依靠丰富的企业经验和信息整合能力的领导层,如今依靠高性能并行的计算机处理技术,处理海量的数据集,分布式的演算出最终的战略决策,甚至是企业普通决策,其效率的普遍适用,慢慢将会为企业的传统人力组织架构大做减法。
数据分析是指用适当的对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
在领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。
定性数据分析又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”,是指对诸如词语、照片、观察结果之类的非数值型数据(或者说资料)的分析。
(均摘自百度百科)
传统企业中进行资源优化,资源配比的采购,出纳体系的大量基层和中层员工,将不再会占用企业的日常成本 —— 因为这一切的工作,都已然被大数据的使用代替,而大数据提供给企业的进化计算,信息,信息处理,甚至可视化模型,信息检索多样性,都完胜一个单体基层部门工作人员的日常效率。数据挖掘的普世价值一旦打开,企业内部价值链重塑,几乎是难以阻挡的必然趋势。
所以,在日常企业流程再造的过程中,定性数据分析和定性资料分析,甚至是一些非数据化的定性高质量数据研究,大数据演算系统的成本,都远远低于人本。
产业外部边界在哪?
首先,什么是产业?
定义:具有某种同类属性的经济活动的集合或系统。
在传统理论中,产业主要指经济社会的,一般而言,每个部门都专门生产和制造某种独立的产品,某种意义上每个部门也就成为一个相对独立的产业部门,如“农业”、“工业”、“”等。由此可见,“产业”作为经济学概念,其内含与的复杂性。
(来自百度百科)
在大数据时代,由于企业都采取了数据化的呈现方式,企业的外部边界,由于数据化语言的采用,变得越来越模糊 —— 殊不知一个卖糖果的商店和一个卖汽车轮胎的商店,由于使用同一种货币:人民币,而可以在两个迥然不同的业态中,使用同样的货币行为,比如金融。数据也是如此 —— 异行业的数据模型纵然不同,但利用同样的表达工具 —— 数字,最终呈现的产业,仍然属于同一种语言,这样,已然使整个工业组织架构的距离感,进一步拉近。
简单说:产业外部之所以出现边界,正是因为不同行业之间没有共同的企业语言,也没有泛型流程化的可能。而通过数据接口,产业外部边界的不断拓展,可以使企业面对同一组织目标 —— 消费者。
面对消费者,最终达到的效果只有一个 —— 从消费者身上,实现经济利润。如果所有的产业端口最终都以消费者作为开始,那么企业会更贴近于市场的需求:简单说,上一期所讲述的小米手机就是如此 —— 从消费者出发,产业和产品进行的流程建造,从消费者开始:这是个伟大的创举,以消费者为资源导向的资源配置模式,而得到了一手的资源配置模式后的数据计算和最终的战略布局,都依赖于消费者的需求展开 —— 传统企业的组织方式和组织模式将会完全变化,至少是流程和过程上本因颠倒。
而利用数据这个通算语言,一个企业所分享的数据平台和数据广度越大,则最终得到的以数据为语言的数据回报,将会愈发明显 —— 殊不知一直在强调建立平台化的大企业们,在大数据时代到来后,利用自身已有的历史资源,加上同一种语言和同一个最终的战略导向(消费者),企业的外部边界将会被一点点的逐步打破,最终达到数据化集成共享,
以自由自愿的形式,将企业的核心数据资源和可共享资源,外包给非特定的(而且通常是大型的)大众网络,最终实现更大的商业布局,也凿开了以大数据为依托的全新市场资源的目的,一个崭新的时代,因为依托于大数据的核心处理能力,将会在不知不觉中展开。
下一期更: 政府及各级机构开放,透明化,以及随之带来的集中管控和内部机制调整
--------------------------------------------------------------------------------------------------------------------------------------------
15.09.30
政府及各级机构开放,透明化,以及随之带来的集中管控和内部机制调整
政府问题的繁杂,在于多个方面 —— 很多时候,我们很难理解一个正常的行政部门,处理社会五花八门的各种问题:各种各样的犯罪问题的集合,交通,教育,医疗 ——
政府的行政部门对于单独管控所有行政时间的端口,政权的集中带来的弊端,远远大于利端。
这很好理解 —— 政府和各级机构采纳的问题,必须由政府部门单独解决。简单说,政府部门的行政效能和企业一致,如果信息分散不集中,处理问题每次都需要回归到元认知的区域,而回到这个区域的代价,
在于时间,人力资源的大量浪费和过度学习,而政府部门不可能无限庞大,处理问题的手段,往往在繁杂的事务面前,变得捉襟见肘。
那么,什么是政府的行政效能?
行政职能是指政府为实现国家利益和满足社会发展需要而负有的和所应发挥的功能。行政职能是的重要组成部分。国家有立法、司法和行政职能。行政职能是国家职能的表现形式,受其他职能制约,并影响其他职能。
(摘自百度百科)
美国政府开始了改革:利用行政数据库和数据算法的构建,集中统一整合政府采样信息,从政府采样加工信息后,再采取对应措施,解决政府问题。这样做将带来三个重大影响:
1 政府信息的透明度,将决定最终的政府数据库的有效程度。
2 政府需要重新构建采样部门,政府部门的工作效用,将建立在大数据演算的基础上。
3 政府大数据更新演化,将会给整个社会带来大数据规模化的推广以及大数据概念的进一步升级和运用,将是划时代的事件。
那么,大数据到底能给政府的行政效能,带来怎样的改变呢?
1 阶级性与公共性
行政职能是国家职能的构成和体现。国家有两种基本职能,一种是政治统治职能,一种是社会管理职能。行政职能一方面必须执行和体现国家的政治统治职能,体现国家意志的要求,反映政府所代表的国家的性质和活动方向,为占统治地位的阶级所赖以存在与发展的经济基础服务,具有一定的阶级性;另一方面作为国家权力的执行机关,它必须适应国家社会生活发展的需要,承担和执行社会公共管理职能,以服务社会公共利益的面目出现在世人面前。
政府实现统治职能的关键在于精确掌握社会发展的局部信息和整体信息,在掌握局部和整体信息的基础上,对应出相应的政府职能,就是我们统称的行政职能。行政职能是否能够精确的体现政府处理事务的有效度,完全依赖于政府本身对于社会发展和社会动向的了解精确度 ——
一套完整的数据化量化体系以及信息收集的职能化设计,将有利于政府达到以上的目的。所以,大数据不仅仅有利于商业社会对于资本的推广以及再定义,对于统治阶级赖以生存的经济发展,大数据的出现也可以助其一臂之力,至少美国政府,已经开始将自己信息透明公开,准备迎来以大数据满足社会公共服务的局面。
2 执行性与强制性
在现代社会中,国家的行政职能与立法职能、司法职能区别开来。相对于立法职能而言,行政职能具有明显的执行性质,表现为执行国家意志的管理方面的职能。正如美国学者古德诺指出的,政治是国家意志的表达,行政是国家意志的执行。
怎样提高国家的行政,立法和司法职能?这个问题,从美国建国初期,采取三权分立开始,就开始了长达200年的探索。我们并不能把大数据当做完成一切价值改良,完美提高三权分立金钥匙,但大数据的盐酸极致,的确可以量化当前社会事件,逐步定义和改良未来对于行政效能的执行,同样,
通过对于历史案例的分析和研讨,为历史上出现的典型行政事件进行重新的量化评估,而这些量化评估后所形成的政府行政案例,将作为范本和对标,出现在未来美国行政能力的手册,亦或是出现未来相似问题的比较措施,这和英美法系所要求的案例对标如出一辙,但精确的量化,会提高案例的执行性,也能提高政府职能的精确性。
3 多样性
从静态分析,行政管理的范围涉及国家和社会生活的各个方面,行政职能广泛渗透到整个社会生活的每个角落,涵盖社会的各个领域,并且每种职能都具有十分丰富的内涵。这种职能范围的多样性不仅是非政府机构的职能无法比拟的,也是其他国家机关职能如立法、司法职能所望尘莫及的。
行政管理的范围涉及面之广,涉及的阶级和利益面之多,完全超越了企业和社会机构的层次和范围。所以,利用大数据对行政职能的广泛性进行重新定义,可以将社会生态分切成不同的模块,并且渗透到社会生活的每个角落。这样的普及和推广,让社会问题的多样性边界逐渐消失,并且赋予很多专业性职能新的内涵 ——
这样的内涵,是非政府机构,企业以及个人完全无法理解的综合度和多角度,也可以为国家的政府和司法职能,提供更多的视角:毕竟视角的来源,都已经可以用数据化进行充分的表达。
4 动态性
另一方面,由于行政职能的内容、范围及活动方式源于国家的性质和社会的需求,它与社会变化直接相联系,它对持续的社会变迁与复杂化极为敏感,往往以各种机动灵活的方式渗透到社会生活中去,以解决这些问题。因此,行政职能是动态变化的,行政职能的范围、内容、主次关系、作用方式等必然随着环境的变化而变化。适应环境变化需要,及时调整和转变行政职能,是搞好行政管理的重要前提基础,也是政府行政系统赖以生存与发展的前提条件。
大数据的另外好处在于数据大样本可以覆盖到社会问题的方面,以至于出现社会动态,数据样本的覆盖度同样可以为未来出现的行政问题提供新的数据对标。对于行政职能的范围而言,传统国家只能利用新的职能部门设置,而对应的社会问题带来的新的经验,才能成为这个职能部门的学习资料,以及最终对应的部门解决效用的解决办法,
所以,传统部门对于社会边卡和复杂化问题的解决效用,完全停留在机构对于问题解决经验以及领导的个人能力 —— 这是一个典型的人治方针。而大数据提供的行政职能动态变化的参考以及历史对标,可以为部门提供及时调整的方针以及行政职能转变的方式方法,这是行政管理的前提和基础,更是政府不断提高行政效能的唯一通途。
5 整体性
政府行政系统和行政行为是整个社会系统中的一个子系统,行政职能是整个社会职能系统的一部分。从国家机构系统来看,国家职能是由立法职能、行政职能、司法职能组成的,行政职能是整个国家职能系统的一部分,它与国家其他职能有机地联系着:行政职能的行使既受立法机关的监督,又以司法机关等国家强制力为后盾。从行政系统自身来看,行政职能本身也是一个完整的体系,其职能结构极为庞大和复杂。
(均摘自《2015年国家行政手册》)
因为大数据的引入,行政职能将成为社会数据库的一部分,这个子集将会无边界的嵌入到整个社会系统中,而社会大数据体系的建立,将是国家政府的外在边界向社会融化的关键步骤 —— 只要政府信息可以做到完全公开(当然对于现在的国家政府而言,这一点几乎不可能做到),但是,政府信息公开度与整体社会效能之间,依托于大数据,是完全成正比的。从行政系统看,这种行政职能的普及和完善,将会大大提高社会的进步 —— 政府保护和治理环境主要是决定环境保护的政策问题,如布局政策,资源开发政策、投资政策、价格政策等,制定环境保护的法规和标准,从宏观上处理好环境与经济的协调发展。政府对环境管理具体涉及三方面内容,一是环境计划管理。主要包括工业、交通污染防治计划、流域污染控制计划、自然环境保护计划和环境科学发展计划等。二是环境质量管理。
另外的案例,如:
对于环境层面,政府职能主要包括组织、制定各种,各类污染物排放标准和环境监察工作、调查和评价环境质量状况以及预测境质量变化趋势等。比如,管理。主要包括确定环境污染和破坏及防治和技术政策,确定环境科学技术发展方向等。在下,政府治理环境的方式主要是使并运用法律措施和(如税收和补贴)加以解决。
(摘自百度百科)
所以,大数据引入后,国家行政效能的解决方式和最终能力外化,将会不断的打开整个社会问题的解决边界,政府的
集中管控和内部机制调整在整个大数据的基础上,将会精确化政府行政管理指标,达到政府职能效用的大幅度提高。
下一期,也是最后一期更:数据创新带来的新服务
--------------------------------------------------------------------------------------------------------------------------------------------
15.10.06
数据创新带来的新服务
这里涉及两个:商业智能,垂直运用。
商业智能
商业智能的概念在1996年最早由集团(Gartner Group)提出,加特纳集团将商业智能定义为:商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。
(摘自百度百科)
首先,是“运用基于事实的支持系统来辅助商业决策的制定”。怎么运用基于事实的支持系统?基于事实的本质在于对于事实的无偏化估计 —— 无偏化估计的基础是数据化的精确量化,而基于大量无偏化估计的数据,是提供商业智能技术的核心。
商业智能最大的功效在于对于数据的收集管理,分析,以及最终的数据有效传达 —— 分发企业各处的数据有用信息可以对企业的各种病症提供等效的良药。简单说:麦当劳的物流冷链系统常年的运转能够收集到大量的数据信息,包括肯塔基州今年Mcafe的出柜后多长时间喝完的信息,包括路易斯安娜州对于新汉堡面包的偏好度调查的调查报表,甚至包括犹他州 I-72 高度公路运送面包和料包的时间等等具体信息 —— 诸如麦当劳这种体量的数据处理能力的数据库,从诸如此类的细节信息中进行大量的业务分析和决策管理,从而加速更新和迭代自己的数据库,从而提升服务质量。商业智能技术提供的分发数据包是对本体企业,
亦或是单一企业单体数据的可视化研究,这种研究数据分发到企业各处后,对于企业解决问题的帮助,远远大于对标案例的分析。
商业智能实现智能的关键,就在于数据分析后转化的准确业务决策,对于去也现有数据的转化,Hadoop的多节点为很多企业提供了技术上的便利 —— 2009年Facebook决定脱离Oracle系统对现在的新系统进行基于Facebook的数据流程再造,Hadoop的出现让Facebook提供了理论上可以承受的最大数据容量,而这个数据容量的构建,让用户可以上传的信息数量极度膨胀,从而转化为更多的用户以及更好的服务。
所以,更大量的数据进入数据分析处理的区域,Facebook需要处理的,便是把巨量的流程化数据,进一步的转化为基于Facebook本体的有用信息更新在每个人的个人主页以及与他们朋友相连接的数据节点,分发到世界各地。
可以想见,Facebook利用大数据进行业务经营和业务决策整合的工具,这里所谈及的企业业务系统,在工业,商业,农业领域,会有着不同的运用。而智能的发挥,基于每一个特定领域的高等级数据库收集的大量针对性信息,而这些信息进行数据整合后得出的商业决策,最终成为未来决策中不可或缺的部分呈现在未来企业的决策之中,期间利用的企业运作系统中的抽取,转换,装载,以及提供的合适查询工具和分析工具视图,
例如OLAP可以组建的数据工具辅助决策提供的解决方案,已经在微软,甲骨文,SAP,SAS等企业,向全球范围内铺展开来。
基于商业智能,这里提供三个体系结构的概念分析,数据仓库,联机分析处理,以及数据挖掘:
数据仓库:
,英文名称为Data Warehouse,可简写为或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
联机分析处理:
简写为,随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆()字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合,关系数据库系统已不能全部满足这一要求。在国外,不少软件厂商采取了发展其前端产品来弥补关系数据库管理系统支持的不足,力图统一分散的公共应用逻辑,在短时间内响应非数据处理专业人员的复杂查询要求。
联机分析处理(OLAP)系统是系统最主要的应用,专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员,以便他们准确掌握企业(公司)的经营状况,了解对象的需求,制定正确的方案。
数据分析处理分为三个样式:
OLAP系统按照其存储器的数据存储格式可以分为关系OLAP(RelationalOLAP,简称ROLAP)、多维OLAP(MultidimensionalOLAP,简称MOLAP)和混合型OLAP(HybridOLAP,简称HOLAP)三种类型。
ROLAP
ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存,只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询,优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化,比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。
MOLAP
MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构,从物理层实现起,因此又称为物理OLAP(PhysicalOLAP);而ROLAP主要通过一些软件工具或中间软件实现,物理层仍采用关系数据库的存储结构,因此称为虚拟OLAP(VirtualOLAP)。
HOLAP
由于MOLAP和ROLAP有着各自的优点和缺点(如下表所示),且它们的结构迥然不同,这给分析人员设计OLAP结构提出了难题。为此一个新的OLAP结构——混合型OLAP(HOLAP)被提出,它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止,对HOLAP还没有一个正式的定义。但很明显,HOLAP结构不应该是MOLAP与ROLAP结构的简单组合,而是这两种结构技术优点的有机结合,能满足用户各种复杂的分析请求。
数据挖掘(前文已经提过多次):
数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
(以上均来源于百度百科)
垂直运用
垂直运用,本质是垂直(整合)运用,旨在提供或降低公司对于投入产出控制水平的方法,就是对于核心商业价值的服务和产品的纵向服务的过程。垂直整合分为
后向整合与前向整合两个部分。
企业内外价值增加的活动可以拆分成几个主要的部分:企业生产、销售、进料后勤、发货后勤、售后服务。支持性活动涉及人事、财务、计划、研究与开发,采购等等部分,这些基本活动与支持性活动构成了企业的整体价值链。这个价值链中,最早引入数据的部分,是企业的财务会计。企业的会计部门,会将诸如生产销售,发货后勤等等一系列的采购信息,销售信息,配送信息,通过近段时间的企业现金流水,反映出企业整体运营的趋势。
而后,当Hadoop出现,大数据量化分析模型开始成熟时,企业便开始思考:是否可以将企业整体流程再造的诸多环节进行数据化管控以及数据化再造,将企业价值链上的诸多战略环节量化,从而在企业流程中,真正找到可以输出企业核心竞争力的部分,从而为企业做好减法?
所以,企业特别关注和培养在价值链上的关键环节获得的核心竞争力,得到巩固企业行业竞争优势以及最终达到的市场范围的调整,都可以依托于数据化和数据节点的优化运用。
企业协调和价值链整合的最优效率,都来源于企业的价值链量化的结果 —— 对于总价值,包括价值活动的判读,什么流程可以量化,什么流程使用什么手段进行量化,最终采用什么手段对信息进行运用,只要涉及流程核心竞争力可判定范围的数据,都可运用于垂直整合。
例如,涉及任何行业竞争的各种基本活动的五种类型(来源于
波特价值链模型):
进料后勤:与接收、存储和分配相关联的各种活动,如原材料搬运、仓储、、车辆调度和向退货。
生产作业:与将投入转化为最终产品形式相关的各种活动,如机械加工、包装、组装、设备维护、检测等。
发货后勤:与集中、存储和将产品发送给买方有关的各种活动,如产成品库存管理、原材料搬运、送货车辆调度等。
销售:与提供买方购买产品的方式和引导它们进行购买相关的各种活动,如广告、促销、销售队伍、渠道建设等。
服务:与提供服务以增加或保持有关的各种活动,如安装、维修、培训、零部件供应等。
(来源于百度百科)
从五个基本流程上看,从进料后勤,生产作业(特别是机械加工,包装,组装,设备维护,检测,上述提到的五个部门),发货后勤,销售,服务,都可以使用大数据工具对这些数据进行针对性的整合打包,五个方面不仅仅是对于产业竞争活动的基本核心框架的描述和整合,只是前向整合或后向整合的选择。例如:航空公司为飞机维护,飞机餐饮提供的数据,为供应商提供更多的准确信息,以便于整个航空业运作效能提高的方式,就是逆向整合,或者后向整合的典型事例;而渠道商,分销商,甚至旅行社针对自己的需求向航空公司提供大量针对性信息,以便于航空公司针对性的调整自己的运营机制,则是一种前向整合 —— 而两种整合所依托的条件,都是大数据背景下的垂直整合的经典范式。
PS:至此,总共11期的大数据核心价值分析,到此结束...感谢每一个看过文章的朋友(不知道是不是知乎最长的答案...但应该也是最长的之一)。特别感谢 , 的鼓励。
PPS:今后会更多回答大数据方面的问题,只求一个学习的机会和交流的平台,水平有限,还望大家多多指教。
(完)