如何搭建一款BI系统

BI的英文全拼是Business Intelligence，商业智能，简称BI。我们经常能听到企业说“上BI”、“建设BI系统”、“构建BI决策平台”等内容。那么BI到底是什么呢？

(1) 最初起源于固定报表

在几十年前，现代企业还没BI的时候，就要固定出报表。

(2)  数据仓库OLAP技术带来的BI的发展

随着企业的发展，只看财务、销售固定报表，已经不能满足企业需要了，因为问题越来越复杂，局势越来越多变，固定报表很难看清业务状况，对决策支持越来越有限，但从几十张常用报表，到开发几百、上千张报表，开发量实在太大。于是产生了OLAP这种技术平台，来快速实现人们对指数级上升的报表需求。

而由于报表都是基于历史数据，所以没必要从业务系统直接取数，且过多报表生成要影响业务系统本身，于是数据仓库应运而生。

(3)  定义

BI就是基于联机事务处理（OLTP）产生的海量数据，将其从关系数据库中提取出来，通过联机分析处理（OLAP）或者数据挖掘等技术得出有价值的信息，为管理者提供决策支持。让企业通过数据，客观、有预见性地决策，实现智能的商务运作。（BI是面向业务决策的）

(4)  补充

然而实际情况并非那么理想，无论传统行业，还是互联网，都在强调拿数据说话，但看数据，说数据，并不意为着你就“智能”了，OLAP分析不能实现智能、数据挖掘分析也难以实现智能，原因就是商业（业务）的复杂、多变性。这也是我们总是感觉好的BI产品那么少的原因。

(1) 报表式

报表式BI主要是指产品中有各类固定样式的报表设计，通常用来呈现业务的明细数据和指标汇总，支持的数据量相对不大。中国的报表有着复杂的表头、类似Excel的格式，国内报表工具帆软FineReport，对于中国式报表支持较好。

(2) 看板式

看板式BI主要是数据看板、数据大屏、数据驾驶舱等，特点是看板中的数据指标、展示形式基本固定，以可视化图表为主，看板式BI对数据分析支持较少，并且由于固定指标，所以业务变化后升级看板BI需要一段时间，因此敏捷性较弱。

(3) 平台式

平台式BI主要是BI自助分析平台，特点是业务人员或者业务侧数据分析师，通过前端简单工具就可以自行配置需要的数据报表、数据看板，项目周期短、易于后期维护，随着数据中台概念的兴起，BI平台成为潮流，数据和技术部门回归技术支持的本位——做好底层技术和数据的支撑，由业务人员自行探索数据价值。

(4) 总结

这三类BI产品并无优劣之分，各有其适用场景，我们需要根据业务发展的特点和实际需求去选择合适的BI产品。

举例子：看板式比起报表式，虽然使用可视化让数据更直观、更生动了，缺失了很多数据细节。

自助式比起看板式灵活了许多，但是有一定的使用门槛（比如可能需要使用SQL）、也会受到业务人员数据素养的高低的限制（比如是否能将业务思维转化为数据分析思维）。

今天我们讲的BI系统主要是报表式和看板式。

2.1 做了一大堆数据指标：没有区分出指标的重要性

问题：当你不是从0到1跟一个产品，那么此时你可能没你们的运营懂产品的各项数据，当你问你们运营问那些指标是比较重要的，因为他们所处的岗位不同，看事情的角度不同，最后你会发现得到一个结果：一大堆的指标，都重要。

解法：

①  可以问人事或者他们的部门负责人要一下部门的绩效考核指标，也许这些就是他们最重要的指标。

② 可以和部门的负责人沟通，那些是他比较关注的指标，那就应该从这些指标做起。

2.2 指标做了但没什么用：区分哪些是虚荣指标

问题：做了很多常见的PV、UV、月活、总用户数、总商品数等等，但是其实这些都是虚荣指标，因为他无法直接促进交易额的增长。uv、月活再多有什么用，用户就是不购买。

解法：产品经理需要识别那些是虚荣指标，那些是更有用的指标（指标对于商业目标有直接的作用）。一般能直接促进交易额、类似转换率这种带分子、分母的指标都是非虚荣指标。比如：

① 商行业的主路径的转化率，访问-商品列表、商品列表-商品详情、商品详情-加购、加购-下单转化率，这些都是降低流失就能提高交易额的。

② 用户的次日留存、7日留存率（新用户7日后是否再次访问）、30日留存率等，这些能直接反应用户的质量和运营做的好坏。

③ 商品的动销率（销售款数/上架款数），能直接反映这批商品的好坏。

2.3 难以兼顾各类用户的需求：按主题进行BI看板设置

问题：每个人关注的数据粒度不太一样，老板关注的和部门领导关注的是有差别的、部门领导关注的和一线的执行人员关注的还是有差别的。

解法：这种情况，不能把看板都做在一起。而是按照主题进行区分。

在主题内，按照一定的数据分析逻辑、数据查看逻辑建立起一定的故事体系，帮助用户理解主题。

2.4 产品上线后老板对BI感受不深：如何体现出产品价值

问题：需要区分你的BI产品是面向哪类业务人员的，老板感受不深可能他并不是这个BI系统的核心用户。

解法：BI产品上线后不是就结束项目了，而是要持续地进行产品运营：

① 进行产品埋点，了解用户的使用情况，好的产品一定能够获得业务人员的喜欢。

② 对业务人员进行使用培训，多和他们沟通，不断升级迭代，最终打造出一个有生命力的版本。

③ 日常运维一定要做好，保证数据的及时、准确，否则做了再多培训推广，产品质量不过关，也会没有口碑。

· 数据采集：内部数据、外部数据

· 数据开发ETL：数据处理，数据放入数据仓库，按照BI需求进行应用层数据开发。

· 数据算法/模型：数据挖掘算法，如预测、归因……

· 前端应用展示：前端可视化、实时更新、大数据量秒极查询

· 权限管理：用户访问权限管理，一般到页面、到按钮。

· 监控：数据异常报警、日常访问情况统计。

(1) 确定我们的业务用户、产品目标。

一般来讲有两种情况：

① 项目有发起方，那么和发起方的领导层去沟通了解发起BI系统项目的背景、要解决什么问题，明确产品大方向。

② 如果是技术部门自己驱动的BI系统项目，则立项阶段还需要做好公司内部使用BI现状（或者数据使用现状）的调研。

(2) 用户调研：用户故事地图

BI应用是基于业务流程和数据的，IT测试人员仅能够检查计算结果是否准确，但无法判断分析图表是否符合业务要求，数据结果是否有商业意义等。

用户故事地图是一种比较好的需求调研和需求梳理方法，能够建立起团队对需求的全局把握，又不失细节。

因为我们今天不是讲用户调研，就不展开了，大家感兴趣可以去找一些资料来看，我之前写过一篇文章，欢迎阅读：《教你用User Story设计BI驾驶舱》

(3) 决定产品规划方案、选型

① 产品规划方案：功能分组、分期（优先级）

② 选型：报表式、看板式、平台式

确定了产品方案和路线图，接下来就需要进行系统设计，这里分享几个设计原则：

(1) 简单易用、数据准确

BI应用是否符合用户习惯，数据是否准确及时，是BI能否活下来的关键。

① 报表式BI：如何将表格中的细节数据更加友好的展示；

② 看板式BI：注重核心指标，指标与指标之间的故事性、分析思维；

③ 平台式BI：尽可能考虑低代码支持、可视化操作、所见即所得等，毕竟业务人员会SQL不多；

(2) 可以集成现有系统

能够适配企业现有数据库选型，能保证项目在数据采集/数据接入时能够顺利

(3) 考虑多场景支持

① PC和移动两类使用场景

尽量在架构设计时就考虑未来移动端、PC端兼容的方案，要知道任何BI系统最后都会面临移动化。

② 统一支持的数据分享方式

需要对数据下载、数据导出等数据分享方式进行统一设计。

(4)  考虑引入算法、模型

不要仅仅把BI当成一款『看数』工具，在产品设计时适当考虑引入算法或者未来引入算法模块的技术架构，能够提升产品的定位，有助于发挥更大的价值。

(5)  考虑数据监控、权限

一定要在架构上就考虑数据异常的监控机制和权限管理，否则后期加起来很痛苦。权限上，要注意考虑数据权限的设计，要注意考虑数据权限的设计（同一个页面不同的岗位看到的数据内容范围不同，比如华北区只能看到华北区的数据，这个就是数据权限）。

分析时刻是Gartner定义的一种数据分析流程，通过对数据进行可视化、探索和应用算法，支持业务成果的交付，从而做出更好或更快的决策，实现业务流程的自动化。

随着数据使用门槛逐步降低，自助式、平台式BI成为趋势，数据分析的主动权会逐步转移到业务人员手中，数据分析直接由遇到业务问题的业务人员发起，业务人员可以使用数据分析工具/平台完成数据分析内容。

举例：当一名业务人员想知道某个商品的线上销售预测，或者为什么购物车中的商品没有被某些客户转化为购买，在过去，这名业务人员必须求助于IT部门的专业数据分析师（提取可能相关的数据，输出特定分析报告）、数据科学家（建立预测模型），但是试想一下，如果BI系统中建立了常用的预测算法模型、归因分析工具，可以方便的连接数据集，业务人员自主快速完成分析内容，他通过自助分析很快就知道了这几个数据结论或者问题原因，从而做出业务上的反馈。

增强分析主要是指以机器学习为基础的数据分析和BI功能，通过机器学习、人工智能等技术的应用将常见通用的数据分析的场景沉淀为产品功能中，帮助普通用户在没有数据科学专家或 IT人员协助的情况下完成数据分析。

增强分析的底层理念是“简单易用”，能够支撑用户在没有专业知识背景下，完成数据的“收集-准备-整合和分析”全过程。

增强分析包含增强数据准备、增强机器学习、增强数据分析这些模块。这里主要讲在数据分析中的应用趋势。

(1) NLP和NLG的应用

① 自然语言分析，无需写SQL，通过语言和可视化来分析数据

举例：ThoughtSpot使用搜索和NLP作为访问数据的主要界面，用户可以通过打字或者语音提出问题。

② 对话式数据分析，数据对话机器人

自然语言转化成 SQL，再将 SQL 结果集转化成可视化的图形，形成了"NL2SQL2Graph"的完整链路。举例：阿里小蜜（入口：淘宝）

③ NLG技术（自然语言生成），将机器分析出的观点结论以语言形式展现给用户。

举例：tableau的explain Data功能，会自动针对所选值提供由 AI 驱动的解释。此功能会在后台检查数百个可能的解释，并呈现可能性最大的那些解释。

(2) 自动洞察和自动可视化

① 自动洞察( automated insights )

自动洞察是指机器自动地从数据中发现潜在信息和价值：发现数据之间的关联、发现数据异常、自动进行聚类。

现在大部分的主流 BI 平台都有自动洞察的相关功能推出。

举例：微软的 PowerBI 的Quick Insights 功能能够自动对于源数据做出各种交叉的一阶或者多阶计算 ( 百分比，排序，同环比 )，从而挖掘数据内部各种趋势。

https://www.c-sharpcorner.com/article/quick-insights-and-power-bi/

根据数据结果自动的选择可视化的方式进行展示，以清晰的展现数据分析结果。

有2个方向：

· 自动选择图表：当查询出数据集后，机器会根据数据特点，自动生成合适的图表。图表自动化现在主流的BI工具都已经支持了，比如tableau，选择好数据集后第一眼看到的不是数据，而是自动的可视化图表。

技术上有2种实现方法：

· 基于规则：预先设置好规则库，根据规则生成图表，规则库的质量是关键。

· 基于模型：将问题转化为分类或者排序问题），数据本身的特征与可视化图表的特征是关键。

将特定的数据分析方法集成到业务系统中。

BI系统的页面可以用于嵌入到其他系统中，这样对产品未来发展很有好处：

· 业务人员在产生数据的系统内就能看到数据的分析结果，增加了体验，并且使用起来流程、体验都很顺

通过大量人工业务分析总结出的业务经验、再加上AI和机器学习技术的加持，让机器一次性完成业务分析和行动建议。比如：taobao的生意参谋。