将埋点讲明白了.docx

《将埋点讲明白了.docx》由会员分享，可在线阅读，更多相关《将埋点讲明白了.docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、随着互联网技术的开展，从单纯的展示型到运营型，再到现在的数字化运营 阶段，数据变得越来越重要，不仅可以进行辅助策略，还可以实现自动化的 个性化运营。而数据价值的起点就是埋点，只有合理地埋点，规范地上报， 数据才会产生价值。本文我们就来了解埋点体系。数据埋点概述一般我们把数据分为生产端数据和消费端数据。生产端数据很容易获得，一 般都是通过系统的数据库，比方在电商的商品后台中添加商品的操作就是生 产端数据。生产端数据基本上都是监控类的。而产生更多的业绩价值的数据 往往都是消费端数据，比方用户在电商App上进行点赞、评论、收藏、下单 和支付等行为的数据就是消费端数据。消费端数据需要采集，埋点技术就是

2、 一种常见的采集这些数据的技术。01什么是埋点通常我们说的埋点，实际上是埋点技术。埋点技术是一种数据采集技术，特 指针对用户行为或时间进行捕获、处理和上报的相关技术及其实施过程。互联网开展到今天，埋点技术已经越来越成熟，有非常多的第三方SDK可以 方便公司快速建立埋点体系，挖掘数据价值。然而第三方埋点技术经常会遇 到数据泄露的问题，而且可能由于一些限制导致业务诉求不能完全满足，因 此大型企业大概率会选择自建埋点系统。02埋点的意义02无埋点技术无埋点技术可以说是踏着七色云彩来到这个世上的，也是各大埋点平台鼓吹 的埋点技术。无埋点技术的好处是，通过引入SDK,接下来就会自动完成埋点，这样就可 以

3、规避很多人工错误。这样看来，是不是大家都应该使用无埋点技术呢？是 不是无埋点技术就没有缺点了呢？实际上在对业务数据要求高的场景下，无埋点技术还是有一些缺点的： 采集的标准化使非标准化采集成为不可能；只能监控局部事件，并不能上报所有事件信息； 由于目前App开发的复杂性上升，无埋点技术并不能兼容所有的场景；标准化上报导致很多业务无效的信息也进行了上报，大量的无效信息上报在 流量大的场景下会带来巨大的流量及处理资源的浪费； 无法获取业务逻辑内的信息跟踪。埋点技术的选择我们已经知道了有埋点技术和无埋点技术的优缺点，那么如何选择埋点技术 呢？接下来针对不同的场景，进行埋点技术的推荐。 公司刚启动，技术

4、人员少，人员流动大，公司初步扩张中，尚未进入精细化 运营阶段。只要符合其中一点，就可以选择无埋点技术。 工程在天使阶段之后的融资阶段，业务复杂度高，App应用的技术多样。符 合这些点中的一点，就不要用无埋点技术了。当然，在融资阶段，使用私有 化部署的无埋点技术也还是可以的。 公司流量巨大，业务复杂度高。当公司进入这个阶段的时候，就需要有埋点 和无埋点技术联合使用。对无埋点技术也要进行一定的修改，上报阶段要通 过后台配置项进行配置上报。这个阶段就需要按照节提到的，建设自己 的埋点管理平台了。有埋点和无埋点技术都是为了数据采集而存在的，而且各有优劣，企业在不 同阶段，产品在复杂度不同的情况下，根据

5、自身的需要进行选择。效用最大 化是组织的目的，所以不要在某一点上进行过度开发，防止产生不必要的浪 费。我们经常会说数据价值，会思考如何让业务数据产生价值。数据产生价值的 前提是数据源可信任，而埋点的意义就是解决数据源可靠性的问题。如果说数据仓库是兵工厂，各种数据产品是枪炮，那么埋点就是钢和铁；如 果说数据仓库是地基，各种数据产品是高楼大厦，那么埋点就是砖和石。如 果埋点做不好，一切上层依赖都将会事倍功半。03埋点的类型埋点类型有三种：Web埋点、App埋点和接口埋点。本文主要介绍产品思维 层面出发需要了解的大致原理。1、Web埋点Web埋点主要是通过先在页面中注入一段JavaScript代码，

6、然后对提供的数 据进行上报的技术。互联网的开展从Web 1.0到Web 2.0,再到今天的移动互联网，埋点技术也从 无到有，从简单到复杂，服务厂商也从群雄争霸到“剩”者为王。Web埋点技 术也经历了网页信息、增加Cookie、增加事件三个阶段，使得Web埋点越来 越成熟。这里我们主要从产品角度理解Web埋点。在大数据运营之前，Web埋点主要关注的是各种指标和漏斗分析法。重要的 指标有页面访问次数、页面用户数、页面停留时长和跳出率。漏斗分析法主 要是指有递进关系的页面之间用户的流失率。Web埋点的意义更多的是优化 页面，提高用户留存。在大数据运营之后，Web埋点更多地开始关注事件， 同时上报用户

7、信息，这样就可以对用户的兴趣点进行挖掘。2、APP埋点App埋点技术是通过在代码中加入特殊的代码或者引入一个SDK,对App中 的信息进行提供的一种技术。App代表了移动互联网时代的到来，从这一天开始，埋点技术就进入了大数 据时代，并不是App带动了大数据时代，而是App的兴起正好和大数据技术 的普及相伴随。伴随着大数据的到来，App埋点已经不仅仅关注页面优化带来的用户留存提 升，而更加关注数据的全面性。在这个时代，数据就是价值，数据的全面性 带来的是用户价值的深度挖掘。同时Web时代的版本更新优化已经被更成熟 的A/B测试系统取代。我们再也不用更新一个版本之后再获取数据，而是可 以在一定范围

8、内灰度上线，测试效果之后再上线。所以App埋点是埋点价值的升华，也是大数据时代挖掘数据价值的起点。3、接口埋点我们常说的埋点主要是指Web埋点和App埋点，但实际上还有一种埋点 接口埋点。这种埋点不同于其他埋点的地方在于，它不是通过数据库系统直 接存储，而是通过日志系统存储，然后通过ETL保存到数据仓库。接口埋点的意义主要是用于实时接口监控，可以让我们快速发现接口的异常 情况。运维的报警系统很多都是通过接口埋点实现的。如何做好埋点接下来我们介绍如何做好埋点。1、目标埋点是数据价值的起点，而目标收集又是埋点的起点。目标提供的关键要义 在于必要的全面，也就是说，需要的数据都要进行埋点，但并不是埋点

9、越全 越好。目标收集主要从两个角度思考，一个是用户信息（包含浏览器信息），一个 是目标及事件。用户信息主要是指用户的身份与硬件环境信息。身份信息包括未登录的唯一 码、登录后的唯一码、联合登录信息等，硬件环境信息包括操作系统、硬件 设备码和经纬度等。在没有用户信息的时代，大家只能进行全站的调整和信 息呈现，而用户信息的收集让智慧营销、千人千面成为可能。目标及事件主要是指页面中的元素及元素触发的事件。元素要进行分级收 集，主要遵从三个级别：页面、模块和元素。模块是有可能分级的，但是在 埋点系统里一般我们不做分级上报，只对最子级的模块进行上报，在服务器 端存储模块层级关系。比方微信一级模块是“微信”

10、“通讯录”“发现”和“我”。在 “微信”里面还有“加号”“搜索”“消息列表”和“小程序”这些二级模块。然而当我 们点击了“搜索”时，对于模块上报来讲，不需要记录“微信”这个一级模块， 只需要上报“搜索”这个二级模块就可以了。其实目标收集有一个很好的简单要义：谁对什么做了什么。这里的“谁”就是 用户，“对什么”中的“什么”就是目标，“做什么”就是事件。在做埋点的时候, 一定要记住这个要义。接下来，介绍埋点所谓的必要和全面。全面就是埋点要尽可能全面，因为只 有这样，当我们想到用某些数据进行机器学习的时候，才可以不用再去埋 点，也不会损失历史数据的价值。全面有两个概念，一是埋的点位要全，二 是一个点

11、位的上传信息要全面。关于埋的点位要全，这就需要依赖交互设计图了。在交互设计图中，任何有 交互的元素都是需要考虑是否要进行埋的点。决定是否埋的依据是这个元素 的交互是否有业务意义，如果有就需要进行埋点。此外，在用户行为产生结 果的逻辑代码中也需要进行埋点。这样就可以保证埋点的全面性。埋点上报的信息如何做到全面呢？以事件驱动。用事件作为埋点的点，需要 上传的信息包括事件本身和触发事件的用户信息，以及触发元素本身所在实 体（对于客观世界物体的抽象）的信息。比方我们在使用电商的时候，会收 藏一个商品，那么点击收藏按钮的这个点击事件就是我们要埋的点。收藏是 我们的动作，所以我们的唯一识别码、操作系统、经

12、纬度坐标等信息就需要 上报，同时点击的是商品的收藏按钮，所以商品的唯一标识码也需要上报。接下来我们讨论一下必要。是不是所有的事件及其相关信息都需要上报呢？ 答案是否认的，特别是在用户量级很大的应用中，每多上报一种信息，就代 表多很多的流量费用和存储费用。所以只有能够产生业务意义的事件及相关 信息才需要上报。比方，App中经常出现的自动切换的控件，这种切换事件 一般不上报，因为并没有什么业务价值。以UI设计为底、以业务价值为依据、以事件为起点、以“要义”为目标进行埋 点，就可以保证目标提供的必要和全面。2、字典管理做了埋点，只是保证了有信息，距离产生价值还有一个很重要的步骤，那就 是字典管理。字

13、典管理的第一个要点是埋有所编。一个埋点对应一个标识信息，这样每一 个埋点就相当于有了一个身份。这个标识信息既可以在后续的数据分析中发 挥重要价值，也方便在埋点管理平台中进行管理。字典管理的第二个要点是便于检索。在给模块起名的时候要遵从全路径原 那么，也就是页面一模块一最子级模块一元素一事件。例如，对淘宝首页男装 分类下的更多热卖的每一个商品的点击进行埋点，那么这个埋点的合理名称 是“首页男装分类.更多热卖.商品点击”。当然每个人因为习惯不同，会有 一个符合自己系统的编码名称。这里介绍一下编码的职责原那么。首先埋点编码是由技术部门完成的，而不是 业务部门。埋点的技术部门需要建立一套完整的、适用于

14、全公司的埋点规 范。如果业务侧的产品经理想申请埋点，只需要将埋点的点位和逻辑需求写 清楚，然后到埋点的技术管理部门申请。埋点的技术管理部门依据制定好的 规那么，对新增的页面、模块、元素及事件进行编码，然后更新埋点文档。测 试人员根据埋点文档对业务侧的产品经理提出的需求进行确认。测试通过的 埋点在埋点管理系统中状态变更为验证通过，待版本发布后，埋点状态变更 为有效。业务侧产品经理也可以通过埋点信息上报后的数据逻辑对埋点进行 业务验证。3、埋点管理平台埋点管理平台，顾名思义，就是对于埋点的管理系统。实际上字典管理就是 埋点管理平台的一局部，除了字典管理之外，埋点管理平台还包括埋点可视 化管理、埋点

15、状态监控及埋点测试几个模块。接下来我们会对剩下的模块进 行说明。01埋点可视化管理模块埋点可视化管理模块主要负责对埋点进行可视化管理。可以看到在下列图中， 左侧是一个App的展示，而在右侧有一系列埋点信息，并用线和目标元素进 行连接。首页-顶部工具栏-更多按钮-点击这样产品在对埋点进行设计的时候，就可以所见即所得地设计，从而极大减 少设计上的遗漏。同时，可视化管理模块也是埋点测试的基础。02埋点状态监控模块埋点状态监控模块主要负责对埋点的存活状态、未知埋点发现及数据异常进 行提醒。埋点的存活主要是针对已经确定的埋点进行监控，而是否存活主要 是通过测试人员进行回归测试来判断。未知埋点发现主要是通

16、过上报数据进 行分析，如果出现了未知的埋点标识数据，那么进行提醒，方便反向跟踪问 题。数据异常提醒模块主要从数据本身的阈值异常以及上下游埋点比例的阈 值进行监控。随着机器学习的引入，数据异常的判断进入智能化阶段，错报 的概率大大降低，同时监控的时效性大大提升。03埋点测试模块这个模块很少有企业真的做到，但是却是埋点管理平台能够得到升华的点。 埋点测试模块主要提供给测试人员使用，因为它与可视化管理模块的联动可 以让产品经理也很容易上手，进行埋点测试c也就是这个模块支持在测试的 时候，可视化模块可以同步显示应用显示的页面。在应用上触发埋点的时候，可视化模块在接收到数据时可以高亮显示对应的埋点标签。

17、所以埋点测 试模块就是埋点测试人员和产品经理最想要的模块。下列图是埋点管理系统主 要模块的结构图。通知通知埋点管理系统主要模块的结构图如果你们企业做出了上面的埋点管理平台，那么要恭喜你了，你们已经走到 埋点的专业级别了，你们的数据价值之路已经有了最好的砖和石。埋点技术下面来讲一下主流的埋点技术，这里仅从产品经理需要了解的原理角度进行 讲解。01 JavaScript 埋点JavaScript埋点是主要应用于Web应用的埋点，通过在页面的底部加入一段JavaScript代码来完成埋点。一般在页面上显示为一个GIF小图标，图标的来 源是一个JavaScript文件地址。JavaScript埋点一般

18、支持自定义事件的收集，这样就可以充分地对用户的行为 进行收集。JavaScript埋点也会应用Cookie技术，对用户身份进行标识，但是如果用户 清除了 Cookie,会导致用户身份丧失。02App埋点App埋点算是站在了一个很高起点的埋点技术。因为有了 JavaScript埋点的技 术和运营沉淀，App埋点在很短的时间内就开展到了很成熟的阶段。App埋 点主要分成两种方式，有埋点技术和无埋点技术。01有埋点技术在App刚火热的时候，还没有无埋点技术，都是以有埋点技术来实现的。有埋点技术就是在逻辑代码中插入一条自己需要的埋点代码进行数据上报。这样的埋点技术可以根据业务需求精准埋点，但是也带来了一个问题：埋点 管理问题。公司越大，部门划分越细，同时伴随人员的流动，一旦规那么或者 埋点人员的认知不同，就会导致埋点丧失或者改变。而我们之前说过，埋点 是数据价值的起点，这样会给后续的所有分析及模型带来影响。所以有埋点技术成为了一种大家质疑的技术，无埋点技术也在大家对有埋点 技术的痛苦挣扎中应运而生。但是无埋点技术就真的是天堂吗？实际上，这 样的问题并不是技术问题，而是管理问题。埋点技术暴露出来的问题也是因 为管理体系的缺失导致的。