商业数据分析——作品特征构建

实验7-2作品特征构建实验背景1.1实验目的依托实验7-1 已完成清洗的数据借助助睿ETL实现以下两类特征的计算与入库1标题特征与互动总数更新明细表核算互动总量total_interaction likes favorites shares coins抽取5个标题特征标记字段has_best、has_lowcode、has_practice、has_tutorial、has_pit将计算所得结果回写到 content_analysis 表中2关键词级别的汇总数据逐一核算包含各个关键词的作品的平均互动总量将互动汇总数据写入 title_feature_analysis 表通过本实验学生应掌握领会特征工程在数据分析体系中的关键地位运用助睿ETL的“计算器”组件核算衍生指标借助“JavaScript代码”组件实现文本关键词的自动化标记运用“插入/更新”组件回写数据既不额外建表也不覆盖既有基础数据借助“过滤聚合”组件组合实现分组统计计算1.2核心组件1.3核心设计思路本实验构建两类特征并将特征数据回写到实验7-1 的content_analysis 表中互动总量likes favorites shares coins衡量作品的用户互动规模绝对值标题特征将标题中是否含有特定关键词转化为0/1标记字段便于后续量化对比各关键词的实际效果数据处理流程二、 实验步骤2.1更新 content_analysis 表标题特征互动总数步骤1 导入数据将实验7-1输出的 content_analysis表作为输入拖入助睿ETL工作区。助睿ETL支持跨项目引用数据集可直接选择实验一输出的结果表。步骤2提取标题特征核心分析维度在JavaScript代码组件中可以直接使用JJavaScript代码对 title 字段进行关键词匹配生成5个标题特征标志字段。var title title; // 字段名直接作为变量使用// 判断关键词var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;// 将结果赋值给新字段输出字段需在字段表中提前定义has_best has_best;has_lowcode has_lowcode;has_practice has_practice;has_tutorial has_tutorial;has_pit has_pit;返回值说明设计思路这五个关键词在数据中高频出现且与“教学价值”“实操性”强相关是分析标题影响力的理想切入点。每个特征独立提取便于在BI中做分组对比。步骤3计算互动总数接入“计算器”组件新增 interactions 字段interactions likes favorites shares coins步骤4数据更新使用“插入/更新”组件将计算好的特征数据回填到 content_analysis 表关键配置字段映射:执行转换流2.2输出关键词级别的汇总表步骤1创建目标表创建以下目标表用来存储本节最后输出的数据步骤2计算整体平均互动数接入“排序记录”、“分组”组件按id升序排序不设分组条件直接计算 AVG(total_interaction)得到 overall_avg。聚合完成后接入“增加常量”组件新增字段 feature_name 保姆级为这一行数据贴上名称标签以便用于后续与关键词数据连接。步骤3计算关键词的平均互动数以“保姆级”为例表输入组件复制分发另一条分支先接“过滤记录”组件设置 has_best 1只保留含“保姆级”的作品。然后接入“排序记录”、“分组”组件按id升序排序计算 AVG(total_interaction) 得到 avg_interactionCOUNT(id) 得到 sample_count。聚合完成后接入“增加常量”组件新增字段 feature_name 保姆级为这一行数据贴上名称标签。为什么要加这个常量因为聚合后的数据只有数值没有关键词名称。如果不加5个分支的数据合并后无法区分谁是谁。常量就是给每一行贴上一个“标签”告诉下游“这一行是保姆级的数据”。步骤4合并整体平均值和关键词平均值接下来将整体平均值和关键词平均值进行合并使用“记录集连接”组件匹配字段为feature_name由于2个分支都只有1行数据所以无需排序。步骤5数据入库用”表输出”组件将合并后的数据入库这里需要注意不勾选“裁剪表”因为还有其他关键词数据也要入库不用删除已有数据。步骤6执行转换流一个关键词的互动汇总数据加工转换流如下点击运行三、实验结果四、实验心得本次实验基于清洗后明细数据完成特征工程。核心体会是特征设计需兼顾技术实现与业务理解互动总量的加权策略及关键词选择均影响特征有效性。JavaScript组件实现非结构化文本的结构化转换多分支聚合中身份标识字段对数据合并至关重要。增量更新策略体现了数据仓库中数据累积而非替换的原则。