机器学习与大数据文本分析:过拟合与惩罚回归 LASSO

机器学习(machine learning)按有无标签分两类:监督学习(supervised)有带标签的目标变量,做分类或回归;非监督学习(unsupervised)没有标签,靠算法自己找结构,如聚类、降维。
核心风险是过拟合(overfitting):模型把训练集的噪声也学了进去,样本内好但样本外差。应对:交叉验证(cross-validation)和惩罚回归,如 LASSO 会把不重要变量的系数压缩到零,起到变量筛选作用。
文本分析(text analytics)流程:清洗、分词、构建词袋(bag of words),再做情感或主题建模。
易错点:别把监督和非监督混淆;惩罚项意义在于降方差、提升样本外泛化。
你用过 LASSO 做因子筛选吗?效果如何?欢迎分享实战经验。