Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 758|回复: 0

机器学习:SVM(SVM 思想解决回归问题)

[复制链接]
  • TA的每日心情
    奋斗
    7 天前
  • 签到天数: 745 天

    [LV.9]以坛为家II

    2041

    主题

    2099

    帖子

    70万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    704660
    发表于 2021-6-12 15:38:15 | 显示全部楼层 |阅读模式

    一、SVM 思想在解决回归问题上的体现

    • 回归问题的本质:找到一条直线或者曲线,最大程度的拟合数据点;
    • 怎么定义拟合,是不同回归算法的关键差异;
    1. 线性回归定义拟合方式:让所有数据点到直线的 MSE 的值最小;
    2. SVM 算法定义拟合的方式:在距离 Margin 的区域内,尽量多的包含样本点;

     

    • SVM 的思路解决回归问题:
    1. 在 Margin 区域内的样本点越多,则 Margin 区域越能够较好的表达样本数据点,此时,取 Margin 区域内中间的那条直线作为最终的模型;用该模型预测相应的样本点的 y 值;
    2. 在具体训练 SVM 算法模型解决回归问题时,提前指定 Margin 的大小,算法引入的超参数:ε,表示 Margin 区域的两条直线到区域中间的直线的距离,如图:
    • SVM 解决回归问题的思路与解决分类问题的思路相反,解决分类问题时,希望 Margin 区域内没有样本点或者样本点尽可能的少;
    • LinearSVC、SVC、LinearSVR、SVR
    1. LinearSVC:使用线性 SVM 的思路解决分类问题;
    2. SVC:使用非线性 SVM 的思路解决分类问题;(多项式核、高斯核)
    3. LinearSVR:使用线性 SVM 的思路解决回归问题;
    4. SVR:使用非线性 SVM 的思路解决回归问题;(使用不同的核函数)

     

     

    二、scikit-learn 中的 SVM 算法:LinearSVR、SVR 解决回归问题

    • LinearSVR、SVR 的使用方式与 LinearSVC、SVC 一样

    • import numpy as np
      import matplotlib.pyplot as plt
      from sklearn import datasets
      
      boston = datasets.load_boston()
      X = boston.data
      y = boston.target
      
      from sklearn.model_selection import train_test_split
      X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
      
      from sklearn.svm import LinearSVR
      from sklearn.svm import SVR
      from sklearn.preprocessing import StandardScaler
      from sklearn.pipeline import Pipeline
      
      def StandardLinearSVR(epsilon=0.1):
          return Pipeline([
              ('std_scaler', StandardScaler()),
              ('linearSVR', LinearSVR(epsilon=epsilon))
              # 此处使用超参数 C 的默认值;
              # 如果使用 SVR(),还需要调节参数 kernel;
          ])
      
      svr = StandardLinearSVR()
      svr.fit(X_train, y_train)
      svr.score(X_test, y_test)
      # 准确率:0.6353520110647206

       

     

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-3-29 09:43 , Processed in 0.063279 second(s), 29 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表