如何使用 Machine Box以97%的准确率训练垃圾邮件检测器

让我们面对现实吧,很多人都需要将机器学习整合到他们的产品和服务中,但是没有时间或资源回到学校学习Tensorflow,或者雇用昂贵的专业人士。即使他们这样做了,它仍然是一个巨大的挑战,然后将其部署到生产环境中,然后永远支持它。

这就是 Machine Box的用武之地,它大地简化了从想法到生产的整个机器学习过程。

由于这些工具的简单性,机器学习中的挑战现在只是关于拥有正确的数据集。传统上,为了训练一个有效的机器学习模型,你需要成千上万的例子,但是我们已经建立了一些技术来显着降低这种模式。

我将与大家分享一下我在10分钟内建立的机器学习模型的例子:

垃圾邮件检测器

没有人喜欢垃圾邮件。幸运的是,有一些很好的在线垃圾数据集可以下载(http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/),该数据集是垃圾短信列表,以及与其进行比较的非垃圾邮件(或ham)短信列表。这个数据集对我们来说是理想的,因为它被贴上标签,但我们首先需要做一点清理。

如何使用 Machine Box以97%的准确率训练垃圾邮件检测器

数据集的屏幕截图

你需要做的第一件事是安装Classificationbox。它是一个Docker容器内的机器学习模型构建器,因此它在您的机器上本地运行,并且永远不会向Internet发送任何内容。

安装完毕后,请抓使用开源工具(称为Textclass),它可以自动完成Classificationbox中的一些训练处理,从而节省大量时间。

现在,回到我们的数据集。为了使用Textclass,您需要每个示例都是文件夹中的文本文件。首先创建两个文件夹,一个叫ham,一个叫spam。然后,运行这样的脚本(in Go),它将每个示例剥离出来,并将其放入相应文件夹中的文本文件中。(Go语言代码)

package main

import (

"bufio"

"fmt"

"log"

"os"

"strconv"

"strings"

)

func main() {

if err := run(); err != nil {

log.Fatalln(err)

}

}

func run() error {

log.Println("running")

r, err := os.Open("SMSSpamCollection.txt")

if err != nil {

return err

}

defer r.Close()

s := bufio.NewScanner(r)

counter := 0

for s.Scan() {

if err := s.Err(); err != nil {

return err

}

subs := strings.Split(s.Text(), " ")

if len(subs) < 2 {

continue

}

category := subs[0]

text := subs[1]

filename := strconv.Itoa(counter)

if category == "spam" || category == "ham" {

createFile(category, text, filename)

counter++

log.Printf("Content: %v - Category %v", counter, category)

}

}

return nil

}

func createFile(category, text, filename string) error {

file, err := os.Create("data/" + category + "/" + filename + ".txt")

if err != nil {

log.Fatal("Cannot create file", err)

}

defer file.Close()

fmt.Fprintf(file, text)

if err != nil {

return err

}

return nil

}

我们很快就看到,有更多的ham比垃圾邮件还多。为了获得良好的分类,我们需要在每个类中都有相同数量的示例。我们称之为类平衡。

如何使用 Machine Box以97%的准确率训练垃圾邮件检测器

我手动删除了多余的示例,以便与垃圾邮件中的示例数量相匹配。有更好的方法可以用终端命令来做到这一点。

现在是构建我们模型的时候了。

只需打开终端,运行Textclass脚本并将其指向包含其中的两个文件夹的目录。

$ go run main.go -src /Path/to/data/smsspam/data

如何使用 Machine Box以97%的准确率训练垃圾邮件检测器

几秒钟后,它将向模型传授示例并开始验证步骤。之后,你会得到一个准确的百分比,在这种情况下是97.32441471571906%

最佳实践

如果你不打算使用Textclass并且你想通过它的API与Classificationbox交互,那么你应该记住一些事情。首先,随机挑选80%的训练数据,然后用它来实际训练模型。保留20%作为验证集以备后用。当你训练80%时,你必须在每个类中交替使用示例,以便模型不会产生偏差。例如,发送垃圾邮件/ example1,ham / example1,spam / example2,hame / example2等训练请求...