
让我们面对现实吧,很多人都需要将机器学习整合到他们的产品和服务中,但是没有时间或资源回到学校学习Tensorflow,或者雇用昂贵的专业人士。即使他们这样做了,它仍然是一个巨大的挑战,然后将其部署到生产环境中,然后永远支持它。
这就是 Machine Box的用武之地,它大地简化了从想法到生产的整个机器学习过程。
由于这些工具的简单性,机器学习中的挑战现在只是关于拥有正确的数据集。传统上,为了训练一个有效的机器学习模型,你需要成千上万的例子,但是我们已经建立了一些技术来显着降低这种模式。
我将与大家分享一下我在10分钟内建立的机器学习模型的例子:
垃圾邮件检测器
没有人喜欢垃圾邮件。幸运的是,有一些很好的在线垃圾数据集可以下载(http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/),该数据集是垃圾短信列表,以及与其进行比较的非垃圾邮件(或ham)短信列表。这个数据集对我们来说是理想的,因为它被贴上标签,但我们首先需要做一点清理。

数据集的屏幕截图
你需要做的第一件事是安装Classificationbox。它是一个Docker容器内的机器学习模型构建器,因此它在您的机器上本地运行,并且永远不会向Internet发送任何内容。
安装完毕后,请抓使用开源工具(称为Textclass),它可以自动完成Classificationbox中的一些训练处理,从而节省大量时间。
现在,回到我们的数据集。为了使用Textclass,您需要每个示例都是文件夹中的文本文件。首先创建两个文件夹,一个叫ham,一个叫spam。然后,运行这样的脚本(in Go),它将每个示例剥离出来,并将其放入相应文件夹中的文本文件中。(Go语言代码)
package main
import (
"bufio"
"fmt"
"log"
"os"
"strconv"
"strings"
)
func main() {
if err := run(); err != nil {
log.Fatalln(err)
}
}
func run() error {
log.Println("running")
r, err := os.Open("SMSSpamCollection.txt")
if err != nil {
return err
}
defer r.Close()
s := bufio.NewScanner(r)
counter := 0
for s.Scan() {
if err := s.Err(); err != nil {
return err
}
subs := strings.Split(s.Text(), " ")
if len(subs) < 2 {
continue
}
category := subs[0]
text := subs[1]
filename := strconv.Itoa(counter)
if category == "spam" || category == "ham" {
createFile(category, text, filename)
counter++
log.Printf("Content: %v - Category %v", counter, category)
}
}
return nil
}
func createFile(category, text, filename string) error {
file, err := os.Create("data/" + category + "/" + filename + ".txt")
if err != nil {
log.Fatal("Cannot create file", err)
}
defer file.Close()
fmt.Fprintf(file, text)
if err != nil {
return err
}
return nil
}
我们很快就看到,有更多的ham比垃圾邮件还多。为了获得良好的分类,我们需要在每个类中都有相同数量的示例。我们称之为类平衡。

我手动删除了多余的示例,以便与垃圾邮件中的示例数量相匹配。有更好的方法可以用终端命令来做到这一点。
现在是构建我们模型的时候了。
只需打开终端,运行Textclass脚本并将其指向包含其中的两个文件夹的目录。
$ go run main.go -src /Path/to/data/smsspam/data

几秒钟后,它将向模型传授示例并开始验证步骤。之后,你会得到一个准确的百分比,在这种情况下是97.32441471571906%
最佳实践
如果你不打算使用Textclass并且你想通过它的API与Classificationbox交互,那么你应该记住一些事情。首先,随机挑选80%的训练数据,然后用它来实际训练模型。保留20%作为验证集以备后用。当你训练80%时,你必须在每个类中交替使用示例,以便模型不会产生偏差。例如,发送垃圾邮件/ example1,ham / example1,spam / example2,hame / example2等训练请求...