44 lines
763 B
Go
44 lines
763 B
Go
|
package main
|
||
|
|
|
||
|
|
import (
|
||
|
|
"io/ioutil"
|
||
|
|
"os"
|
||
|
|
"regexp"
|
||
|
|
"testing"
|
||
|
|
)
|
||
|
|
|
||
|
|
func TestMakeBuildingGob(t *testing.T) {
|
||
|
|
f, err := os.Open("/home/eson/test/spider_xingming/building_simple.txt")
|
||
|
|
if err != nil {
|
||
|
|
panic(err)
|
||
|
|
}
|
||
|
|
|
||
|
|
// reader := bufio.NewReader(f)
|
||
|
|
var alldict map[string]bool = make(map[string]bool)
|
||
|
|
all, _ := ioutil.ReadAll(f)
|
||
|
|
kl := &KeyList{}
|
||
|
|
for _, line := range regexp.MustCompile(`[^\s]+`).FindAll(all, -1) {
|
||
|
|
// kl.AppendKey(line)
|
||
|
|
alldict[string(line)] = true
|
||
|
|
}
|
||
|
|
|
||
|
|
for k := range alldict {
|
||
|
|
kl.AppendKey([]byte(k))
|
||
|
|
}
|
||
|
|
|
||
|
|
// i := 0
|
||
|
|
// for ; ; i++ {
|
||
|
|
|
||
|
|
// if err != nil {
|
||
|
|
// break
|
||
|
|
// }
|
||
|
|
// if len(line) <= 2 {
|
||
|
|
// continue
|
||
|
|
// }
|
||
|
|
// //t.Error(string(line))
|
||
|
|
// kl.AppendKey(line)
|
||
|
|
// }
|
||
|
|
// t.Error(i)
|
||
|
|
SaveData("./data/building.gob", kl)
|
||
|
|
}
|