Commit Graph

37 Commits

Author SHA1 Message Date
eson
a9bb448351 重构完成 2020-09-09 17:25:36 +08:00
eson
30a6c35980 finish: twitch restructure 2020-09-09 16:49:44 +08:00
eson
fb07d61353 TODO: twitch_task2 fix 错误 2020-09-08 18:24:51 +08:00
eson
f86c255407 finish nimo 2020-09-03 14:17:54 +08:00
eson
be47c77e88 TODO: upgrade store method 2020-09-03 12:01:55 +08:00
eson
5912111f29 add: WaitFor method
add: Channel tag
2020-09-02 19:18:44 +08:00
eson
3b7e8e94ea nimo 插件优化
nimo 数据测试提取成功
2020-09-02 18:56:20 +08:00
eson
5d50119825 add new nimo code
change more
2020-08-28 19:07:12 +08:00
eson
eee4e30585 fix: twistcasting tags error.
change: twistcasting, some filed type to number
2020-08-18 16:50:49 +08:00
eson
9d7c2e1e54 1.修改build.sh
2.删除hunter包引用和使用
2020-08-17 14:38:00 +08:00
eson
d1298dc3f3 finish: 重构openrec 2020-08-17 13:10:29 +08:00
eson
a50c879d83 todo: openrec 重构 2020-08-14 19:26:03 +08:00
eson
b20f97f7c9 1. 修复 store_extractor Update 错误.
2. 重构前两个网站的代码架构不合理.
3. 减少冗余代码
2020-08-13 19:11:53 +08:00
eson
d91e6be269 rename api name xml -> html 2020-08-12 17:42:27 +08:00
eson
16c3ed93b7 finish twitcasting 2020-08-12 12:22:46 +08:00
eson
b82b4f5b77 finish tag slice 2020-08-11 18:26:17 +08:00
eson
0c54cbf8d8 完成twitch的期望功能 2020-07-31 18:04:10 +08:00
eson
1d2f2d14c5 1. 添加了block twitch 视频流的插件.
2. 流量减少99%
3. cpu使用率降低50%
4. 速度提高了400%
2020-07-27 19:30:54 +08:00
eson
cbdedb6795 twitch source 非常多, 需要把增量的架构设计好. 修改原来架构. 2020-07-23 18:29:56 +08:00
eson
6d688b8450 fix: libxml2 leak 2020-07-22 20:00:02 +08:00
eson
079488a2ba v0.3.0版本重构. 以 主播 为目标单位. 2020-07-21 15:05:56 +08:00
eson
d7a6da287d TODO: extractor 的重构. 2020-07-20 18:54:34 +08:00
eson
f0f83a9f00 1.最后一次数据存储结构重构.
2.数据最接近需求方.
2020-07-20 18:13:54 +08:00
eson
7182da2cbe fix: 时区问题. sqluri导致解析错误. 2020-07-17 19:20:08 +08:00
eson
e1040e69cd 1.重构命名, 简化代码, 加入build.sh
2.重构数据字段结构, 使数据合理性提高.
3.测试通过openrec获取数据完整性.
TODO: 测试时区问题.
2020-07-17 18:21:38 +08:00
eson
93efe36d0b add: 优雅停机 2020-07-16 18:31:13 +08:00
eson
fe25921f9a fix: ParseDuration Method
add: store UpdateOperator
2020-07-16 16:22:14 +08:00
eson
7e3b36c7d0 完成解析模块示例. 数据库入库测试.
TODO: 调整程序启动停止(非暴力关闭).
2020-07-16 15:25:55 +08:00
eson
51fe6f6039 finish: 解析逻辑, 入库正确.
TODO: 整理代码, 让入库提取数据成为 基础库.
2020-07-16 11:02:30 +08:00
eson
13ae890171 TODO: 正则Regexp 获取Tags错误 2020-07-15 19:23:45 +08:00
eson
b63e180499 添加tags, 修改 存储结构 更加接近制直播的数据存储架构. 2020-07-15 18:22:40 +08:00
eson
75b1d9fb77 TODO: 完善主播表的更新方式. 存在更新最新状态时, 会被改版类似情况覆盖, 从而找不到原信息数据 2020-07-15 15:44:21 +08:00
eson
0d8b456f41 TODO: 解决编码问题 2020-07-14 19:00:34 +08:00
eson
d034647b93 修改直到curl 成功. 2020-07-13 18:10:48 +08:00
eson
d258cc51d3 for save. 2020-07-10 18:31:17 +08:00
eson
d5151f92bf 1.extractor 表字段的实现.
2.存储通用包的实现.
2020-07-10 16:13:08 +08:00
eson
4af5430572 TODO: extractor openrec 2020-07-10 12:05:33 +08:00