es docs
Introduction
集群的部署
Elasticsearch 集群版本升级
Elasticsearch 安装 Xpack 5.4.0
Kibana 安装 Xpack 5.4.0
Logstash 安装 Xpack 5.4.0
创建用户
新增机器
Es 集群磁盘扩容
新增机器9台
UNASSIGNED 问题
节点下线
硬件配置及版本选择
集群角色划分和隔离、 副本分片建议(控制shard数量)、容量的规划
Elasticsearch 配置
Reindex 重新索引
System 配置
映射与模板
weixiners
Mongodb 数据源更新
weiboers
weixin_articles_and_weixiners
weibo_articles_and_weiboers
toutiao_articles_and_users
toutiaors
Mongodb数据源
baidunews_news
news_articles
news_comments
tieba_posts
weibo_article_tops
zhihu_questions
科技资讯站数据(tech_news)
搜狗微信文章数据
天涯论坛(tianya_news)
china_news
zhihu_answers
elec_articles
话题排行榜(topic_rank)
话题动态数据(topic_dynamic_data)
话题静态数据(topic_static_data)
rowlet_facebook_articles
数据用例
rowlet_twitter_articles
数据用例
weiboer_logs
toutiao_logs
tieba_logs
qie_logs
qie_articles_and_users
city_qa
weibo_article_comments
gov_information_articles
安全机制
基于 nginx 配置
xpack
坑&问题&测试
问题一
问题二
问题三
问题四
测试一
测试二
测试三
问题五
Es 慢查询添加日志
问题六
Elasticsearch的停用词
分词
分词测试一
分词测试二
分词测试三
测试 ignore_malformed
分词测试四
分词测试五
Kibana 5
生产环境部署和Nginx代理配置
插件
Head
Bigdesk
Cerebro
客户端连接
Python
Nodejs
消息队列
接口
部署
测试
Kejizixun 测试
Toutiao 测试
Zhihu测试
Weixin 测试
Weibo 测试
Baidu 测试
SogouWeixin 测试
Tianya 测试
BaiduTieba 测试
NewsArticles 测试
NewsComments 测试
ChinaNews 测试
ZhihuAnswers
ElecArticles 测试
TopicRank、TopicDynamicData、TopicStaticData
TopicRank
TopicDynamicData
TopicStaticData
Facebook
Twitter
WeiboLogs
ToutiaoLogs
数据写入共用接口
city_qa_articles
Kafka
Logstash
NLP 与 机器学习
情感分析
文本分类测试一
文本分类测试二
文本分类接口
Docker
安装
数据平台
微博统计
每天总文章量
实际声量
声量
系数
独立用户曝光量
独立账号占比
原发提及占比
技术栈
Narnia
词包模块
基本功能
计算指标存入Es
微博
微信
贴吧
百度新闻
知乎问题
天涯
头条
资讯博客
接入API
接口 Ivst
一、添加词包任务
二、通过 primaryId 获取词包任务是否完成的状态
三、通过 primaryId 集合,批量获取词包任务是否完成的状态,返回集合
四、通过 primaryId 删除任务
五、通过 keyword 获取 Es 库中匹配到的结果集
七、通过 keyword 获取任务的计算结果集(以获取微博数据接口为例)
八、通过 keyword 获取任务的计算结果集(微信、贴吧、知乎问题、天涯、头条、资讯博客)
九、修改词包任务
十、新增百度指数
十一、查询百度指数
十二、删除百度指数任务
十三、新增百度新闻
十四、检测百度新闻爬取情况
十五、删除百度新闻任务
十六、获得百度新闻声量数据
十七、获取百度新闻文章
十八、微博用户画像
十九、微博、微信 KOL
二十、Ivst 获取计算指标
二十一、百度新闻增量查询接口
接口 Narnia
一、添加词包任务
二、通过 primaryId 获取词包任务是否完成的状态
三、通过 primaryId 集合,批量获取词包任务是否完成的状态,返回集合
四、通过 primaryId 删除任务
五、通过 keyword 获取 Es 库中匹配到的结果集(微博、微信)
六、 按照指定字段排序,通过 keyword 获取 Es 库中匹配到的热门结果集(微博、微信)
七、通过 keyword 获取任务的计算结果集(以获取微博数据接口为例)
八、通过 keyword 获取任务的计算结果集(微信、贴吧、知乎问题、天涯、头条、资讯博客)
九、修改词包任务
十、新增百度指数
十一、查询百度指数
十二、删除百度指数任务
十三、新增百度新闻
十四、检测百度新闻爬取情况
十五、删除百度新闻任务
十六、获得百度新闻声量数据
十七、获取百度新闻文章
十八、微博用户画像
十九、获取计算指标 Excel 下载链接
二十、获取原文 Excel 下载链接
二十一、Narnia 自动报告导出
二十二、百度指数检测接口
接口 MCI
一、MCI 自动报告导出
接口 Rowlet
一、获取Fb、Tw计算指标
二、获取原文,按关键字查询(排序)
三、获取原文,按话题查询
四、获取热门话题 TopN
五、周、月报自动导出
六、获取原文,关键字或账号ID
七、SPC 周、月报自动导出
八、一带一路周、月报自动导出
V2
四、获取热门话题(v2 指定 ids)
三、获取原文,按话题查询(v2 指定 ids)
九、更新 Twitter 转评赞
接口 GNI
一、GNI 自动报告导出
接口 Tencent
一、数据采集
接口 UGM
一、UGM 自动报告导出
百度指数
百度新闻
用户画像
问题
超时
导出、统计模块
旅游
自动导出模板API
Rowlet
Twitter
Facebook
守护进程
单点登录
部署
业务接入
示例
阿里云容器服务
weibo-weixin
crawler-group-05
tieba-qie
zhihu-toutiao-baidunews
kuyun-weiboTopic-news
全总劳动关系
一、打包部署
Powered by
GitBook
Introduction
Introduction
[x] 使用分布式配置管理工具
ansible
来做集群的部署
[x] 硬件配置
[x] 集群角色划分和隔离、 副本分片建议(控制
shard
数量)、容量的规划
[x] 映射与模板
[x]
Elasticsearch
配置
[x]
System
配置
[x] 安全机制
[x]
Reindex
(重新索引)
[x] 分词
[x] 监控
zabbix
(状态、节点状态、集群节点)
results matching "
"
No results matching "
"