搜一搜运营系统 WXG实践

搜一搜运营系统

这个是实习中碰到的主要业务。

主要是搜索评估系统,需求是抓取数据,然后更新,并且评估。效果好的话放入理想集合,再放入拨测。

涉及Python,ClickHouse,Hive,MySQL,等多种技术

规则组配置系统,需求是配置搜索词,哪些搜索词会命中大卡,然后分批次发布。

涉及MQ等技术

MP端穿透白板,需求是,搜索词所检索公众号和小程序等信息,需要展示出来。这里是需要去获取经过离线计算后的到HDFS的存储信息,然后放入MySQL分表分区存储,每个内容100个表,30个区。共四组内容。

涉及Spark,MySQL,HDFS等技术

大卡管理系统,需求是配置大卡,完成组卡逻辑。

涉及ElasticSearch,RPC,KV等技术

大卡系统,需求是线上的富展示模块,会涉及到商业变现等内容,会去拉内容提供方的信息,展示到用户端。

涉及C++,KV等技术

logicsvr,网关,完善规则引擎等内容,并提供审计上报等功能。

涉及Flask,规则引擎等。

数据过滤计算,需求是为了实现将pulsar的内容拉取到Flink中初步处理,然后出到HDFS文件当中,方面后续流程去读取

涉及Java,Pulsar,Flink

大卡索引加载优化,需求是本来用kv存储自建索引,后面使用共享内存去实现

涉及技术C++