搜一搜运营系统
这个是实习中碰到的主要业务。
主要是搜索评估系统,需求是抓取数据,然后更新,并且评估。效果好的话放入理想集合,再放入拨测。
涉及Python,ClickHouse,Hive,MySQL,等多种技术
规则组配置系统,需求是配置搜索词,哪些搜索词会命中大卡,然后分批次发布。
涉及MQ等技术
MP端穿透白板,需求是,搜索词所检索公众号和小程序等信息,需要展示出来。这里是需要去获取经过离线计算后的到HDFS的存储信息,然后放入MySQL分表分区存储,每个内容100个表,30个区。共四组内容。
涉及Spark,MySQL,HDFS等技术
大卡管理系统,需求是配置大卡,完成组卡逻辑。
涉及ElasticSearch,RPC,KV等技术
大卡系统,需求是线上的富展示模块,会涉及到商业变现等内容,会去拉内容提供方的信息,展示到用户端。
涉及C++,KV等技术
logicsvr,网关,完善规则引擎等内容,并提供审计上报等功能。
涉及Flask,规则引擎等。
数据过滤计算,需求是为了实现将pulsar的内容拉取到Flink中初步处理,然后出到HDFS文件当中,方面后续流程去读取
涉及Java,Pulsar,Flink
大卡索引加载优化,需求是本来用kv存储自建索引,后面使用共享内存去实现
涉及技术C++