基于大数据的学习视频数据分析与个性化推荐:以B站2022年知识/科技区视频数据作为分析对象。
对于以下几个部分更详细的文档详见目录下的README文件和项目报告。
本部分对应Spider
文件夹。
使用Aiohttp
实现异步分布式爬虫。
本部分对应DataAnalysis
文件夹。
使用Hadoop+Spark
对总体数据进行大数据分析。
本部分对应Backend
文件夹。
其中主要包括单视频分析(评论情感分析等),视频推荐等。
本部分对应Visualization
文件夹。
使用Vue+Element+ECharts
实现数据可视化。