CSDN 2021-2022年微博情感数据分析

新年第一篇，承蒙邹总邀请 一个实际的大数据分析例子CSDN 上已经有很多关于爬虫* 的博客和代码，还有很多关于 情感分析 的研究和实战例子，既然大家对这个技术都这么感兴趣就来一个真实的例子，看看大家在解决实际问题的能力如何。 CSDN 的很多用户都在各个微信群、社区里面表达过对 CSDN 的各种反馈，这些人和众多普通用户相比，还是很少的一部分，那么怎样收集到散落在网上的各种反馈和评论，并做定性、定量的分析呢？ 这就需要数据挖掘、自然语言处理、情感分析、和数据可视化的技巧了。快来看看过去的2年中你心中的CSDN情感评价是否是这样的？微博情感分析是一种用于提取微博文本中的情感倾向的方法。它可以帮助企业了解人们对于某个主题的看法和态度。如果要进行微博情感分析，需要准备一些微博数据。可以使用爬虫程序爬取相关微博数据，这里使用的 Scrapy 框架进行的数据爬虫。可以使用文本分类模型对微博数据进行情感分类。在这里准备了一些情感标签（例如“正面”、“负面”、“中立”），并为每条微博打上标签。此外，可以使用自然语言处理技术来提取微博中的关键词和主题，以便更好地了解人们关注的焦点。总的来说微博情感分析是一种有用的工具，可以帮助您更好地了解人们对于某个主题的看法和态度。接下来让我们看看如何实现的吧，以及这两年CSDN的外部综合评价是否和你想的一样。文章目录Scrapy 网络爬虫Scrapy 核心代码Scrapy 启动Python 数据分析构建情感分类信息基础数据清洗整理词云可视化年度用户发帖量对比用户发帖渠道对比用户发帖时间每月用户情感倾向PyEcharts 动态情感分析情感得分汇总对比Scrapy 网络爬虫这里使用的 Scrapy 框架是 2.6.x 框架，由于整个过程中没有被微博服务器反爬，因此就没有浪费代理池的资源，不过在框架代码中我按照习惯还是设置了。Scrapy 核心代码settings.py，这里主要配置了爬虫的客户端以及抓取微博数据需要设置的 Cookie 信息，在每次启动爬虫任务的时候需要自己手动更新 Cookie 进行替换。打码的地方自己完全复制过来就好了。BOT_NAME='spider'SPIDER_MODULES=['spiders']NEWSPIDER_MODULE=