研究目的：

基于Apache技术下Spark平台，运用scala语言分析学生的数据分布，了解新生的基本信息的分布，分析得出其中的关联性、趋向性；分析得出各级学生课程和成绩之间的联系性与趋向。并用python和echarts结合的技术可视化展现出来。

1.高校学生基本信息的分布相关研究。

2.高校学生学情的相关性研究。

目前，各大高校都对新生的数据进行获取和分析研究，都推出了新生大数据，但大多数都是以文字+图表的形式展现出来，而且对于各个课程的学情分析和各个年级的课程，分析对比都是以传统的图表和文字方式进行展现。同时，也有高校将此研究与大数据相结合，推出大数据下的学情分析和新生大数据的分析。

未来更多分析将会以大数据的形式更准确，更实时展现出来我们可以通过大数据技术和可视化技术更清晰，更及时的了解到我们所研究的内容。

创新点：摒弃了传统的图表方式，以目前的新兴技术大数据技术和可视化技术对已有的数据进行分析和研究。运用了Apache下Spark平台，通过大数据独有的算法和技术特点，dateframe和rdd算子可以更准确、更迅速地分析出数据之间的相关性。可视化技术运用Python和echarts相结合对数据进行效果展现。

项目特色：可视化界面可以清晰、迅速、实时展现各个年级之间的学情对比、相同年级之间的对比、新生的数据异同与分布情况。可以通过此技术研究出教学情况、课程情况以及新生的分布情况。

技术路线：数据初步分析、可视化界面初步编排构思、spark平台下进行数据清洗、运用算子数据分析、分析结果数据、echarts技术数据导入、编写可视化界面。

拟解决的问题：数据的降噪分箱处理、scala语言数据完整分析、python与echarts相结合形成可视化界面并轮播。

预期成果：可以通过可视化界面了解到新生大数据和学情分析等数据研究情况。

2021年12月-2022年1月：阅读相关资料，对数据初步分析，对已有数据的各项分布有深入了解，并尝试提出研究的重点。

2022年2月-2022年3月：对数据进行降噪清洗，运用spark平台对数据分析，结合理论研究，进行全面分析，运用可视化技术对数据进行编排展现。编写各项报告完成中期检查。

2022年4月-2022年5月：申请1-2个软件著作权，编写结题报告完成结题等各项工作。

2022年5月-2022年6月：整理数据资料，编写结题报告。