什么是数据库
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
大数据分析和数据分析师的含义
什么是大数据分析
随着大数据(BIG
DATA)时代的来临,数据仓库、数据安全、数据分析、数据挖掘等围绕大数据的商业价值利用,逐渐成为企业和资本争相追捧的焦点。商业大数据分析,是指通过技术和数据分析工具对规模巨大的商业数据进行多维度分析,洞悉用户属性特征和行为习惯,挖掘用户个性化需求,预测业务状况,改进决策流程,并通过自动化流程实现用户交互。
咨询详情
数据分析师含义
数据分析师是指专门从事数据搜集、整理、 分析,并依据数据做出行业研究、评估和预测的专业人员。阿里巴巴研究员薛贵荣曾表示,“数据分析师就是一群玩数据的人,玩出数据的商业价值,让数据变成生产力。
咨询详情
课程大纲
前导基础
数据分析入门
1、数据分析入门
2、数据分析的意义
3、数据分析的流程控制
4、数据分析的思路与方法
逻辑为先—XMIND
1、xmind简介与基本使用
2、学习方法课堂案例
3、滴答拼车实战演练
4、其他思维导图介绍
专业展现—PPT
1、专业展现——PPT
2、基本简介
3、几个不得不说的真相
4、经验分享
5、实战动画
数据分析工具安装与环璄配置
1、Excel工具的安装、配置与环璄测试
2、Power BI工具的安装、配置与环璄测试
3、Tableau工具的安装、配置与环璄测试
4、MySQL数据库的安装、配置与环璄测试
5、SPSS数据挖掘工具安装、配置与环璄测试
6、SAS数据挖掘工具安装、配置与环璄测试
7、Python开发工具的安装、配置与开发环璄测试
Linux基础应用之大数据必知必会
1、虚拟机的安装配置
2、虚拟机网络配置
3、安装Linux
4、利用SSH连结Linux
5、Linux基础命令
6、Linux系统管理
数据分析的Python语言基础
1、python课程的目的
2、使用JupyterLab
3、python数据类型
4、元组、列表、字典
5、python分支结构
6、python字符串处理+随机函数
7、pthon循环结构
8、python面向过程函数操作
9、python面向对象
问题定义与数据获取
数据分析项目流程
1、问题界定
2、问题拆分
3、指标确定
4、数据收集
5、报告方案
6、趋势预测
7、数据分析
8、趋势预测
9、报告方案
问题的定义
1、边界:明确问题的边界
2、逻辑:确定业务的关键指标和逻辑
3、定性分析与定量分析
分析问题的模型
1、5W2H
2、SWORT
3、4P管理模型
4、CATWOE
5、STAR原则、波士顿5力模型
数据清洗与处理
1、数据科学过程 2、数据清洗定义
3、数据清洗任务 4、数据清洗流程
5、数据清洗环境 6、数据清洗实例说明
7、数据标准化 8、数据格式与编码
9、数据清洗常用工具 10、数据清洗基本技术方法
11、数据抽取 12、数据转换与加载
内部数据的获取
1、产品数据 2、用户数据
3、行为数据 4、订单数据
外部公开数据
1、开放网站 2、政务公开数据
3、数据科学竞赛 4、数据交易平台
5、行业报告 6、指数平台
基于业务的模型
1、用户画像
2、 销售影响因素
3、市场变化因素
4、AARRR流量模型
5、金定塔思考方法
Web网站数据抓取
1、财经数据抓取 2、投资数据抓取
3、房产数据抓取 4、舆情数据抓取
5、娱乐数据抓取 6、新媒体数据抓取
数据查询与提取 SQL基础操作
1、建库 2、建表
3、建约束 4、创建索引
5、添加、删除、修改数据 。。。。。。。
mysql binlog日志删除,解决mysql占用容量过大的问题
mysql的binlog日志介绍
Binlog是mysql以二进制形式打印的日志,它默认不**,不压缩。binlog二进制日志包含了所有更新了数据或者已经潜在更新了数据(例如,没有匹配任何行的一个DELETE)的所有语句。语句以“事件”的形式保存,它描述数据更改文件位置和格式:当用--log-bin[=file_name]选项启动时,mysqld写入包含所有更新数据的SQL命令的日志文件。如果未给出file_name值, 默认名为-bin后面所跟的主机名。如果给
出了文件名,但没有包含路径,则文件被写入数据目录。
删除mysql的binlog日志有两种方法:自动删除和手动删除
1.自动删除(推荐)
永久生效:修改mysql的配置文件my.cnf,添加binlog过期时间的配置项:expire_logs_days=30,然后重启mysql,这个有个致命的缺点就是需要重启mysql。
临时生效:进入mysql,用以下命令设置全局的参数:set global expire_logs_days=30;
(上面的数字30是保留30天的意思。)
2.手动删除
可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全,因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新。mysql-bin.index的作用是加快查找binlog文件的速度。
(1)直接删除
找到binlog所在目录,用rm binglog名 直接删除
例:rm mysql-bin.010
(2)通过mysql提供的工具来删除
删除之前可以先看一下purge的用法:help purge;
删除举例:
RESET MASTER;//删除所有binlog日志,新日志编号从头开始
PURGE MASTER LOGS TO 'mysql-bin.010';//删除mysql-bin.010之前所有日志
PURGE MASTER LOGS BEFORE '2003-04-02 22:46:26';// 删除2003-04-02 22:46:26之前产生的所有日志
更多培训课程,学习资讯,课程优惠等学校信息,请进入合肥博为峰教育网站详细了解,免费咨询电话:400-998-6158