在ETL的使用过程中,数据的增量抽取比数据的全量抽取应用更广泛。要实现增量抽取,就要准确地捕获到数据库中数据源表数据的变化,因此捕获变化的数据是增量抽取的关键。数据的增量抽取有4种方式,具体如下。 查看全文>>
Python+大数据技术文章2021-06-04 |传智教育 |ETL数据抽取的四种方式
作为数据仓库和ETL的开发者,如果只想把时间用在创建BI解决方案上,那么任何用于软件安装和配置的时间都是一-种浪费。例如,为了创建数据库连接,很多与Kettle类似的工具都要求用户手工输入数据库驱动的类名和JDBCURL连接串,虽然用户可以通过互联网搜索到这些信息,但这明显把用户的注意力转移到了技术方面,并非业务方面,而Kettle就是尽量避免这类问题出现。 查看全文>>
Python+大数据技术文章2021-06-04 |传智教育 |Kettle的设计原则
Redis是键值对的数据库,有5种主要数据类型字符串类型(string),散列类型(hash),列表类型(list),集合类型(set),有序集合类型(zset),下面就来具体介绍下这5种数据类型。 查看全文>>
Python+大数据技术文章2021-06-04 |传智教育 |Redis的基本数据类型
ETL是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,它能够对各种分布的、异构的源数据(如关系数据)进行抽取,按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗,得到符合要求的“干净”数据,并加载到数据仓库中进行存储,这些“干净”数据就成为了数据分析、数据挖掘的基石。 查看全文>>
Python+大数据技术文章2021-06-04 |传智教育 |ETL什么意思
Session采用的是在服务器端保持状态的方案,而Cookie采用的是在客户端保持状态的方案。但是禁用Cookie就不能得到Session。因为Session是用SessionID来确定当前对话所对应的服务器 Session,而SessionID是通过Cookie来传递的,禁用Cookie相当于失去了Session ID,也就得不到Session。 查看全文>>
Python+大数据技术文章2021-06-04 |传智教育 |禁用cookie后session不能用
App中的推送有两种方式,第一种是自己研发的,但由于研发成本高,所以大多数都采用第二种方式,也就是使用第三方工具进行推送,比如极光推送、个推、百度云推送、华为推送等。 查看全文>>
Python+大数据技术文章2021-05-28 |传智教育 |移动端推送消息,App推送,Django给客户端推送消息
ORC和Parquet都是高性能的存储方式,这两种存储格式总会带来存储和性能上的提升。Parquet支持嵌套的数据模型,类似于Protocol Buffers,每一个数据模型的schema包含多个字段,每一个字段有三个属性: 查看全文>>
Python+大数据技术文章2021-05-27 | |ORC和Parquet
接下来以关键字def为例,来进行python函数定义的演示。定义一个显示4月8日天气状况的无参函数,具体代码如下: 查看全文>>
Python+大数据技术文章2021-05-27 |传智教育 |定义函数,函数的调用格式