跳过正文
  1. 博客/
  2. 后端/
  3. 框架/

大数据学习小总结

·1 分钟· ·
后端 框架 大数据
目录

最近在学习大数据,书看了不少,但是总是觉得很迷茫,不知道怎么学下去,今天
突然想写点什么来
总结一下这些天.

起因
#

逛博客的时候看到一篇分享如何修炼成大数据高手感觉很有趣

买了两本书
#

大数据时代

失控

这两本书都是很多年前写的,但是最近这几年随着"大数据"被大家越炒越热,随即被大家所看重.
#

这两个作者很牛,在30年前大数据还只是萌芽的时候就提出未来大数据的重要性和价值.
#

大数据是什么了,现在为什么这么火,以前没有大数据吗?
#

大数据的产生就像是科技带来的附带品一样,原来我们把信息存贮在图书馆里面,因为人类的活动产生的信息越来越多,图书馆也越来越大,但是由于管理和存贮的成本越来越多,我们被迫要缩减浓缩我们的信息,我们想出了很多很方法来对付这种情况,比如抽样,只要抽取一部分的代表信息存在图书馆里面然后记录主要特征和平均分量,我们就可以把信息降低几个数量级.
#

但是现在不同.
#

芯片做的越来越小,容量做的越来越大,我们有能力存贮所以的信息,一些先驱发现我们用另一种思维去对待信息.
#

用全体数据而不是随机样本
#

用混杂性而不是精确性
#

用相关关系而不是因果性
#

相关文章

Numpy的简析
·3 分钟
后端 框架 Python
numpy简单来说就是python的C版数组实现,因为python原生列表虽然好使,但是生成大量数据时开销很大,而numpy是基于C的,生成大量数组非常简单,而且操作他们速度非常快.
PIL (Pillow)
·3 分钟
后端 框架 Python
Pillow 是 PIL的对Python3支持的另外一个分支,当然他对Python2也兼容,由于PIL安装起来比较烦,而使用pip可以很轻松的安装Pillow,所以我选择Pillow使用,但是其核心还是PIL库的。
Python 线程(threading) 进程(multiprocessing)
·6 分钟
后端 框架 Python
# 最近学了两个python库,一个负责管理线程,一个负责管理进程,原来一直写的都 是些单线程的程序,虽然web也关于并发和多涉及到线程,但都是框架管理的,学习>过后发现了解线程和进程对python的web开发也有一定帮助。下面先谈谈这对python对线程和进程的支持再谈谈对这两个库的应用。
python学习
·1 分钟
后端 框架 Python
由于有其他编程语言基础,所以对于python的学习并不吃力,但是整体感觉python的确与前面学习c、c——— # 1. 实时编译VS静态编译 # 不需要输入任何前缀,直接将代码放在python解释器上面就能运行,虽然window下不支持直接点开文件就能使用,但是只要安装了python解释器就能很轻松的运行。
python的编码问题研究------使用scrapy体验
·5 分钟
后端 框架 Python
基于python2 scrapy是一款非常轻量级的爬虫框架,但是由于它隐藏了太多关于网络请求的细节,所以我们有时候会遭遇到一下很尴尬的bug,当然这主要是因为碰到一些不规范的网站。
关于python3和python2 import区别
·3 分钟
后端 框架 Python
最近从python2转到python3,发现还是有一些不同,一些库改名字很好解决,但是这个import机制不了解原理是不好理解的.