搜索博文结果_ChinaUnix博客

【大数据】 hadoop-3.0.0-beta1运维手册（010）：hdfs3.0.0动态添加节点（2）

wenaideyu | 2017-12-06 20:01:02 | 阅读(1300) | 评论(0)

写在前面的话Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（009）：hdfs3.0.0动态添加节点（1）

wenaideyu | 2017-12-06 20:00:28 | 阅读(1110) | 评论(0)

写在前面的话Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（008）：hdfs3.0.0基本操作-查看HDFS文件系统

wenaideyu | 2017-12-06 19:59:45 | 阅读(1550) | 评论(0)

写在前面的话Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】

【大数据】区块链技术学习笔记

russelltao | 2017-12-04 18:54:15 | 阅读(1490) | 评论(0)

1、区块链技术是一个解决了拜占庭将军（百度百科拜占庭将军问题）节点的分布式数据系统！这是它最大的不同，也导致了这个技术存在诸多限制。

为了方便理解，先插个话题。做服务器端开发的程序员，都对zookeeper不陌生，我们解决分布式ACP问题时，寻找一致性解决方案时都会想到它。zookeeper实际使用了paxos的简化版算法（本文不展开，请参考我之前写过的两篇文章：paxos分布式一致性算法–讲述诸葛亮的反穿越以及paxos算法如何容错的–讲述五虎将的实践）。想搞明白比特币(成于区块链技术)的算法，应先弄明白paxos算法（便于对比），目前商用的方案中，我们都假定服务器内网是不能被攻破的，所以，我们主要解决的是网络传输的不可靠，包括丢包、重发、延迟等问题，以及服务进程的bug导致的服务宕机、重启等。如果内网被攻破，黑客恶意的在某个节点（服务器）伪造网络包，向正常节点发送有问题的数据包，这种场景通常是不考虑的。显然这很合理，企业内网间如果还做大量的安全验证，性能消耗就太大了，基于成本使得商业目标几乎无法达成。【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（006）：hdfs3.0.0分布式构建-启动hdfs

wenaideyu | 2017-12-04 12:52:13 | 阅读(1050) | 评论(0)

写在前面的话Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（005）：hdfs3.0.0分布式构建-hdfs配置、无密码登录

wenaideyu | 2017-12-04 12:51:25 | 阅读(1400) | 评论(0)

写在前面的话Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（004）：安装分布式hdfs3.0.0-配置JDK、设置主机名

wenaideyu | 2017-11-30 21:15:51 | 阅读(1070) | 评论(0)

3.4 配置JDK1. 解压注意：我们所指的路径是/home/user解压的命令是：tar xf jdk-8u152-linux-x64.tar.gz解压后，ls，可以看到蓝色的目录：jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统

wenaideyu | 2017-11-28 10:31:49 | 阅读(3940) | 评论(0)

2.1 什么是Guest操作系统Guest指虚拟机，安装Guest操作系统，就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux，它有很多发行版，在这里我们选择Centos系列，它主要用作服务器操作系统，非常稳定，在生产环境中应用广泛。具体版本是Centos 7，64位，下载地址为：CentOS-7-x86_64-Every...【阅读全文】

【大数据】学习笔记DL008:概率论，随机变量，概率分布，边缘概率，条件概率，期望、方差、协方差

libinggen | 2017-11-25 13:42:52 | 阅读(1300) | 评论(0)

概率和信息论。概率论，表示不确定性声明数学框架。提供量化不确定性方法，提供导出新不确定性声明(statement)公理。人工智能领域，概率法则，AI系统推理，设计算法计算概率论导出表达式。概率和统计理论分析AI系统行为。概率论提出不确定声明，在不确定性存在情况下推理。信息论量化概率分布不确定性总量。Jaynes(2003)...【阅读全文】

【大数据】 ELK 集群 + Redis 集群 + Nginx 分布式实时日志搜集和分析的监控系统搭建

laoliulaoliu | 2017-11-24 09:12:54 | 阅读(1350) | 评论(0)

https://segmentfault.com/a/1190000010975383简述node1 --> ElasticSearch: 192.168.252.121:9200 node2 --> ElasticSearch: 192.168.252.122:9200 node3 --> ElasticSearch: 192.168.252.123:9200 node4 --> Logstash: 192.168.252.124 node4 --> nginx: 192.168.252.124 node5 --> Kibana: 192.168.252.125 ...【阅读全文】

【大数据】 HDFS以及HBase动态增加和删除节点

laoliulaoliu | 2017-11-23 21:41:04 | 阅读(660) | 评论(0)

一个知乎上的问题：Hbase的Region server和Hadoop的datanode是否可以部署在一台服务器上？如果是的话，二者是否是一对一的关系？部署在同一台服务器上，可以减少数据跨网络传输的流量。但不是一对一对的关系，首先，数据还hdfs中保存N份，默认是三分，也就是说数据会分布在三个datanode上，即使regionserver上只保存一...【阅读全文】

【大数据】学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA

libinggen | 2017-11-23 03:49:36 | 阅读(1310) | 评论(0)

Moore-Penrose伪逆(pseudoinverse)。非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩...【阅读全文】

【大数据】学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量

libinggen | 2017-11-21 07:43:04 | 阅读(4170) | 评论(0)

线性相关、生成子空间。逆矩阵A?-1?存在，Ax=b 每个向量b恰好存在一个解。方程组，向量b某些值，可能不存在解，或者存在无限多个解。x、y是方程组的解，z=αx+(1-α)，α取任意实数。A列向量看作从原点(origin，元素都是零的向量)出发的不同方向，确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi...【阅读全文】

【大数据】学习笔记DL004:标量、向量、矩阵、张量，矩阵、向量相乘，单位矩阵、逆矩阵

libinggen | 2017-11-20 07:25:00 | 阅读(1290) | 评论(0)

线性代数，面向连续数学，非离散数学。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。标量、向量、矩阵、张量。标量(scalar)。一个标量，一个单独的数。其他大部分对象是多个数的数组。斜体表示标量。小写变量名称。明确标量数类型。实数标量，令s??表示一条线斜率。自然数标量，令n??表...【阅读全文】

【大数据】范寶興：4階菊花數幻方及其穿越界面

manshukwan | 2017-11-19 12:44:09 | 阅读(1080) | 评论(0)

范寶興：4階菊花數幻方及其穿越界面※※※※※※來稿時間：2017年9月22日下午7:11分。貼博時間：2017年11月19日。※※※※※※※※※※※※作品原創：范寶興(上海)後期修飾：萬樹軍(香港)【阅读全文】

【大数据】学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度

libinggen | 2017-11-19 03:38:47 | 阅读(1740) | 评论(0)

神经科学，依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域，大脑听学习处理区域学会“看”(Von Melchner et al., 2000)。计算单元互相作用变智能。新认知机(Fukushima,1980)，哺乳动物视觉系统结构，处理图片强大模型架构，现代卷积网络基础(LeCun et al., 1998c)。神经网络基于整流线性单元(rectified linear ...【阅读全文】

【大数据】 Plumber分布式数据采集系统（四）PlumberAgent与PlumberManage使用方法

powerful_boy | 2017-11-09 12:02:09 | 阅读(1010) | 评论(0)

Plumber分布式数据采集系统（四）PlumberAgent与PlumberManage使用方法【阅读全文】

【大数据】 Plumber分布式数据采集系统（三）时间序列数据库

powerful_boy | 2017-11-09 11:30:49 | 阅读(680) | 评论(0)

Plumber分布式数据采集系统（三）时间序列数据库【阅读全文】

【大数据】 Plumber分布式数据采集系统（二）Manager API

powerful_boy | 2017-11-09 11:26:14 | 阅读(620) | 评论(0)

Plumber分布式数据采集系统（二）Manager API【阅读全文】

【大数据】 Plumber分布式数据采集系统（一）架构与监控心跳

powerful_boy | 2017-11-09 10:08:39 | 阅读(1730) | 评论(0)

Plumber分布式数据采集系统（一）架构与监控心跳【阅读全文】