月份:2016年10月

Eclipse连接Hadoop分析的三种方式

Hadoop一般都部署在linux平台上,想让Hadoop执行我们写好的程序,首先需要在本地写好程序打包,然后上传到liunx,最后通过指定命令执行打包好的程序;一次两次还可以,如果进行频繁的调试是很不方便的,所有最好是能直接通过IDE直接连接Hadoop;下面总结了三种方式连接Hadoop执行分析: 软件版本 操作系统:win7 64位 Eclipse:Indigo Service Release 2 Java:1.7 Hadoop:2.5.1 Linux:Centos7 一、利用Hadoop的本地模式,在Eclipse中执行本地数据计算 写好的程序在本地测试完之前再提交到远程服务器上进行数…

阅读全文 »

WebHDFS使用

WebHDFS提供HDFS的RESTful接口,可通过此接口进行HDFS文件操作。 配置 需要在hdfs-site.xml打开WebHDFS开关,此开关默认打开。 使用 连接NameNode的50070端口进行文件操作。 比如:查看知道目录文件列表 结果: 更多查看官方文档:https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

阅读全文 »

Nginx+Tomcat负载均衡

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。 其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页伺服器中表现较好。 准备 nginx:nginx/Windows-1.10.1 http://nginx.org/en/download.html tomcat:apache-tomcat-6.0.45 准备2个tomcat服务器分别命名为: 同时修改server.xml文件中的端口号,有三个端口号需要修改,防止端口冲突: 修改tomcat默认首页:webapps/ROOT/inde…

阅读全文 »

正向代理和反向代理

经常看到代理和反向代理,但是一直没弄明白2者具体有什么区别,看下面2张图来区别一下: 正向代理(或者叫代理):一般指客户这一端,替客户收发请求,使真实客户端对服务器不可见。 反向代理:在服务器机房这一端,替服务器收发请求,也就是说请求和响应都先经过反向代理,使真实服务器对客户端不可见。具有缓存、安全、负载均衡等作用。

阅读全文 »