管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
* V0 G- R/ Y8 X) M j. f2 M& A8 {# }$ d
- ###更新仓库
! ^3 m& Y1 V1 a2 m. k8 |: x - $ B" M4 T, `# ^$ E
- apt-get update -y
! f* T5 M, c) X, i0 O+ z/ X+ ? - apt-get install wget -y
4 X/ a8 I% g! u3 P3 ]4 T0 g9 F - #下载nginx和相关软件包
复制代码
+ {7 d1 ?6 S& B5 @: K
' W) e r" z5 p7 q* m: L. A( M# j. wpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。3 L- U7 V- b! G4 B0 K4 C) T
, {/ n: P& `8 w$ K# H- E- cd /usr/local/src) \3 J' y j3 h4 O
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
5 d2 P: @, F2 @ - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>/ \7 T1 E6 x0 w/ D+ r7 R# q# W: Y
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
0 l8 N$ H! Z9 K e - tar xf pcre-8.33.tar.gz
+ z; a) C5 |/ g8 Y - tar xf zlib-1.2.8.tar.gz. k0 w! d1 W+ k- p% g# ]8 m
- #安装编译环境
( i: v; P7 V/ p3 e/ \& z
复制代码 9 s; N: n2 l H1 y9 O' ^
( v f; \- c0 l: T) F2 |% { v
apt-get install build-essential libtool -y
) W0 U7 ~ {- y6 }6 U#创建nginx用户8 ?" T8 H8 ]* g
, F" ^# j. p( F. y% m) P所谓的unprivileged user
0 U" \3 @4 P3 Y4 g$ l
1 g+ _8 O6 [7 |& K- useradd -s /bin/false -r -M -d /nonexistent www5 O0 [3 x8 D% n) k' |- d( v
- #开始编译安装
- J% ]! i5 R3 p# v5 Z9 S - 7 B- t5 ~: G2 B! ?* J
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
% p) h% y% j- K+ n3 W - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
& w, L, E( X8 O% D/ Z - make9 L8 x4 [7 A, n6 k
- make install
u X* c6 b8 W1 Z8 _% c - #给文件夹授权
复制代码 8 b5 a; i2 X% C1 f
% o! G8 D4 V' o8 |. k. C/ Q
chown -R www:www /usr/local/nginx
" h5 z% [+ T( e#修改配置文件
: u E. t! Y4 n2 }5 B: ~* Nvim nginx.conf% a* a, j6 l7 A, _, f% T8 }3 [6 [% G
; ?1 i5 D$ I# u
user www www;. J' I* A: f- `, Y
worker_processes 1;) l5 Q( |4 Q+ a( @
error_log logs/error.log;
- O/ w0 e- P) N2 _pid logs/nginx.pid;6 E6 _6 s. a' }, D# n
worker_rlimit_nofile 65535;
: z% u" O# d5 t/ f3 pevents {& O( i, X$ n/ P5 G& c: C
use epoll;( v7 ^- w V% h
worker_connections 65535;6 N) I7 ~4 f% a6 r0 W% o2 v! d
}
% {! c. A. M" Phttp {. r# @# K) y7 `
include mime.types;
! y/ N ?2 p5 D8 V% T2 E0 I Y6 y default_type application/octet-stream;
# a% N& k4 p1 R$ {. e include /usr/local/nginx/conf/reverse-proxy.conf;
' H* P" g; |' F+ l, ?% N% P sendfile on;- A; }) F. ?& p# M1 n
keepalive_timeout 65;6 X, P# s) D( O0 U
gzip on;
5 d; ] H- q8 z6 b* c x5 j. f, ~ client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户' C' o1 ?6 z$ @ r b5 O! X
client_body_buffer_size 256k;5 v6 V/ S3 t" Y3 i. j6 ?/ t/ a
client_header_timeout 3m;
s Z% m% p- _8 [8 Q6 Q& ] client_body_timeout 3m;$ {, J1 E% `$ }. R4 I8 u
send_timeout 3m;+ m. }1 M2 q' ^4 y& P# n/ t a c( y
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)! A( W) ]$ O6 G% e$ S8 j, u
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
+ G1 b$ T% R/ Y4 L- B proxy_send_timeout 300s;' j' y# Y2 I( l: B2 N* ~( b ]
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
6 W7 Z/ n% k1 q! x8 {4 @ proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置+ z7 k$ Z; C( D M! K+ |4 e3 N
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)/ m2 j3 G: A& o# Y' n
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘- d3 y: z# s1 I2 j# j) `' J
proxy_ignore_client_abort on; #不允许代理端主动关闭连接
! `6 ~9 w8 s& B6 k' G- u* s server {
/ Q) @" o) h: O2 v3 _- j listen 80;
2 S# ?0 j8 f. V2 P0 e server_name localhost;
% t, v- o, E! c. D1 [ location / {
& V% ^, M6 X+ w% ] root html;
2 N) I8 a" y! x% x* q1 } index index.html index.htm;
" t9 `: c3 q' a }, W. w' V2 `: d0 K* D
error_page 500 502 503 504 /50x.html;
+ F' P5 `8 N" W! z9 ~5 N location = /50x.html {
! k9 P4 n" j9 R) ~ root html;
Q2 n8 s* ~: v8 U }
$ l$ E O- z% H+ A+ ] }
* b& u/ F( G, ]8 `9 ~}
+ n/ R- E& h8 ^ m2 w$ o) a& g1 f. y! v1 ~2 L5 R' T" X/ l
编辑反向代理服务器配置文件:3 n/ Y* J& w! G9 P- s
( Z" y! j. b( f& m2 o' [
vim /usr/local/nginx/conf/reverse-proxy.conf
2 ~6 T& [; N, j3 z0 m7 u$ J6 m2 D. }2 f9 w; h
server
* Y( \% C0 W# y{
6 \; x$ X5 d* T9 B: [& k- r3 Y listen 80;+ ^. v5 ?/ _' j) c
server_name xxx123.tk;2 M5 e3 x( |* w! O7 o3 y# u- e
location / {# K7 e; ^3 `( U' i# O7 i; o
proxy_redirect off;3 v) c# n, L, l4 O$ E
proxy_set_header Host $host;4 s# G4 t9 l% z% s. l8 m) k9 ?. p
proxy_set_header X-Real-IP $remote_addr;8 g! ~; E+ w2 I3 o( j' H9 o
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;( W* d3 G1 e! q$ o- I, _
proxy_pass http://192.168.10.38:3000;' E1 o/ {$ ?* p% v8 o. U: d0 a
}# U, V& q* ]9 T$ c1 `1 C2 v
access_log logs/xxx123.tk_access.log;+ x: c$ m/ T, n% x' R: w9 l" {6 {; C
}6 x$ A0 S; `) K3 B* E: S
& y7 c @5 T8 H' X/ ]& u
server
; F5 m! W$ T* X; D/ q{
: @8 q3 X; Y, |: h" z- u+ Z listen 80;
( i* W* J' C+ q server_name xxx456.tk;# ~- x v2 v" \7 u
location / {+ U" ]& H* O1 i& r+ k& d: k) g1 b
proxy_redirect off;: D% O8 Q8 U; W5 z# A3 D8 n
proxy_set_header Host $host;0 G5 I5 `; R* W
proxy_set_header X-Real-IP $remote_addr;3 I/ e# @/ p$ p
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
9 b5 |) Z( k t9 o. K& Q3 n& E& J proxy_pass http://192.168.10.40:80;
2 n6 R2 m4 O8 N, E& r+ _- e' | }" r7 N, w! g( w
access_log logs/xxx456.tk_access.log;* E; e! q8 z+ _( U z' p
}. M+ y! ?; x C1 h) G& U- l9 K
; S6 @: H; p5 m' m然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
7 Z# ~1 H0 ^% a- t" U3 D9 G3 h- w, u3 U9 |0 H8 a
upstream monitor_server {
' v3 R9 l3 H2 P+ A. ?: A7 ? server 192.168.0.131:80;8 A& T0 t, F; |( y( P+ E
server 192.168.0.132:80;
7 F" a& J) j6 ~3 l2 u: L5 R}; J# B3 D/ |. a
2 J0 t0 F4 Y4 T; hserver
: O& J" x$ J+ L- {% b; s{
2 A: Y/ Q+ W' T1 y- F listen 80;; Q& ]4 s& N2 S+ P! ^/ e* P* K
server_name nagios.xxx123.tk;8 d0 [+ v1 k+ ], w
location / {* x( f) m; \/ Q
proxy_redirect off;
9 V2 E- O6 S# }5 m: D proxy_set_header Host $host;8 `& F) a, P! A8 ^8 I
proxy_set_header X-Real-IP $remote_addr;+ }* f3 J8 X) S& C, `0 G
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
; h# V4 G, a8 s8 R proxy_pass http://monitor_server;( e- H( C& ]) o# @+ Y* }
}1 q* C# ^: r' v
access_log logs/nagios.xxx123.tk_access.log;& F4 W8 O, t' y. Q* `7 s0 V. \
}% Z n: D* d4 p0 |
1 W2 j: s8 C( T" s) z- |7 ^
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:: R. h+ `& x2 N6 A. ^# _. x- J
2 I9 E; R5 N, D: d- j. B( Tlog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
2 C) o# X$ n# S% ?'$status $body_bytes_sent "$http_referer" '
$ o1 x C) Y5 \9 m'"$http_user_agent" $HTTP_X_Forwarded_For';" T8 N& T' z0 \, t! J
8 _# D+ z# I9 W5 a
access_log logs/access.log access;: X* c8 I: T* \/ L$ N
, d% ]! b4 j4 k: v9 _再看看原来日志的格式长什么样:
. o8 T- Y. c& H% A# G5 x6 V8 a3 l0 `7 Z: k
1' [4 @8 ~9 l1 _
24 h& k: _, H- [- z
3
) A6 F8 g2 Y" o4, Y% i0 z" q5 H; P9 ]
5
! x, p* u9 g! ?2 j9 F#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
8 r1 V* t, x) }0 b2 @9 {) B/ I% Q# '$status $body_bytes_sent "$http_referer" '
9 ?* _# p3 y7 e- u$ z4 ^& N6 o A# '"$http_user_agent" "$http_x_forwarded_for"';7 B8 R5 L: {5 U' y, g7 W
3 R: V' _% g8 P6 U) o
#access_log logs/access.log main;
" P* D& [ S- K2 U$ P看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查7 X1 S& R) ~" h+ I6 O3 X6 H
7 S4 ^# [9 E1 ^5 i Z
14 ]4 W+ W8 R; d# m% m/ f; Z, D
2
c; x3 D8 Q" i3 z3$ F6 ?5 T; D! r- N
4- ~2 H6 R" {! J
5/ h2 v% h j4 N" `8 J$ R* ^6 R5 F
6
8 { N+ x: {# e5 n1 T( b7
* S# ]' j+ z" R- N8% y' x! u8 V, k3 Y
proxy_connect_timeout 300s;8 X! @; K6 {5 }2 C7 a7 r; `! J
proxy_read_timeout 300s;
: P* w1 B' i# b* P. Mproxy_send_timeout 300s;5 n, _6 h5 v5 a
proxy_buffer_size 64k;- Y. i/ W' Q U9 @
proxy_buffers 4 32k;
4 `/ K+ b; l) {( e5 e+ ~, ?proxy_busy_buffers_size 64k;
: E7 Q# D$ R, c2 f+ a; Q" eproxy_temp_file_write_size 64k;6 r8 j( Z3 {! _1 W( r1 `" V
proxy_ignore_client_abort on;
& E4 _% u' f* s1 H报错日志:7 K# P1 k% K' E( a
: p+ U( Z; g5 l
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。+ m- m% ?" Y+ _
& p- l! `/ b# a9 [; a4 B
PS:关于域名转发
; U0 J: l7 f+ a, M3 r# B7 E( }2 E X
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
0 n, G) K7 T5 S |
|