管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
/ }( z1 {: Q/ ?7 ~7 Y) G( t- O/ Z( E, @8 s5 d
- ###更新仓库9 ?$ u, K, S c1 U; y% Z2 e' w
- * R" N& }8 x2 }( k
- apt-get update -y
+ R+ r6 O/ o* m" Z - apt-get install wget -y
) a9 @) t% R6 o' v# e- x! H& c - #下载nginx和相关软件包
复制代码
: {, Z; k: v3 y6 [) v1 Q8 P* X/ W
; `6 s. E9 v( T7 n6 ~8 r& q9 L# Zpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。$ L" x7 b3 m* U
' _. @( H, i& m% J F5 F" s
- cd /usr/local/src
, d( O2 T' ?$ I; P# D - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
+ H5 ^9 _7 z: ^# u; ]( S - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
/ E$ x" l1 W' m/ w' ]* n6 R - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
" I) p+ q) i, F+ `& c, ]: Y) _ - tar xf pcre-8.33.tar.gz
' j5 ~; c7 x7 G& f2 C9 z - tar xf zlib-1.2.8.tar.gz1 z. V" ?0 ^8 @
- #安装编译环境; a. ?& B7 m, K; a3 N; O! T
复制代码 # _* k2 s, ?& h, R5 z8 F. B
! N9 w V) w* g* i0 w2 u% r
apt-get install build-essential libtool -y
2 H8 k8 D0 ^ w* y* v- h, U. S#创建nginx用户
" V, x. u% B1 [
" a% g, g5 N. R- O* k所谓的unprivileged user
" L# }5 n( B2 s
; f$ Y9 T J$ ]' t- k) s1 v- useradd -s /bin/false -r -M -d /nonexistent www- u' L5 P. @; L
- #开始编译安装6 {5 c3 _( B3 S/ {0 C4 b# ~
" b6 y+ T0 O5 T5 q H3 f" u% d. R9 f- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
5 H0 n: [2 q! J8 o - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
- Q* D' L- Z- ~( ^# O - make$ b7 B3 c" R# f4 A3 e
- make install
6 l3 h" H3 \" d! ^' j - #给文件夹授权
复制代码 * _; `, t1 x- [3 ~1 X E
+ H/ o5 U/ [4 J3 d$ P3 h$ x2 |chown -R www:www /usr/local/nginx
/ L- Q" U4 F* P5 o% u) y5 k% E#修改配置文件
- j( C* r; Z4 f* a1 ]. }( Kvim nginx.conf3 [( i8 i; a% U
3 ]/ x7 B$ p2 K7 s0 }7 }9 Ruser www www;
8 \+ h" C# Z# |% H/ Bworker_processes 1;& M' H4 a# N4 L3 r; t& \
error_log logs/error.log;1 h, W1 D: g R C
pid logs/nginx.pid;/ A$ D) h8 L8 p* V
worker_rlimit_nofile 65535;' {0 t# T. q# q- \8 d' O
events {) k2 r$ H- ?' g, t3 W9 r
use epoll;& h( ?3 s! K5 z0 ]- m
worker_connections 65535;
6 F2 ^2 k- {' f0 l4 v% v9 r$ C; `; s}
3 V4 I( r( _. V9 uhttp {. o9 e- I t& ?( K; E
include mime.types;
$ w, O& S5 e4 Y/ c0 E- T5 q' r default_type application/octet-stream;: h, q6 X8 ?0 f. Y0 q. a6 \
include /usr/local/nginx/conf/reverse-proxy.conf;5 X5 f9 G' Q) U ]0 x* _9 O d, b
sendfile on;
: C: I: \0 R6 } keepalive_timeout 65;
# T3 S, W. D5 G2 j! G- O- N5 Q/ m gzip on;
1 \3 C- k$ l% e# o# x" g client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
- w9 }- i1 r0 W client_body_buffer_size 256k;
, _3 y% ~6 v" m; x client_header_timeout 3m;5 N2 X6 K+ N3 W3 I* h7 v9 e( Y
client_body_timeout 3m;
% @, O' c1 Z+ {& d( y send_timeout 3m;4 J6 p: }. H7 g% T4 Q8 d
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
T4 L: c8 h& X! V. N proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)& W6 C5 y/ s! a7 ] ]
proxy_send_timeout 300s;& l" ^! v: Z0 m' z9 [
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
; M1 q1 l- E" k proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置0 } B! ?% k4 t% P) S& f! }+ M5 O
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
' f8 o9 }! H1 _8 [ n2 | proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
3 b" a* {5 V8 z5 f9 r( [5 }6 k proxy_ignore_client_abort on; #不允许代理端主动关闭连接
6 f- Y5 Y9 l7 c) i) P& q6 K server {
. h) }$ T6 V; |0 U; a1 O listen 80;
, f, C+ w8 K: D server_name localhost;
5 l9 T+ ]; s/ R) z$ e2 V location / {5 _& I7 {1 ^: v, |* |. T# ]
root html;. y* s9 V( x3 S8 ^8 M$ T
index index.html index.htm;% M" @4 z# ^, C' e
}
0 L" U& N+ X _# m error_page 500 502 503 504 /50x.html;
* I4 W) S4 S$ H) b0 e location = /50x.html {. }) t( O- T/ m, r& V
root html;
6 W b1 @- p7 z1 S* h }+ ^" O& e1 [; q! D' K
}- g* ]! h1 Y- @, j9 c8 u( c; `- j
}
# C% x, t- l) P8 d# o$ `0 @; t
+ p2 V) [ `* e编辑反向代理服务器配置文件:: w% ]& Y& V% C: y! w, ~; G1 a
6 `8 M4 v7 Z, t! F) `& f7 Nvim /usr/local/nginx/conf/reverse-proxy.conf
. v1 n% p" P/ \2 _
7 q3 c5 A# `, S" V* I0 Xserver
/ m3 X6 c% Q7 v) n% K5 d% p{
1 L# i: `7 W/ q: y2 c5 Y listen 80;
( ?' b( s* l# _' [ server_name xxx123.tk;
5 n5 i4 b; G! ~7 b. Z: m location / {# z u7 A/ S c/ r5 x
proxy_redirect off;
; q3 M/ p9 y: i( V& w proxy_set_header Host $host;
; R, i/ z1 P) s. a( K) [9 y proxy_set_header X-Real-IP $remote_addr;8 @9 {2 E% A4 p% j/ ? k# z/ F
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
7 _$ x: d: n+ x2 x1 b6 n proxy_pass http://192.168.10.38:3000;' ]" e, D! ]; g. `* t' H& ^! Y( ]
}
\7 q6 V$ v" ^ access_log logs/xxx123.tk_access.log;! s2 N3 I% X/ l
}
3 j6 H" C5 d, a" i, J
& j" i. c! F2 K7 I' [% xserver
+ t' ?1 u9 _1 n3 h+ D% _( e( i2 W$ `{/ K- ^+ E: b" f v2 ?, e. [$ A
listen 80;1 Z( Q2 E' p3 W- z' t& F) U# ^
server_name xxx456.tk;; S7 ?+ _2 P0 N" x$ m+ _
location / {
4 V1 h4 K* `7 N1 ? proxy_redirect off;
& r5 F& C3 f) [3 F proxy_set_header Host $host;4 d7 Z; U- `4 c Q
proxy_set_header X-Real-IP $remote_addr;
1 s+ O! o0 Y8 r) V0 h9 x9 ]6 I, A proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
& m4 g& j. ?9 \; B* z: }* e" x* Y proxy_pass http://192.168.10.40:80;. R- w9 b, }# d
}
* m: T/ r4 [( F9 W6 X! i l: U/ A access_log logs/xxx456.tk_access.log;; A2 r7 p6 t0 I, ~
}
" g0 }' E0 M) i0 V a% }! c) U4 w8 Z# B; E, d
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。( ?" I1 x' N( [; k, j; C, K( }7 Q
& W# g! V f; |5 S. d; ^ c# mupstream monitor_server {
6 P2 U% P8 J2 E, d8 E1 }3 } server 192.168.0.131:80;- p& b; c6 {5 R. I
server 192.168.0.132:80;, k, O1 ~( h" D+ o
}
. u: l6 `. x& C & H7 w* ~2 M" }( z4 G" W! q% @0 u
server
! `7 g7 j T8 N* g' V. O h{4 H/ {! e$ K6 }% C
listen 80;8 M7 i7 T& s2 ^9 f y* G& Z8 Z
server_name nagios.xxx123.tk;0 b* X5 N4 |4 _$ k# a
location / {! K: g# a% G4 |# O' ^
proxy_redirect off;
( j: p7 U+ |( `9 } proxy_set_header Host $host;
W/ A4 P5 z' [8 X+ u1 Q proxy_set_header X-Real-IP $remote_addr;
! U. B- T5 [7 h5 v proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
7 }" U: y$ C6 Q) `! Z proxy_pass http://monitor_server;
3 O3 m! |# X: g8 z" U6 u( ? }4 ?2 _+ k# [. l* n
access_log logs/nagios.xxx123.tk_access.log;+ B: p4 Z. A# x7 Q& b! h3 k
}
$ P$ U3 [: A& i4 Q
! {9 Z& V7 z% @7 X& H额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
& l1 r& ~3 Z7 ~4 d- d% J$ p: q( X6 H4 H5 }! P
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
1 \4 `7 X4 h" f! E7 k, ?'$status $body_bytes_sent "$http_referer" ') K) F z9 s' P0 G, e
'"$http_user_agent" $HTTP_X_Forwarded_For';
, c' e1 e, k" } f2 n
3 I6 ]5 c2 n- ?* {9 |) d7 t4 aaccess_log logs/access.log access;( @7 C: g; ^ P5 e, d
. a, P' m% t/ T9 ?. j& v
再看看原来日志的格式长什么样:
% e9 ?7 N9 g O, l t# Y
" g0 h6 ]9 A1 a {: U1
, o: p' d$ u' l9 [. Z Y$ L. E2
% t( E1 `. i, W! l' H3: q7 g1 M3 w; X7 q p
44 v$ P+ a% i1 G0 J& S
5& D$ O/ l$ ^2 `0 R" E& f
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
' i/ t5 \4 P1 }* _- z# '$status $body_bytes_sent "$http_referer" '
3 }) K7 O9 r, H0 z# '"$http_user_agent" "$http_x_forwarded_for"';4 u" z3 ~% }* f B7 I
0 K" p. ^' v& f
#access_log logs/access.log main;2 ?4 C0 R9 o8 x" }
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查0 R& \ B, q5 i) s
$ e, N5 Q1 u+ _; |, R" g* b. Y
1
9 D" u0 G6 L/ U; A2# r1 h; f0 r2 G. z* Z2 G0 x
36 U& v, J9 F- E% @& U( o* m
4
9 _! t, C1 T/ K- |$ P! d: d56 {4 _9 X) T6 l, ]# M. V
68 g i" T# `" Q
7. ~5 W; x- V u4 {4 c* F
8
' V3 g. B8 ]5 ~/ H) @8 Sproxy_connect_timeout 300s;
9 Z+ X0 A/ K) ?! T( Sproxy_read_timeout 300s;4 G. t3 B- D, l9 e" N: Y# B$ m
proxy_send_timeout 300s;$ E0 {# H9 l2 T8 W1 Q5 x
proxy_buffer_size 64k;7 i, f3 M7 M+ x; l, f5 X
proxy_buffers 4 32k;
% d6 u# F- |% Y; u9 y* @ P* R+ yproxy_busy_buffers_size 64k;1 j# U6 N7 M2 j' c
proxy_temp_file_write_size 64k;
3 i" ~4 C- Z+ U1 ~4 @2 ~proxy_ignore_client_abort on;, h# G/ `2 D% e8 L
报错日志:
2 [/ e8 d6 Y. _6 E* f3 q: M0 d% \: D% x4 C; @/ f
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
# R& F i# m/ Z. i
" I1 Q# P; P, q! b/ I9 `* RPS:关于域名转发
# T f f! W* P& @7 G! ]
' x4 l: M7 Q9 ?所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。, V' z4 [4 \0 R8 t: h7 k/ m
|
|