elasticsearch 安装index可以改名字吗

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员,您的IP地址所在网段被ITeye拒绝服务,这可能是以下两种情况导致:
一、您所在的网段内有网络爬虫大量抓取ITeye网页,为保证其他人流畅的访问ITeye,该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站,该代理服务器被网络爬虫利用,大量抓取ITeye网页
请您点击按钮解除封锁&服务不可用。Share on Twitter
Share on Google
Share on Facebook
Share on Weibo
Share on Instapaper
Logstash &#x65E9;&#x671F;&#x6709;&#x4E09;&#x4E2A;&#x4E0D;&#x540C;&#x7684; elasticsearch &#x63D2;&#x4EF6;&#x3002;&#x.0 &#x7248;&#x672C;&#x7684;&#x65F6;&#x5019;&#xFF0C;&#x5F00;&#x53D1;&#x8005;&#x5F7B;&#x5E95;&#x91CD;&#x5199;&#x4E86; LogStash::Outputs::Elasticsearch &#x63D2;&#x4EF6;&#x3002;&#x4ECE;&#x6B64;&#xFF0C;&#x6211;&#x4EEC;&#x53EA;&#x9700;&#x8981;&#x7528;&#x8FD9;&#x4E00;&#x4E2A;&#x63D2;&#x4EF6;&#xFF0C;&#x5C31;&#x80FD;&#x4EFB;&#x610F;&#x5207;&#x6362;&#x4F7F;&#x7528; Elasticsearch &#x96C6;&#x7FA4;&#x652F;&#x6301;&#x7684;&#x5404;&#x79CD;&#x4E0D;&#x540C;&#x534F;&#x8BAE;&#x4E86;&#x3002;
&#x914D;&#x7F6E;&#x793A;&#x4F8B;
elasticsearch {
host =& &192.168.0.2&
protocol =& &http&
index =& &logstash-%{type}-%{+YYYY.MM.dd}&
index_type =& &%{type}&
workers =& 5
template_overwrite =& true
&#x89E3;&#x91CA;
&#x534F;&#x8BAE;
&#x73B0;&#x5728;&#xFF0C;&#x65B0;&#x63D2;&#x4EF6;&#x652F;&#x6301;&#x4E09;&#x79CD;&#x534F;&#x8BAE;&#xFF1A; node&#xFF0C;http &#x548C; transport&#x3002;
&#x4E00;&#x4E2A;&#x5C0F;&#x96C6;&#x7FA4;&#x91CC;&#xFF0C;&#x4F7F;&#x7528; node &#x534F;&#x8BAE;&#x6700;&#x65B9;&#x4FBF;&#x4E86;&#x3002;Logstash &#x4EE5; elasticsearch &#x7684; client &#x8282;&#x70B9;&#x8EAB;&#x4EFD;(&#x5373;&#x4E0D;&#x5B58;&#x6570;&#x636E;&#x4E0D;&#x53C2;&#x52A0;&#x9009;&#x4E3E;)&#x8FD0;&#x884C;&#x3002;&#x5982;&#x679C;&#x4F60;&#x8FD0;&#x884C;&#x4E0B;&#x9762;&#x8FD9;&#x884C;&#x547D;&#x4EE4;&#xFF0C;&#x4F60;&#x5C31;&#x53EF;&#x4EE5;&#x770B;&#x5230;&#x81EA;&#x5DF1;&#x7684; logstash &#x8FDB;&#x7A0B;&#x540D;&#xFF0C;&#x5BF9;&#x5E94;&#x7684; node.role &#x503C;&#x662F; c&#xFF1A;
# curl 127.0.0.1:9200/_cat/nodes?v
heap.percent ram.percent load node.role master name
local 192.168.0.102
logstash-local-
local 192.168.0.2
&#x7279;&#x522B;&#x7684;&#xFF0C;&#x4F5C;&#x4E3A;&#x4E00;&#x4E2A;&#x5FEB;&#x901F;&#x8FD0;&#x884C;&#x793A;&#x4F8B;&#x7684;&#x9700;&#x8981;&#xFF0C;&#x4F60;&#x8FD8;&#x53EF;&#x4EE5;&#x5728; logstash &#x8FDB;&#x7A0B;&#x5185;&#x90E8;&#x8FD0;&#x884C;&#x4E00;&#x4E2A;&#x5185;&#x5D4C;&#x7684; elasticsearch &#x670D;&#x52A1;&#x5668;&#x3002;&#x5185;&#x5D4C;&#x670D;&#x52A1;&#x5668;&#x9ED8;&#x8BA4;&#x4F1A;&#x5728; $PWD/data &#x76EE;&#x5F55;&#x91CC;&#x5B58;&#x50A8;&#x7D22;&#x5F15;&#x3002;&#x5982;&#x679C;&#x4F60;&#x60F3;&#x53D8;&#x66F4;&#x8FD9;&#x4E9B;&#x914D;&#x7F6E;&#xFF0C;&#x5728; $PWD/elasticsearch.yml &#x6587;&#x4EF6;&#x91CC;&#x5199;&#x81EA;&#x5B9A;&#x4E49;&#x914D;&#x7F6E;&#x5373;&#x53EF;&#xFF0C;logstash &#x4F1A;&#x5C1D;&#x8BD5;&#x81EA;&#x52A8;&#x52A0;&#x8F7D;&#x8FD9;&#x4E2A;&#x6587;&#x4EF6;&#x3002;
&#x5BF9;&#x4E8E;&#x62E5;&#x6709;&#x5F88;&#x591A;&#x7D22;&#x5F15;&#x7684;&#x5927;&#x96C6;&#x7FA4;&#xFF0C;&#x4F60;&#x53EF;&#x4EE5;&#x7528; transport &#x534F;&#x8BAE;&#x3002;logstash &#x8FDB;&#x7A0B;&#x4F1A;&#x8F6C;&#x53D1;&#x6240;&#x6709;&#x6570;&#x636E;&#x5230;&#x4F60;&#x6307;&#x5B9A;&#x7684;&#x67D0;&#x53F0;&#x4E3B;&#x673A;&#x4E0A;&#x3002;&#x8FD9;&#x79CD;&#x534F;&#x8BAE;&#x8DDF;&#x4E0A;&#x9762;&#x7684; node &#x534F;&#x8BAE;&#x662F;&#x4E0D;&#x540C;&#x7684;&#x3002;node &#x534F;&#x8BAE;&#x4E0B;&#x7684;&#x8FDB;&#x7A0B;&#x662F;&#x53EF;&#x4EE5;&#x63A5;&#x6536;&#x5230;&#x6574;&#x4E2A; Elasticsearch &#x96C6;&#x7FA4;&#x72B6;&#x6001;&#x4FE1;&#x606F;&#x7684;&#xFF0C;&#x5F53;&#x8FDB;&#x7A0B;&#x6536;&#x5230;&#x4E00;&#x4E2A;&#x4E8B;&#x4EF6;&#x65F6;&#xFF0C;&#x5B83;&#x5C31;&#x77E5;&#x9053;&#x8FD9;&#x4E2A;&#x4E8B;&#x4EF6;&#x5E94;&#x8BE5;&#x5B58;&#x5728;&#x96C6;&#x7FA4;&#x5185;&#x54EA;&#x4E2A;&#x673A;&#x5668;&#x7684;&#x5206;&#x7247;&#x91CC;&#xFF0C;&#x6240;&#x4EE5;&#x5B83;&#x5C31;&#x4F1A;&#x76F4;&#x63A5;&#x8FDE;&#x63A5;&#x8BE5;&#x673A;&#x5668;&#x53D1;&#x9001;&#x8FD9;&#x6761;&#x6570;&#x636E;&#x3002;&#x800C; transport &#x534F;&#x8BAE;&#x4E0B;&#x7684;&#x8FDB;&#x7A0B;&#x4E0D;&#x4F1A;&#x4FDD;&#x5B58;&#x8FD9;&#x4E2A;&#x4FE1;&#x606F;&#xFF0C;&#x5728;&#x96C6;&#x7FA4;&#x72B6;&#x6001;&#x66F4;&#x65B0;(&#x8282;&#x70B9;&#x53D8;&#x5316;&#xFF0C;&#x7D22;&#x5F15;&#x53D8;&#x5316;&#x90FD;&#x4F1A;&#x53D1;&#x9001;&#x5168;&#x91CF;&#x66F4;&#x65B0;)&#x65F6;&#xFF0C;&#x5C31;&#x4E0D;&#x4F1A;&#x5BF9;&#x6240;&#x6709;&#x7684; logstash &#x8FDB;&#x7A0B;&#x4E5F;&#x53D1;&#x9001;&#x8FD9;&#x79CD;&#x4FE1;&#x606F;&#x3002;&#x66F4;&#x591A; Elasticsearch &#x96C6;&#x7FA4;&#x72B6;&#x6001;&#x7684;&#x7EC6;&#x8282;&#xFF0C;&#x53C2;&#x9605;&#x3002;
&#x5982;&#x679C;&#x4F60;&#x5DF2;&#x7ECF;&#x6709;&#x73B0;&#x6210;&#x7684; Elasticsearch &#x96C6;&#x7FA4;&#xFF0C;&#x4F46;&#x662F;&#x7248;&#x672C;&#x8DDF; logstash &#x81EA;&#x5E26;&#x7684;&#x53C8;&#x4E0D;&#x592A;&#x4E00;&#x6837;&#xFF0C;&#x5EFA;&#x8BAE;&#x4F60;&#x4F7F;&#x7528; http &#x534F;&#x8BAE;&#x3002;Logstash &#x4F1A;&#x4F7F;&#x7528; POST &#x65B9;&#x5F0F;&#x53D1;&#x9001;&#x6570;&#x636E;&#x3002;
&#x5C0F;&#x8D34;&#x58EB;
Logstash 1.4.2 &#x5728; transport &#x548C; http &#x534F;&#x8BAE;&#x7684;&#x60C5;&#x51B5;&#x4E0B;&#x662F;&#x56FA;&#x5B9A;&#x8FDE;&#x63A5;&#x6307;&#x5B9A; host &#x53D1;&#x9001;&#x6570;&#x636E;&#x3002;&#x4ECE; 1.5.0 &#x5F00;&#x59CB;&#xFF0C;host &#x53EF;&#x4EE5;&#x8BBE;&#x7F6E;&#x6570;&#x7EC4;&#xFF0C;&#x5B83;&#x4F1A;&#x4ECE;&#x8282;&#x70B9;&#x5217;&#x8868;&#x4E2D;&#x9009;&#x53D6;&#x4E0D;&#x540C;&#x7684;&#x8282;&#x70B9;&#x53D1;&#x9001;&#x6570;&#x636E;&#xFF0C;&#x8FBE;&#x5230; Round-Robin &#x8D1F;&#x8F7D;&#x5747;&#x8861;&#x7684;&#x6548;&#x679C;&#x3002;
Kibana4 &#x5F3A;&#x5236;&#x8981;&#x6C42; ES &#x5168;&#x96C6;&#x7FA4;&#x6240;&#x6709; node &#x7248;&#x672C;&#x &#x4EE5;&#x4E0A;&#xFF0C;&#x6240;&#x4EE5;&#x91C7;&#x7528; node &#x65B9;&#x5F0F;&#x53D1;&#x9001;&#x6570;&#x636E;&#x7684; logstash-1.4(&#x643A;&#x5E26;&#x7684; Elasticsearch.jar &#x5E93;&#x662F; 1.1.1 &#x7248;&#x672C;) &#x4F1A;&#x5BFC;&#x81F4; Kibana4 &#x65E0;&#x6CD5;&#x8FD0;&#x884C;&#xFF0C;&#x91C7;&#x7528; Kibana4 &#x7684;&#x8BFB;&#x8005;&#x52A1;&#x5FC5;&#x6539;&#x7528; http &#x65B9;&#x5F0F;&#x3002;
&#x5F00;&#x53D1;&#x8005;&#x5728; IRC freenode#logstash &#x9891;&#x9053;&#x91CC;&#x8868;&#x793A;&#xFF1A;&&#x9AD8;&#x4E8E; 1.0 &#x7248;&#x672C;&#x7684; Elasticsearch &#x5E94;&#x8BE5;&#x90FD;&#x80FD;&#x8DDF;&#x6700;&#x65B0;&#x7248; logstash &#x7684; node &#x534F;&#x8BAE;&#x4E00;&#x8D77;&#x6B63;&#x5E38;&#x5DE5;&#x4F5C;&&#x3002;&#x6B64;&#x4FE1;&#x606F;&#x4EC5;&#x4F9B;&#x53C2;&#x8003;&#xFF0C;&#x8BF7;&#x8BA4;&#x771F;&#x6D4B;&#x8BD5;&#x540E;&#x518D;&#x4E0A;&#x7EBF;&#x3002;
&#x6027;&#x80FD;&#x95EE;&#x9898;
Logstash 1.4.2 &#x5728; http &#x534F;&#x8BAE;&#x4E0B;&#x9ED8;&#x8BA4;&#x4F7F;&#x7528;&#x4F5C;&#x8005;&#x81EA;&#x5DF1;&#x7684; ftw &#x5E93;&#xFF0C;&#x968F;&#x540C;&#x5206;&#x53D1;&#x7684;&#x662F; 0.0.39 &#x7248;&#x3002;&#x8BE5;&#x7248;&#x672C;&#x6709;&#xFF0C;&#x957F;&#x671F;&#x8FD0;&#x884C;&#x4E0B;&#x8F93;&#x51FA;&#x6027;&#x80FD;&#x8D8A;&#x6765;&#x8D8A;&#x5DEE;&#xFF01;
&#x89E3;&#x51B3;&#x529E;&#x6CD5;&#xFF1A;
&#x5BF9;&#x6027;&#x80FD;&#x8981;&#x6C42;&#x4E0D;&#x9AD8;&#x7684;&#xFF0C;&#x53EF;&#x4EE5;&#x5728;&#x542F;&#x52A8; logstash &#x8FDB;&#x7A0B;&#x65F6;&#xFF0C;&#x914D;&#x7F6E;&#x73AF;&#x5883;&#x53D8;&#x91CF;ENV[&BULK&]&#xFF0C;&#x5F3A;&#x5236;&#x91C7;&#x7528; elasticsearch &#x5B98;&#x65B9; Ruby &#x5E93;&#x3002;&#x547D;&#x4EE4;&#x5982;&#x4E0B;&#xFF1A;
export BULK=&esruby&
&#x5BF9;&#x6027;&#x80FD;&#x8981;&#x6C42;&#x9AD8;&#x7684;&#xFF0C;&#x53EF;&#x4EE5;&#x5C1D;&#x8BD5;&#x91C7;&#x7528; logstash-1.5.0RC2 &#x3002;&#x65B0;&#x7248;&#x7684; outputs/elasticsearch &#x653E;&#x5F03;&#x4E86; ftw &#x5E93;&#xFF0C;&#x6539;&#x7528;&#x4E86;&#x4E00;&#x4E2A; JRuby &#x5E73;&#x53F0;&#x4E13;&#x6709;&#x7684; &#x3002;&#x6839;&#x636E;&#x6D4B;&#x8BD5;&#xFF0C;&#x6027;&#x80FD;&#x8DDF; ftw &#x6BD4;&#x3002;
&#x5BF9;&#x6027;&#x80FD;&#x8981;&#x6C42;&#x6781;&#x9AD8;&#x7684;&#xFF0C;&#x53EF;&#x4EE5;&#x624B;&#x52A8;&#x66F4;&#x65B0; ftw &#x5E93;&#x7248;&#x672C;&#xFF0C;&#x76EE;&#x524D;&#x6700;&#x65B0;&#x7248;&#x662F; 0.0.42 &#x7248;&#xFF0C;&#x636E;&#x79F0;&#x5185;&#x5B58;&#x95EE;&#x9898;&#x.40 &#x7248;&#x5373;&#x89E3;&#x51B3;&#x3002;
&#x6A21;&#x677F;
Elasticsearch &#x652F;&#x6301;&#x7ED9;&#x7D22;&#x5F15;&#x9884;&#x5B9A;&#x4E49;&#x8BBE;&#x7F6E;&#x548C; mapping(&#x524D;&#x63D0;&#x662F;&#x4F60;&#x7528;&#x7684; elasticsearch &#x7248;&#x672C;&#x652F;&#x6301;&#x8FD9;&#x4E2A; API&#xFF0C;&#x4E0D;&#x8FC7;&#x4F30;&#x8BA1;&#x5E94;&#x8BE5;&#x90FD;&#x652F;&#x6301;)&#x3002;Logstash &#x81EA;&#x5E26;&#x6709;&#x4E00;&#x4E2A;&#x4F18;&#x5316;&#x597D;&#x7684;&#x6A21;&#x677F;&#xFF0C;&#x5185;&#x5BB9;&#x5982;&#x4E0B;:
&template& : &logstash-*&,
&settings& : {
&index.refresh_interval& : &5s&
&mappings& : {
&_default_& : {
&_all& : {&enabled& : true},
&dynamic_templates& : [ {
&string_fields& : {
&match& : &*&,
&match_mapping_type& : &string&,
&mapping& : {
&type& : &string&, &index& : &analyzed&, &omit_norms& : true,
&fields& : {
&raw& : {&type&: &string&, &index& : &not_analyzed&, &ignore_above& : 256}
&properties& : {
&@version&: { &type&: &string&, &index&: &not_analyzed& },
&type& : &object&,
&dynamic&: true,
&path&: &full&,
&properties& : {
&location& : { &type& : &geo_point& }
&#x8FD9;&#x5176;&#x4E2D;&#x7684;&#x5173;&#x952E;&#x8BBE;&#x7F6E;&#x5305;&#x62EC;&#xFF1A;
template for index-pattern
&#x53EA;&#x6709;&#x5339;&#x914D; logstash-* &#x7684;&#x7D22;&#x5F15;&#x624D;&#x4F1A;&#x5E94;&#x7528;&#x8FD9;&#x4E2A;&#x6A21;&#x677F;&#x3002;&#x6709;&#x65F6;&#x5019;&#x6211;&#x4EEC;&#x4F1A;&#x53D8;&#x66F4; Logstash &#x7684;&#x9ED8;&#x8BA4;&#x7D22;&#x5F15;&#x540D;&#x79F0;&#xFF0C;&#x8BB0;&#x4F4F;&#x4F60;&#x4E5F;&#x5F97;&#x901A;&#x8FC7; PUT &#x65B9;&#x6CD5;&#x4E0A;&#x4F20;&#x53EF;&#x4EE5;&#x5339;&#x914D;&#x4F60;&#x81EA;&#x5B9A;&#x4E49;&#x7D22;&#x5F15;&#x540D;&#x7684;&#x6A21;&#x677F;&#x3002;&#x5F53;&#x7136;&#xFF0C;&#x6211;&#x66F4;&#x5EFA;&#x8BAE;&#x7684;&#x505A;&#x6CD5;&#x662F;&#xFF0C;&#x628A;&#x4F60;&#x81EA;&#x5B9A;&#x4E49;&#x7684;&#x540D;&#x5B57;&#x653E;&#x5728; &logstash-& &#x540E;&#x9762;&#xFF0C;&#x53D8;&#x6210; index =& &logstash-custom-%{+yyyy.MM.dd}& &#x8FD9;&#x6837;&#x3002;
refresh_interval for indexing
Elasticsearch &#x662F;&#x4E00;&#x4E2A;&#x8FD1;&#x5B9E;&#x65F6;&#x641C;&#x7D22;&#x5F15;&#x64CE;&#x3002;&#x5B83;&#x5B9E;&#x9645;&#x4E0A;&#x662F;&#x6BCF; 1 &#x79D2;&#x949F;&#x5237;&#x65B0;&#x4E00;&#x6B21;&#x6570;&#x636E;&#x3002;&#x5BF9;&#x4E8E;&#x65E5;&#x5FD7;&#x5206;&#x6790;&#x5E94;&#x7528;&#xFF0C;&#x6211;&#x4EEC;&#x7528;&#x4E0D;&#x7740;&#x8FD9;&#x4E48;&#x5B9E;&#x65F6;&#xFF0C;&#x6240;&#x4EE5; logstash &#x81EA;&#x5E26;&#x7684;&#x6A21;&#x677F;&#x4FEE;&#x6539;&#x6210;&#x4E86; 5 &#x79D2;&#x949F;&#x3002;&#x4F60;&#x8FD8;&#x53EF;&#x4EE5;&#x6839;&#x636E;&#x9700;&#x8981;&#x7EE7;&#x7EED;&#x653E;&#x5927;&#x8FD9;&#x4E2A;&#x5237;&#x65B0;&#x95F4;&#x9694;&#x4EE5;&#x63D0;&#x9AD8;&#x6570;&#x636E;&#x5199;&#x5165;&#x6027;&#x80FD;&#x3002;
multi-field with not_analyzed
Elasticsearch &#x4F1A;&#x81EA;&#x52A8;&#x4F7F;&#x7528;&#x81EA;&#x5DF1;&#x7684;&#x9ED8;&#x8BA4;&#x5206;&#x8BCD;&#x5668;(&#x7A7A;&#x683C;&#xFF0C;&#x70B9;&#xFF0C;&#x659C;&#x7EBF;&#x7B49;&#x5206;&#x5272;)&#x6765;&#x5206;&#x6790;&#x5B57;&#x6BB5;&#x3002;&#x5206;&#x8BCD;&#x5668;&#x5BF9;&#x4E8E;&#x641C;&#x7D22;&#x548C;&#x8BC4;&#x5206;&#x662F;&#x975E;&#x5E38;&#x91CD;&#x8981;&#x7684;&#xFF0C;&#x4F46;&#x662F;&#x5927;&#x5927;&#x964D;&#x4F4E;&#x4E86;&#x7D22;&#x5F15;&#x5199;&#x5165;&#x548C;&#x805A;&#x5408;&#x8BF7;&#x6C42;&#x7684;&#x6027;&#x80FD;&#x3002;&#x6240;&#x4EE5; logstash &#x6A21;&#x677F;&#x5B9A;&#x4E49;&#x4E86;&#x4E00;&#x79CD;&#x53EB;&&#x591A;&#x5B57;&#x6BB5;&(multi-field)&#x7C7B;&#x578B;&#x7684;&#x5B57;&#x6BB5;&#x3002;&#x8FD9;&#x79CD;&#x7C7B;&#x578B;&#x4F1A;&#x81EA;&#x52A8;&#x6DFB;&#x52A0;&#x4E00;&#x4E2A; &.raw& &#x7ED3;&#x5C3E;&#x7684;&#x5B57;&#x6BB5;&#xFF0C;&#x5E76;&#x7ED9;&#x8FD9;&#x4E2A;&#x5B57;&#x6BB5;&#x8BBE;&#x7F6E;&#x4E3A;&#x4E0D;&#x542F;&#x7528;&#x5206;&#x8BCD;&#x5668;&#x3002;&#x7B80;&#x5355;&#x8BF4;&#xFF0C;&#x4F60;&#x60F3;&#x83B7;&#x53D6; url &#x5B57;&#x6BB5;&#x7684;&#x805A;&#x5408;&#x7ED3;&#x679C;&#x7684;&#x65F6;&#x5019;&#xFF0C;&#x4E0D;&#x8981;&#x76F4;&#x63A5;&#x7528; &url& &#xFF0C;&#x800C;&#x662F;&#x7528; &url.raw& &#x4F5C;&#x4E3A;&#x5B57;&#x6BB5;&#x540D;&#x3002;
Elasticsearch &#x652F;&#x6301; geo_point &#x7C7B;&#x578B;&#xFF0C; geo distance &#x805A;&#x5408;&#x7B49;&#x7B49;&#x3002;&#x6BD4;&#x5982;&#x8BF4;&#xFF0C;&#x4F60;&#x53EF;&#x4EE5;&#x8BF7;&#x6C42;&#x67D0;&#x4E2A; geo_point &#x70B9;&#x65B9;&#x5706; 10 &#x5343;&#x7C73;&#x5185;&#x6570;&#x636E;&#x70B9;&#x7684;&#x603B;&#x6570;&#x3002;&#x5728; Kibana &#x7684; bettermap &#x7C7B;&#x578B;&#x9762;&#x677F;&#x91CC;&#xFF0C;&#x5C31;&#x4F1A;&#x7528;&#x5230;&#x8FD9;&#x4E2A;&#x7C7B;&#x578B;&#x7684;&#x6570;&#x636E;&#x3002;
&#x5176;&#x4ED6;&#x6A21;&#x677F;&#x914D;&#x7F6E;&#x5EFA;&#x8BAE;
doc_values
doc_values &#x662F; Elasticsearch 1.3 &#x7248;&#x672C;&#x5F15;&#x5165;&#x7684;&#x65B0;&#x7279;&#x6027;&#x3002;&#x542F;&#x7528;&#x8BE5;&#x7279;&#x6027;&#x7684;&#x5B57;&#x6BB5;&#xFF0C;&#x7D22;&#x5F15;&#x5199;&#x5165;&#x7684;&#x65F6;&#x5019;&#x4F1A;&#x5728;&#x78C1;&#x76D8;&#x4E0A;&#x6784;&#x5EFA; fielddata&#x3002;&#x800C;&#x8FC7;&#x53BB;&#xFF0C;fielddata &#x662F;&#x56FA;&#x5B9A;&#x53EA;&#x80FD;&#x4F7F;&#x7528;&#x5185;&#x5B58;&#x7684;&#x3002;&#x5728;&#x8BF7;&#x6C42;&#x8303;&#x56F4;&#x52A0;&#x5927;&#x7684;&#x65F6;&#x5019;&#xFF0C;&#x5F88;&#x5BB9;&#x6613;&#x89E6;&#x53D1; OOM &#x62A5;&#x9519;&#xFF1A;
ElasticsearchException[mon.breaker.CircuitBreakingException: Data too large, data for field [@timestamp] would be larger than limit of [9.4mb]]
doc_values &#x53EA;&#x80FD;&#x7ED9;&#x4E0D;&#x5206;&#x8BCD;(&#x5BF9;&#x4E8E;&#x5B57;&#x7B26;&#x4E32;&#x5B57;&#x6BB5;&#x5C31;&#x662F;&#x8BBE;&#x7F6E;&#x4E86; &index&:&not_analyzed&&#xFF0C;&#x6570;&#x503C;&#x548C;&#x65F6;&#x95F4;&#x5B57;&#x6BB5;&#x9ED8;&#x8BA4;&#x5C31;&#x6CA1;&#x6709;&#x5206;&#x8BCD;) &#x7684;&#x5B57;&#x6BB5;&#x914D;&#x7F6E;&#x751F;&#x6548;&#x3002;
doc_values &#x867D;&#x7136;&#x7528;&#x7684;&#x662F;&#x78C1;&#x76D8;&#xFF0C;&#x4F46;&#x662F;&#x7CFB;&#x7EDF;&#x672C;&#x8EAB;&#x4E5F;&#x6709;&#x81EA;&#x5E26; VFS &#x7684; cache &#x6548;&#x679C;&#x5E76;&#x4E0D;&#x4F1A;&#x592A;&#x5DEE;&#x3002;&#x636E;&#x5B98;&#x65B9;&#x6D4B;&#x8BD5;&#xFF0C;&#x7ECF;&#x8FC7; 1.4 &#x7684;&#x4F18;&#x5316;&#x540E;&#xFF0C;&#x53EA;&#x6BD4;&#x4F7F;&#x7528;&#x5185;&#x5B58;&#x7684; fielddata &#x6162; 15% &#x3002;&#x6240;&#x4EE5;&#xFF0C;&#x5728;&#x6570;&#x636E;&#x91CF;&#x8F83;&#x5927;&#x7684;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x5F3A;&#x70C8;&#x5EFA;&#x8BAE;&#x5F00;&#x542F;&#x8BE5;&#x914D;&#x7F6E;&#xFF1A;
&template& : &logstash-*&,
&settings& : {
&index.refresh_interval& : &5s&
&mappings& : {
&_default_& : {
&_all& : {&enabled& : true},
&dynamic_templates& : [ {
&string_fields& : {
&match& : &*&,
&match_mapping_type& : &string&,
&mapping& : {
&type& : &string&, &index& : &analyzed&, &omit_norms& : true,
&fields& : {
&raw& : { &type&: &string&, &index& : &not_analyzed&, &ignore_above& : 256, &doc_values&: true }
&properties& : {
&@version&: { &type&: &string&, &index&: &not_analyzed& },
&@timestamp&: { &type&: &date&, &index&: &not_analyzed&, &doc_values&: true, &format&: &dateOptionalTime& },
&type& : &object&,
&dynamic&: true,
&path&: &full&,
&properties& : {
&location& : { &type& : &geo_point& }
&#x5982;&#x679C;&#x4F60;&#x6709;&#x81EA;&#x5DF1;&#x5355;&#x72EC;&#x5B9A;&#x5236; template &#x7684;&#x60F3;&#x6CD5;&#xFF0C;&#x5F88;&#x597D;&#x3002;&#x8FD9;&#x65F6;&#x5019;&#x6709;&#x51E0;&#x79CD;&#x9009;&#x62E9;&#xFF1A;
&#x5728; logstash/outputs/elasticsearch &#x914D;&#x7F6E;&#x4E2D;&#x5F00;&#x542F; manage_template =& false &#x9009;&#x9879;&#xFF0C;&#x7136;&#x540E;&#x4E00;&#x5207;&#x81EA;&#x5DF1;&#x52A8;&#x624B;&#xFF1B;
&#x5728; logstash/outputs/elasticsearch &#x914D;&#x7F6E;&#x4E2D;&#x5F00;&#x542F; template =& &/path/to/your/tmpl.json& &#x9009;&#x9879;&#xFF0C;&#x8BA9; logstash &#x6765;&#x53D1;&#x9001;&#x4F60;&#x81EA;&#x5DF1;&#x5199;&#x7684; template &#x6587;&#x4EF6;&#xFF1B;
&#x907F;&#x514D;&#x53D8;&#x66F4; logstash &#x91CC;&#x7684;&#x914D;&#x7F6E;&#xFF0C;&#x800C;&#x662F;&#x53E6;&#x5916;&#x53D1;&#x9001;&#x4E00;&#x4E2A; template &#xFF0C;&#x5229;&#x7528; elasticsearch &#x7684; templates order &#x529F;&#x80FD;&#x3002;
&#x8FD9;&#x4E2A; order &#x529F;&#x80FD;&#xFF0C;&#x5C31;&#x662F; elasticsearch &#x5728;&#x521B;&#x5EFA;&#x4E00;&#x4E2A;&#x7D22;&#x5F15;&#x7684;&#x65F6;&#x5019;&#xFF0C;&#x5982;&#x679C;&#x53D1;&#x73B0;&#x8FD9;&#x4E2A;&#x7D22;&#x5F15;&#x540C;&#x65F6;&#x5339;&#x914D;&#x4E0A;&#x4E86;&#x591A;&#x4E2A; template &#xFF0C;&#x90A3;&#x4E48;&#x5C31;&#x4F1A;&#x5148;&#x5E94;&#x7528; order &#x6570;&#x503C;&#x5C0F;&#x7684; template &#x8BBE;&#x7F6E;&#xFF0C;&#x7136;&#x540E;&#x518D;&#x5E94;&#x7528;&#x4E00;&#x904D; order &#x6570;&#x503C;&#x9AD8;&#x7684;&#x4F5C;&#x4E3A;&#x8986;&#x76D6;&#xFF0C;&#x6700;&#x7EC8;&#x8FBE;&#x5230;&#x4E00;&#x4E2A; merge &#x7684;&#x6548;&#x679C;&#x3002;
&#x6BD4;&#x5982;&#xFF0C;&#x5BF9;&#x4E0A;&#x9762;&#x8FD9;&#x4E2A;&#x6A21;&#x677F;&#x5DF2;&#x7ECF;&#x5F88;&#x6EE1;&#x610F;&#xFF0C;&#x53EA;&#x60F3;&#x4FEE;&#x6539;&#x4E00;&#x4E0B; refresh_interval &#xFF0C;&#x90A3;&#x4E48;&#x53EA;&#x9700;&#x8981;&#x65B0;&#x5199;&#x4E00;&#x4E2A;&#xFF1A;
&order& : 1,
&template& : &logstash-*&,
&settings& : {
&index.refresh_interval& : &20s&
&#x7136;&#x540E;&#x8FD0;&#x884C; curl -XPUT http://localhost:9200/_template/template_newid -d &@/path/to/your/tmpl.json& &#x5373;&#x53EF;&#x3002;
logstash &#x9ED8;&#x8BA4;&#x7684;&#x6A21;&#x677F;&#xFF0C; order &#x662F; 0&#xFF0C;id &#x662F; logstash&#xFF0C;&#x901A;&#x8FC7; logstash/outputs/elasticsearch &#x7684;&#x914D;&#x7F6E;&#x9009;&#x9879; template_name &#x4FEE;&#x6539;&#x3002;&#x4F60;&#x7684;&#x65B0;&#x6A21;&#x677F;&#x5C31;&#x4E0D;&#x8981;&#x8DDF;&#x8FD9;&#x4E2A;&#x540D;&#x5B57;&#x51B2;&#x7A81;&#x4E86;&#x3002;
&#x63A8;&#x8350;&#x9605;&#x8BFB;<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员,您的IP地址所在网段被ITeye拒绝服务,这可能是以下两种情况导致:
一、您所在的网段内有网络爬虫大量抓取ITeye网页,为保证其他人流畅的访问ITeye,该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站,该代理服务器被网络爬虫利用,大量抓取ITeye网页
请您点击按钮解除封锁&来自:http://www.searchtech.pro/articles//8.html
elasticsearch的config文件夹里面有两个配置文 件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日 志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。
cluster.name: elasticsearch配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
node.name: "Franz Kafka"节点名,默认随机指定一个name列表中名字,该列表在es的jar包中config文件夹里name.txt文件中,其中有很多作者添加的有趣名字。
node.master: true指定该节点是否有资格被选举成为node,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。
node.data: true指定该节点是否存储索引数据,默认为true。
index.number_of_shards: 5设置默认索引分片个数,默认为5片。
index.number_of_replicas: 1设置默认索引副本个数,默认为1个副本。
path.conf: /path/to/conf设置配置文件的存储路径,默认是es根目录下的config文件夹。
path.data: /path/to/data设置索引数据的存储路径,默认是es根目录下的data文件夹,可以设置多个存储路径,用逗号隔开,例:path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work设置临时文件的存储路径,默认是es根目录下的work文件夹。
path.logs: /path/to/logs设置日志文件的存储路径,默认是es根目录下的logs文件夹
path.plugins: /path/to/plugins设置插件的存放路径,默认是es根目录下的plugins文件夹
bootstrap.mlockall: true设置为true来锁住内存。因为当jvm开始swapping时es的效率
会降低,所以要保证它不swap,可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值,并且保证机器有足够的内存分配给es。
同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过`ulimit -l unlimited`命令。
network.bind_host: 192.168.0.1设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0。
network.publish_host: 192.168.0.1设置其它节点和该节点交互的ip地址,如果不设置它会自动判断,值必须是个真实的ip地址。
network.host: 192.168.0.1这个参数是用来同时设置bind_host和publish_host上面两个参数。
transport.tcp.port: 9300设置节点间交互的tcp端口,默认是9300。
press: true设置是否压缩tcp传输时的数据,默认为false,不压缩。
http.port: 9200设置对外服务的http端口,默认为9200。
http.max_content_length: 100mb设置内容的最大容量,默认100mb
http.enabled: false是否使用http协议对外提供服务,默认为true,开启。
gateway.type: localgateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统,分布式文件系统,hadoop的HDFS,和amazon的s3服务器,其它文件系统的设置方法下次再详细说。
gateway.recover_after_nodes: 1设置集群中N个节点启动时进行数据恢复,默认为1。
gateway.recover_after_time: 5m设置初始化数据恢复进程的超时时间,默认是5分钟。
gateway.expected_nodes: 2设置这个集群中节点的数量,默认为2,一旦这N个节点启动,就会立即进行数据恢复。
cluster.routing.allocation.node_initial_primaries_recoveries: 4初始化数据恢复时,并发恢复线程的个数,默认为4。
cluster.routing.allocation.node_concurrent_recoveries: 2添加删除节点或负载均衡时并发恢复线程的个数,默认为4。
indices.recovery.max_size_per_sec: 0设置数据恢复时限制的带宽,如入100mb,默认为0,即无限制。
indices.recovery.concurrent_streams: 5设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5。
discovery.zen.minimum_master_nodes: 1设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1,对于大的集群来说,可以设置大一点的值(2-4)
discovery.zen.ping.timeout: 3s设置集群中自动发现其它节点时ping连接超时时间,默认为3秒,对于比较差的网络环境可以高点的值来防止自动发现时出错。
discovery.zen.ping.multicast.enabled: false设置是否打开多播发现节点,默认是true。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点。
下面是一些查询时的慢日志参数设置index.search.slowlog.level: TRACEindex.search.slowlog.threshold.query.warn: 10sindex.search.slowlog.: 5sindex.search.slowlog.threshold.query.debug: 2sindex.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1sindex.search.slowlog.: 800msindex.search.slowlog.threshold.fetch.debug:500msindex.search.slowlog.threshold.fetch.trace: 200ms
阅读(...) 评论()}

我要回帖

更多关于 elasticsearch index 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信