꼬반 Blog

일단 Elasticsearch는 버전업이 무지하게 빠르다. 무시무시하다. 

개발자님들에게 X키를 눌러 JOY를...

그런 환경이므로 elk를 docker를 활용하여 올린다. 

docker의 환경설정을 수정하여 docker 볼륨 위치도 변경해놓고 2개 클러스터 512m 램으로 

기본 사용하여 mysql의 general 로그를 파싱하여 넣기로 했다.

일단 직접하려고 하루정도 golang으로 삽질하다가 검색 고고싱 아래 사이트들에서 도움을 받았다.

- *<https://pad.yohdah.com/285/mysql-general-query-log-and-logstash>

- <https://qbox.io/blog/mysql-logs-elasticsearch-logstash-kibana>

- <https://qbox.io/blog/ship-mysql-logs-elasticsearch-filebeat>

- *<https://github.com/cj203/logstash-mysql-general-log-filter/blob/master/pipeline.conf>

특히 별표가 있는 사이트가 도움이 되었는데 일단 버전이 다른 부분은 좀더 수정하였다.

첫번째 pad 사이트의 아래 부분의 파이선 스크립트로 general 로그를 전처리를 수행하고 

이후 logstash 로 파싱하여 elastic으로 input해주었는데 중간에 filter 부분에 multiline { }

은 현재 사용하는 7.1.1 버전에서는 codec => multiline { } 으로 바꿔 사용하여 주고

filter 부분이 아닌 input 쪽에 넣어주어 

input {
  file {
    codec => multiline {
      pattern => "^%{NUMBER}\s+%{NOTSPACE}"
      negate => "true"
      what => "previous"
    }

  ...

}

처럼 설정해준다.

그럼 path에 지정한 log파일을 파싱해서 input 하는데 대상 로그 사이즈는 2016년10월부터 현재까지 약 80G

로그 파일이고 전처리는 오래 걸리지 않았으나 elk로 전체 data를 입력하는데는 약 5일정도 걸린것 같다...

그리고 중간에 elk memory heap 이 부족하여 error가 났고 docker-composer 를 수정하여

각 node의 메모리를 4G로 / 전체 클러스터를 마스터1 / 노드 3으로 수정하여 이후 문제없이 모두 입력을 받았다.

그리고 이후 입력된 값을 확인하는 중에 사용한 grok 패턴은 connect command 에만 접속한 db, 유저, client 정보가 나오고 나머지엔 나오지 않아 다른 레코드들의 field 를 업데이트 해주어야 했다.

이는 update_by_query 를 통해 수행하였는데 

- <https://www.roseindia.net/elasticsearch/elasticsearch-update-by-query-add-field.shtml>

- <https://stackoverflow.com/questions/44725905/how-to-update-a-string-field-with-elasticsearch-update-by-query>

- <https://stackoverflow.com/questions/44725905/how-to-update-a-string-field-with-elasticsearch-update-by-query>

- <https://discuss.elastic.co/t/is-there-any-way-to-update-multiple-fields-by-update-by-query/70644/1>

- <https://discuss.elastic.co/t/add-field-to-existing-document-by-query/68874/1>

다음 사이트들의 도움을 받았고 kibana console 에서 

POST /mysql-xxxx-xx-xx/_update_by_query
{
  "script": {
    "inline": "ctx._source.mysql_database=\"\";ctx._source.mysql_connect_user=\"\";ctx._source.mysql_connect_host=\"\"",
    "lang": "painless"
  },
  "query": {
    "match": {
      "command": "Query"
    }
  }
}

특정일에 대한 인덱스에 대해 테스트 후 동작하는 것을 확인하고 mysql-* 로 전체 인덱스에로 쿼리를 수행했다.

그리고 kibana에서 request timeout 으로 정상 수행 결과가 나오지 않는 것을 보고는 날짜별/월별/일별 등 다양한 

방법으로 테스트 하였는데 월별 정도로 돌릴때 타임아웃없이 수행된것을 보고 실제 레코드를 확인해보면

필드가 반영이 안되어 있는 등 여러 이슈를 발견하여 해결하기 위해 다양하게 체크를 했는데

결과적으로는 에러가 아니라 실질적으로 해당 쿼리를 수행하고 kibana에서의 대기시간에 return이 없어서

timeout이 난 것뿐 이고 

CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O           PIDS
002b90c4fc50        es04                229.43%             4.831GiB / 62.65GiB   7.71%               456GB / 159GB       50.1GB / 531GB      215
3052fb09ca6a        es01                268.17%             5.363GiB / 62.65GiB   8.56%               1.05TB / 955GB      65.5GB / 597GB      259
73ee3a3d2f17        es03                227.66%             4.868GiB / 62.65GiB   7.77%               442GB / 635GB       49.6GB / 589GB      222
d81350bd7053        kibana              0.55%               174.1MiB / 62.65GiB   0.27%               19.5GB / 1.58GB     437MB / 102kB       14
5b36619c88b5        es02                261.03%             4.857GiB / 62.65GiB   7.75%               499GB / 212GB       61.8GB / 584GB      229

도커 컨테이너의 resoure를 보면 부지런히 해당 쿼리를 수행하고 있음을 알게 되었다. 그래서 이후는 쿼리를 수행시키고

리소스 사용률이 없어질때까지 기다리기..

이후 원하는데로 필드가 추가된 것을 볼수 있었다. 

테스트를 위해 MacOS를 Vmware 에서 돌리기 위해 참고한 사이트

https://tigerteam.postype.com/post/3224012

https://github.com/DrDonk/unlocker

https://techsviewer.com/download-mac-virtual-machine-image-for-vmware-and-virtualbox/

https://mac-torrents.com/category/mac-os-apps/office/

SSH는 서버의 Terminal에 접속하기 위한 보편화된 방법이다. 그래서 다양한 무, 유료 프로그램들이 있고

특히 오픈소스에서 대표적으로 사용되는 클라이언트로는 Putty가 있다.

Putty는 기본 기능에 매우 충실한 훌륭한! 프로그램이지만 편의 측면에서는 몇몇 불편한 부분들이 있다.

그래서 오늘은 Putty 대신 사용할만한 좋은 무료 프로그램 하나를 추천해본다.

공식 사이트 : https://www.solarwinds.com/free-tools/solar-putty

Solar-PuTTY

위 프로그램 역시 기반은 Putty를 사용하지만 Session 이나 SSH 외 FTP, SFTP, SCP, Telnet 등을 하나의 화면에서

쉽게 사용하고 관리할 수 있게 해준다. 

프로그램을 다운받아서 압축을 풀면 실행 파일이 보이며, 설치할 필요 없이 바로 실행이 가능한 Portable 버전이다.

위 화면에서 Create  new session 버튼을 클릭하여 신규 세션을 생성한다.

테스트 서버는 네이버 클라우드에 크레딧으로 사용중인 SSD 리눅스 서버를 입력했다. 이후 Create 버튼으로 세션을 생성하면

최초 접속은 자동으로 진행되고 이후에는 Overview 탭에서 생성된 세션을 클릭하여 바로 접속이 가능하다.

Putty에서 접속하면 나타나던 경고창을 확인할 수 있다. 예 버튼을 클릭한다.

정상적으로 접속이 되는것을 확인할 수 있다.

생성된 세션을 확인할 수 있으며 이후 접속에는 해당 세션을 더블 클릭하여 쉽게 접속이 가능하다.

또한 SFTP, FTP, SCP 도 지원하기 때문에 세션생성에서 해당 프로토콜 방식을 선택하는 경우 관련 프로그램이 없을때

자동으로 WinSCP 설치를 지원하고 역시 해당 프로그램내에서 바로 사용이 가능하도록 연동이 된다.

하나의 프로그램에서 다양한 프로토콜을 세션으로 관리하여 사용자가 쉽게 사용할 수 있도록 지원해주는 Solar-Putty는 

Putty 대신 사용하기 좋은 (기반은 Putty라 대신이라고 하기는 뭐하지만.) 프로그램이다.

첨부 1. 

내용을 영문사이트에서 발취 하여 조합하였다고 하나 글 내용이 빨간부분은 맨 끝 해준다. -> 해줍니다. 

만 바뀌고 띄어쓰기까지 동일하고

아래 파란부분은 중간 세션생성 -> 세션 생성 / 연동이 된다. 연동도 가능 합니다. 

로 바뀐 부분 제외 띄어쓰기까지 동일.

외국 사이트 발취를 어디서 한건진 모르겠지만 외국 사이트면 영어로 된 걸 옮겨적은게 

띄어쓰기까지 거~어의 동일하게 옮겼졌다는 말이라는건데.... 흠

이전 포스트에 (http://ifmkl.tistory.com/354) Naver OpenAPI 인 Clova Speech Synthesis API 사용하기를 작성했었습니다.

그런데 오랜만에 들어가보니 해당 API가 NBP(네이버 비즈니스 플랫폼 - 클라우드 서비스)쪽으로 이관되었더군요..

즉 무료에서 -> 유료가 되었습니다...

다만 네이버 비즈니스 플랫폼의 경우 신규 사용자에겐 30만 크레딧을 제공하므로 이 크레딧 유효 기간동안은

테스트는 해볼수 있을 듯합니다.

변경된 개발 문서는 http://docs.ncloud.com/ko/naveropenapi_v2/naveropenapi-4-2.html 이고

NBP 가입 후 로그인 후 콘솔에서 접속하면 다음 메뉴에서 api 를 신청할 수 있습니다.

어플리케이션 등록 -> 클로바에 CSS 체크하여 신청하면 됩니다. 그러면 한도 설정을 할 수 있는데 당일 / 당월 설정이 가능하고 요금은

월 300만자 기준으로 12,000원 (VAT별도) 정도 나옵니다. 

기존의 소스는 동일하고 다만 기존 소스의 

api_uri가 https://openapi.naver.com/v1/voice/tts.bin --> https://naveropenapi.apigw.ntruss.com/voice/v1/tts 으로 변경 되었고

api_key는 신청한 어플리케이션의 client_id / api_secret는 client_secret 으로 사용하면 됩니다.

이후 헤더에 추가하는

는 아래 처럼 변경해줍니다.

그러면 소스를 다시 빌드하여 실행하고 로컬에서 테스트하면

# curl "localhost:3000/tts"

# ls

api api.go out.mp3

으로 잘 실행되는 것을 확인할 수 있습니다.

네이버 클라우드 플랫폼 사용해보기

신규 가입자에게 30만 크레딧을 제공하고 있고

HDD - Micro Type 서버는 1년 무료 사용이 가능하다

가입 후 결제 수단을 등록하면 30만 크레딧을 받을 수 있다.

서버 생성 후 간단한 어플리케이션 올려서 테스트 해봐야 겠다.

전에 테스트 했었던 Clova 음성 합성을 웹에서 선택해서 테스트 할수 있게

Vue로 화면 만들고 Golang 으로 백엔드 해서 api 연동시켜서 올려둘 예정.

과거와는 다르게 국내에도 클라우드 서비스가 빠르게 보급되고 있다.

예전에 외국의 vultr 호스팅에 대한 포스트를 작성한 적이 있는데 이번에 

TOAST Cloud 에서 신규 가입 고객에게 20만 Credit 을 주는 이벤트를 진행하고 있어

가입 후 테스트 해보았다.

이 글은 간략하게만 작성한 소감정도고 자세한 리뷰는 추후 작성하는 걸로...

사실 TOAST 는 네이버에서 게임 플랫폼쪽을 담당하는 걸로 알고 있었는데

추가 : NHN Ent 쪽과 Naver 는 별개란걸 알게되었음.

(크루세이더 퀘스트라는 게임으로 TOAST를 알게되었었던... 춘향, 몽룡때 현질하고 뽑고 이후 접었..)

잡설은 그만하고 일단 가입 후 https://toast.com/pricing#event 페이지를 보면 결제수단을 등록 하고

크레딧을 받을수 있게 되어 있다. (이 링크로 들어간다고 추가 혜택이나 나에게 돌아오는 건 없다!)

20만 크레딧을 주는 조건은 2018년 2월 22일 이전에 가입한적이 없는 신규 회원 이어야 한다.

이후 가입하고 TOAST Console 을 통해서 사용을 하는데 사용 측면에서는 약간 불편함이 있다.

어떻게 보면 세분화되고 전문적이라고 볼순 있는데 편하지는 않은 느낌..

u2.small flavor로 생성 후 (flavor로 템플릿을 지원하는데 openstack 기반인가.. 아니면 그냥 명칭이

다 똑같나..) floating ip 도 하나 생성 후 생성한 instance에 연결해준다.

그리고 중요한건 instance 를 생성할때 SSH Key 생성을 하는데 내가 못찾은 걸 수 있지만..

생성할때 그때 다운 받아둬야 한다. 이후엔 받는데를 못찾았...

다 생성된 instance 에 연결한 floating ip 로 접속을 하려면 생성한 key 로 접속을 해야 하는데

리눅스에 올리고 테스트 해보니 .pem 파일에 권한을 체크한다.

그래서 소유자 외 그룹, other 권한이 있으면 denied 하므로 권한을 600 등 소유자 권한으로만 설정 해야한다.

ssh -i <pem파일> root@<floating ip>

로 연결하면 바로 접속이 잘 된다.

간단하게 사용해보니 아무래도 국내 리전이어서 과거 vultr보다는 조오금 빠른 느낌은 든다.

비용은 비슷하거나 약간 저렴한거 같은데.. vultr 을 해지한지 좀 되어서 정확하게 기억은 안나고

현재 u2.small 은 2cpu / 2GB ram / 50GB storage / 1 floating ip 를 사용하는데 한달에 2만원 정도 되는듯 하다.

즉 기본으로 지급받는 20만 크레딧으로 10개월 정도 체험해볼 수 있다는 것. 

물론 테스트해보는 사양에 따라 크레딧 소모는 각기 다를 수 있고

크레딧이 모두 소모되거나 부족한 경우는 등록한 결제수단으로 자동으로 결제되니 주의해야 한다.

일단 이벤트 크레딧으로 한동안 재밌게 테스트 해볼수 있을 거 같다.

윈도우 7 sp1 인가 부터 적용되었다고 하는 RemoteFX 를 적용하여 원격 데스크톱을 활용해보기 위해 테스트

먼저 제일 중요한 것은 해당 하는 서버의 그래픽 카드가 DX 11 이상을 필수적으로 지원해야 하며

RDP 7.1 이상 버전으로 서로 동작해야 한다.

그리고 http://202psj.tistory.com/1037 주소를 참고하여 RemoteFX 관련 설정들을 사용으로 바꾸어 주었음.

근데 설명이 약간 모호해서 (서버에 설정해야 하는지 클라이언트에 해야 하는지..)

그냥 서버, 클라이언트 양쪽을 모두 다 그냥 다 RemoteFX 설정 해주었음..

컴퓨터 구성 - 관리 템플릿 - 윈도우 구성 요소 - 터미널 서비스

항목에 원격 데스크톱 세션 호스트와 원격 데스크톱 연결 클라이언트 두개 항목이 있음

세션 호스트에서는 원격 세션 환경 폴더 내에 RemoteFX for Windows Server .. 폴더와 RemoteFX 관련 설정이 있는데

다 사용으로 설정해주고

클라이언트 쪽에도 RemoteFX ... 폴더 내 설정을 사용함으로 바꾸어 주었음

그리고서는 잘 되는 것 같음

나중에 잘 정리해서 다시 작성해야봐 겠음.

다수의 파일의 이름을 한번에 변경할 일이 있어 찾아보니 rename 이라는 명령어가 있어 사용하였다.

기본적인 사용법은 다른 페이지나 man 페이지에 잘 나와있으므로 특수한 경우를 위해 작성함.

1. 사용 목적 : 파일명의 공백, ( ) 괄호 표시들을 제거하기 위해

2. 파일명 예시 : xxx_ (1).ddd (xxx는 파일명 .ddd는 확장자)

3. 사용방법

  3.1. 파일명_ 뒤에 공백과 ( 제거 : # rename _\ \(  _ *.ddd -> xxx_1).ddd 형태로 일괄 변경 됨 (\는 역슬래쉬 공백과 괄호는 쉘에서 역슬래쉬 뒤에 위치시켜야 사용 가능)

  3.2. 확장자 앞 ) 제거 : # rename \). . *.ddd -> xxx_1.ddd 로 변경됨

route를 확인하기 위해 route 명령어를 입력했는데 없다??

-> ip route

default route 설정 (2개 이상 nic 카드가 있을때 두개 모두 게이트웨이 설정이 된 경우)

eth0(main), eth1(second)

일때

ifcfg-eth0 설정 파일에

-> DEFROUTE=yes

를 추가

MySQL Enterprise root user default password

회사 서버에 오랜만에 MySQL Enterprise 5.7.20 버전을 설치하게 되었다. 

요즘은 MariaDB나 NoSQL 같은 오픈소스 위주로 사용하다 보니.

일단 Oracle 에서 Enterprise 버전을 받는것 부터 좀 버벅 대다가 다운받고

설치는 zip 파일을 풀면 rpm 파일들이 있는데

yum localinstall 명령어로 common -> lib -> devel -> client -> server 순으로 설치해준다.

rhel 7 기준으로 systemctl 명령어를 사용할텐데 systemd 데몬이 바로 생성되어 있지 않다.

이를 위해서는 mysqld_pre_systemd 명령어를 실행시켜주면 mysqld 로 systemd 데몬이 생성된다.

이후 systemctl start mysqld 로 데몬을 실행시켜주고

mysql -u root -p 로 기본으로 접속해서 확인하려고 하면?

패스워드가 필요하다!??

보통 community 버전 혹은 오픈소스 MariaDB는 그간 설치후 최초에는 Root 패스워드가

설정되어 있지 않았는데 갑작스러운 상황에 당황.

mysql_secure_installation (기본 보안 설정을 해준다.) 명령어를 사용해도 root 패스워드를 요구하고..

구글신에 검색해본 결과!

https://www.percona.com/blog/2016/05/18/where-is-the-mysql-5-7-root-password/

위 내용을 찾았다. 즉 /var/log/mysqld.log 의 [NOTE] 부분에 최초 실행시 설정되는 임시 패스워드가 

포함되어 있다.

해당 로그에서 임시패스워드를 사용하면 mysql 에 접속이 가능하다.

다만 임시패스워드 상태에서는 접속만 가능하고 다른 작업은 할 수 없기 때문에 

mysql_secure_installation 을 사용하여 기본 보안 설정을 진행하거나 (root 패스워드 변경이 포함되어 있음, 권장)

임시 패스워드를 변경하고 사용하면 된다.

단 패스워드 정책에도 보안등급이 적용되어 너무 단순한 패스워드는 사용할 수 없으니 참고할 것