xslt 초간단 정리

2013-05-16 업데이트 : 

sqlite를 사용하는 라이브러리를 작성.
https://github.com/jeremyko/ComDBLib

xml은 간단한 설정 이나 프로그램간 데이터 교환시에 유용하다.
만약 xml 데이터를 데이터베이스 용도로 사용하고 싶다면, 기존 상용/오픈소스 정도 수준의 API 를 제공할 각오로 개발을 하던지, 아니면 그냥 오픈 소스 도입하자는게 나의 생각이다.

지금 일하는 사이트에서 xml과 xslt를 사용해서 xml db를 를 구현하는 상황을 맞이하고 있다. 
모든 데이터베이스 테이블의 자료를 xml 파일로 변환해서 ftp 로 다운로드후, 
프로그램이 데이터베이스를 안보고 이 xml에서 원하는 데이터를 추출하려는 의도로 보이는데,, 
문제는 모든 프로그램 내 sql query에 상응하는 xslt 파일을 만들어 줘야 한다는 것이며, 
또한 간단한 select 하나도 일일이 xslt 로 구현하자니 여간 성가시고 시간 잡아먹는 일이 아닐뿐더러, 
거기다 한술 더떠 distinct, group by, like, join , sub query등의 
약간만 복잡한 query가 나오는 경우엔 이걸 다 일일이 xslt 문법을 통해서 구현을 해줘야한다는 것이다.. 
그리고 만약 아주 복잡한 쿼리를 사용한 경우라면 구현 자체가 불가능 해질수도 있다.
웹에서나 화면 처리하라는 용도의 xslt 아니었던가? 이거 가지고 뭐하는 건지..
xml은 데이터 교환이나 간단한 설정 파일용도로 사용해야지 ..
그나저나 다시 예전의 기억을 되살려서 xslt 문법 보고 있는 내모습 ㅠㅠㅠ

근황

과금 솔루션 업체에 단기 프로젝트 들어와서 열심히 삽질 중. 블로그에 도통 글올릴 틈이 없군.

NERDTree 4.2.0 디렉토리가 안열리는 경우

NERDTree 실행후 디렉토리 명 앞에 이상한 문자가 붙어서, 정상적으로 파일을 열수 없는 경우

다음처럼 .vimrc 에 설정한다.

let g:NERDTreeDirArrows=0

원인은 NERDTree가 출력하는 화살표 문자가 vim에서 지원되지 않는 경우 라고 한다.

https://github.com/scrooloose/nerdtree/issues/108 참고

그리고 nerdtree는 utf-8에서 제대로 동작한다. 이거 때문에 본인도 삽질한 기록이 있으니
http://jeremyko.blogspot.com/2018/09/nerdtree-euc-kr.html
를 참고하시길. nerdtree를 euc-kr 로 설정된 서버에서 사용하는 방법에 대한 정리임. 달리 말하면 vim을 개별 사용자별로 설정해서 사용하기 위한 방법이라고 할수도 있음.

JavaScript Allongé eBook 구입

얼마 전 Hacker News 에 소개된 전자책인데 leanpub을 통해 구입해서 읽고 있다 . PDF혹은 아이패드나 아이폰에서도 볼수 있는 eBook 형식으로 제공된다. JavaScript Allongé 는 기본 문법을 알고 있는 독자를 대상으로, 각 장마다 자바 스크립트의 함수를 사용하는 새로운 관점들을 소개하고 있다. 그리고 각 장이 끝날 때마다 recipes 항목을 통해서, 앞서 배웠던 항목을 기본으로,  실용적인 활용 법을 소개해주고 있다. 개인적으로 추천할만한 내용이라고 생각한다. 한번 방문해보시길...

(Allongé 는 에스프레소와 아메리카노의 중간 정도 되는 커피라고 한다~커피관련 지식은 덤^^)

node.js chat server with QT client

node.js tcp chatting server with QT client

node.js로 구현한 채팅 서버 및 QT로 GUI를 꾸민 클라이언트이다.
사용자 등록, 로그인, 대화상대 추가/삭제, 로그인/아웃 알림 및 메시지 전달 기능이 구현되어 있다.

Current features:

1. enroll user
2. add/remove friend
3. login and retrieve my friend list
4. notify logged in/out
5. deliver chat message

Server

net, Buffer module을 이용해서 작성되었다. 클라이언트와 주고받는 패킷의 정의는 다음과 같다.

The Packet format is : binary data + string 
4 byte header (means a length of following message) + message

The message format is :
string|(delimiter)... 

제일 먼저 32비트 정수가 포함되고 이후에는 문자열로 구성된 양식이다. 헤더와 메시지를 구분하는 별도 구분은 없다. 문자열의 길이는 이 32비트 정수에 설정 된다. 메시지의 형식은 먼저 사용 목적이 나오고 이후 구분자로 구분된 데이터들이 전송된다. 예를 들어 로그인의 경우라면 전달되는 전체 데이터는 다음과 같게 된다.

ex) Login message
4byte_integerLOGIN|SomeUserId|SomePassWord~

즉, 바이너리 데이터와 문자열이 포함되는 형식인데, 결국 다음과 같은 C 구조체가 전송되는 것과 같다.

This can be described as a C structure like this :
typedef struct _PACKET_LOGIN
{
    unsigned int nLen; //4byte, contains 34
    char szMSg [30];    
} PACKET_LOGIN;

이러한 구조체 데이터에 nLen 에는 문자열의 길이 (30)이 설정되고 szMSg 에는 "LOGIN|someUserId|SomePassWord~" 문자열이 담겨져서 node.js 서버로 전송되는것과 같다. 그러므로 전체 데이터의 길이는 헤더에 설정된 메시지 길이(30 byte) + 헤더 자체의 길이 (4byte) = 34 byte가 된다.

인터넷에서는 echo 서버, 혹은 단순히 클라이언트의 데이터를 받는 즉시 브로드캐스팅하는 예제를 볼수 있다. 하지만 tcp의 메시지 경계 없음으로 인한 데이터 fragmentation을 고려해줘야 제대로 동작하는 서버를 작성할수 있다. 이 때문에 전달되는 데이터가 완전한 하나의 패킷이 될때, 해당 처리를 해주고 만약 기대하는 길이만큼 전송이 다 되지 않았다면, 지금까지 받은 데이터를 누적시키는 작업이 필요하다.
전달되는 데이터가 모두 문자열이라면, 일반 변수를 사용해서도 가능하겠지만, 지금 구현하는것은 헤더부분이 32비트 정수형이기 때문에 (즉 바이너리 데이터 + 스트링 의 혼합) 뭔가 다른 방법이 필요하다. 이때 node.js 가 제공하는 Buffer 모듈을 사용하면 문자열 데이터 뿐만 아니라, 정수형 데이터도 처리가 가능하다.

node.js 의 thread pool(libuv) 부분

node.js 에서의 입출력 동작은 멀티쓰레드(thread pool)로 구현된다.
소스 코드에서 이 부분을 정리해본다. 다음과 같이 파일을 비동기로 읽어오는 스크립트가 있을때,
함수 호출을 따라가 보면 다음과 같다.

var fs = require('fs');
fs.readFile('./bigFile.txt', 'utf8', function(err, data) {
    console.log(data);
});
console.log('exiting...');

사용자의 스크립트에서 호출한 fs.readFile 함수는 /lib/fs.js 에 존재하며
내부적으로 다음 함수 호출을 한다.

node.js : threads-a-gogo compile error

node.js를 위한 thread, threads_a_gogo 컴파일시 오류 해결 방법

node.js single thread / multi thread ?

node.js 는 단일 쓰레드 환경이다.
그런데 이 말은, 사용자의 스크립트가 단일 쓰레드에서 구동된다는 의미이다. 즉, 사용자의 요청들을 처리하기 위한 이벤트 루프가 하나의 쓰레드로 돌아간다. 그러나, 실제 비동기 작업은 멀티 쓰레드(thread pool) 로 구현된다.

위 그림은 Jeff Kunkel 의 Node.js Explained 유튜브 동영상을 갭쳐한 것이다. 우측으로 node.js 의 쓰레드들이 잘 나타나 있다. node.js는 비동기 작업을 위해 libuv 를 활용하는데 여기서 Thread Pool 을 만들어서 작업쓰레드 들이 요청들을 처리하게 된다.

꿀벌이 사라진 이후

꿀벌을 보고 공상하다. 아니 망상일까?
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

꿀벌이 사라진 이후

꿀벌이 완전히 종적을 감추자, 과일등을 위주로 곡물생산량이 급감한다. 
인간들은 벌들이 사라진 근본원인은 생각하거나 개선하려 하지 않고, 
불완전한 유전자 조작 기술을 이용, 무성 생식이 가능한 생명체의 DNA 와 
농작물의 그것을 뒤섞어, 열매를 얻을수 있게 개량을 시도 하였다. 

node.js 에서 module.export, export차이는?

앞서의 글에서 node.js 의 내부구조를 약간 맛봤는데,
사용자의 스크립트에서 사용되는 전역객체, module의 속성 exports 와 그냥 exports의 사용시 의 차이점을 알아본다.

node.js 분석

Node.js source code analysis

How node executes user code ?

최근 국내에도 node.js 컨퍼런스가 개최되는등 관심이 높아지고 있다. 그런데 기존 javascript를 어떻게 웹브라우져에 독립적으로 만들었고, 서버 사이드에서도 활용가능한 여러 기능들을 어떤식으로 추가했는지, 그 내부 사항을 node.js의 소스 코드를 따라가면서 간략히 알아보자.

(2014.11.09 일 node.js github에 올려진 소스 코드를 기준으로 작성됨)

Node.js 맛보기

node.js 는 기존의 자바스크립트 문법을 사용해서, 웹 브라우져로부터 독립적인 환경에서, 비동기 처리의 장점을 활용하여 서버 사이드에서 요구되는 여러 기능을 구현할수 있게끔 구현 되었다.

먼저 간단한 예제를 보자.

var fs = require('fs');
fs.readFile('./bigFile.txt', 'utf8', function(err, data) {
  console.log(data);
});
console.log('exiting...');

파일을 비동기로 읽는 예제이다.

사용자가 작성한 javascript (이하 js) 에서는 file system 기능을 가지고 있는 fs 객체를 require ('fs') 함수로 요청하여 얻고, 그 객체의 readFile() 함수를 이용하고 있다.

이 파일을 fsTest.js 로 저장하고, 다음처럼 실행하면,

$ cp /usr/share/dict/words bigFile.txt --> 이것은 큰 사이즈의 파일을 만들기 위한 작업
$ node ./fsTest.js
exiting...
A
a
aa
......

'exiting' 문자열이 바로 출력되고 이후, 파일에 대한 비동기 읽기 작업이 완료될때 나머지 결과가 출력되는것을 볼수 있다.

이 예제에서 보이는 require 나 readFile 식별자들은 자바스크립트가 기본적으로 제공하는것이 아니라는 점을 유의하기 바란다. 위의 예제를 크롬 웹브라우져의 자바콘솔에서 돌려 본다면 다음과 같은 에러를 만나게 될것이다.

ReferenceError: require is not defined

Linux Asynchronous I/O 예제

지금 프로젝트에서 작성한 프로그램의 개선점을 찾다보니, 비동기 작업 처리를 위해 aio를 이용하면 좋을듯 하다. 아래 사이트 내용을 참조하여 완전한 예제로 구성해보았다.
http://www.ibm.com/developerworks/linux/library/l-async/

ios6 개발: Autorotation, viewDidUnload

FeelingNote app에 ios6을 적용하다가 알게 된것을 간단히 정리.

1. Autorotation 변경

ios6.0 이전에는 app이 처음 기동될때, 다음 순서를 따랐지만

- shouldAutorotateToInterfaceOrientation: 

- viewDidLoad

- viewWillAppear:

- shouldAutorotateToInterfaceOrientation: 

- viewDidAppear:

    

ios6.0에서는 다음 순서로 app이 기동이 됬다.

- viewDidLoad

- viewWillAppear:

- viewDidAppear:

forever loop 를 활용한 error handling

함수내 에러처리에 대한 방법은 여러가지가 있겠으나, 최근 흥미로운 글 하나를 읽었다.
http://www.codeofhonor.com/blog/error-handling-using-forever-loop
for loop 를 활용한 기법인데 정리해보면 다음과 같다.

먼저 일반적인 함수내 에러처리 방식을 보면, 아마 다음과 같을것이다.

bool someFuncPlain () 
{         
    if (작업1 수행이 실패한경우)
    {
        에러 발생시의 추가 작업수행...;
        return false;
    }

    if (작업2 수행이 실패한경우)
    {
        return false;
    }
    ....
 
    // 함수내 모든 처리 완료      
    return true;
}

regex basic

[] => [] 안에 존재하는 문자들중 한 문자만을 나타낸다.
    예) [abc] 는 a , b, c 중에 한문자. '-' 는 범위. 즉 [a-f] 는 [abcdf]

 \w => [a-zA-Z0-9_]
 \d => [0-9]
 .  => 모든 문자에 대응되는 한 문자
 +  => 한 문자 이상(하나는 반드시 존재, repeats the preceding regular expression at least once)
 *  => 문자나 집합이 없는 경우 또는 하나 이상 연속하는 경우에 일치한다. 없어도 ok
 ?  => 문자가 없거나 하나와 대응하는 문자   예) https?// - s가 없거나 한번 있는 경우와 대응
    ca?r matches both `car' and `cr', but nothing else.
 \ => 문자그대로 . 를 나타냄 (이스케이프)

 ab{3}" => b가 3개까지 (abbb)
 ab{3,5}" =>  b가 3개에서 5개 까지 (abbb, abbbb, abbbbb )
 ab{2,}" => b의 개수가 2개 이상 (abb, abbbbb ...)
 {3,} => 최소 3번 일치함을 의미한다.

 () => ()안에 있는 글자들을 그룹화, 하위 표현식.
    a(bc)* : a라는 문자를 포함하고 bc라는 문자열이 없거나 계속반복( a, abc abcbc 등)
    a(bc)  : a라는 문자를 포함하고 bc라는 문자열이 있거나 없거나. (a,abc)

    (\d{1,3}\.){3}\d{1,3} => ip addr

 공백 문자 => \n, \r, \t, \f-form feed, \v-vertical tab
 \s => 공백 ,[\f\n\r\t\v],
 \S => 공백아님 , [^\f\n\r\t\v]

 |  => or 연산자, 묶음 안에서 하나를 일치시키고자 할 때
    IP주소를 구성하는 각 숫자 묶음을 유효한 조합으로 정의하는 규칙
    - 모든 한 자리 혹은 두 자리 숫자
    - 1로 시작하는 모든 세자리 숫자
    - 2로 시작하면서 두 번째 자리 숫자가 0부터 4사이의 모든 세 자리 숫자
    - 25로 시작하면서 세 번째 자리 숫자가 0부터 5사이의 모든 세 자리 숫자

    (((\d{1,2})|(1\d{2})|(2[0-4]\d)|(25[0-5]))\.){3}((\d{1,2})|(1\d{2})|(2[0-4]\d)|(25[0-5]))

    주민번호 : \d{2}(0[1-9]|1[0-2])(0[1-9]|[12][0-9]|3[01])-[1-4]\d{6}


탐욕적 수량자,  게으른 수량자
    *                            *?
    +                            +?
    {n,}                       {n,}?

    예) "<B>111</B> and <B>222</B>" 에서

    <[Bb]>.*</[Bb]>  => 111 and 222
    <[Bb]>.*?</[Bb]> => 111, 222

egrep 에서 111이후 대문자3자리로 끝나는  프로세스 검색
==> -w 옵션 사용

> ps -ef | egrep -w  '111[A-Z]{3}'

python decorator

#!/usr/bin/env python
# -*- encoding:utf-8-*-
import time

def elapsed_time(functor):
    def decorated(*args, **kwargs):
        start = time.time()
        functor()
        end = time.time()
        print "Elapsed time: %f" % (end-start)
    return decorated
    
@elapsed_time
def hello():
    print 'hello'

# 위의 코드는 다음과 동일.
# def hello(*args, **kwargs):
#     print 'hello'
# 를 정의후 다음을 호출하는것과 같음,
# hello = elapsed_time(hello)
# hello()

if __name__ == "__main__":
    hello()
    # hello = elapsed_time(hello)
    # hello()

Python Flask 설치 (windows)

0. 당연히 python은 먼저 설치되어 있어야 함.

1. easy_install, pip 설치 : 이것들은 Python 패키지들을 설치하고 관리하기 위한 도구이다. 다음 순서대로 수행.

  - easy_install 설치
  http://python-distribute.org/distribute_setup.py 을 다운받아서 실행.

  - PC path에 C:\Python27\Scripts 를 추가.  

  - pip 설치 : easy_install pip

2. 이제 Flask를 설치 할수 있다. 다음을 실행. 
  
  pip install Flask


* 여기서 부터는 옵션.

  virtualenv : 서로 다른 버전의 파이선, 라이브러리들과 작업해야 하는 경우에 자신의 프로젝트만을 위한 파이선 개발 환경을 만들수 있다. 사용하고 싶다면 다음을 실행.
  
  pip install virtualenv
  (혹은 easy_install virtualenv 으로도 가능)

  그리고 프로젝트 폴더상에서 다음을 실행
  virtualenv venv

  이제 관련 폴더들이 생성되고, 해당 프로젝트를 위한 환경이 구성되었다.
  해당 환경을 활성화 시키기 위해 다음을 실행한다.

  venv\scripts\activate

  프롬프트가 (venv) 로 변경됨을 알아두자. 이상태에서, pip install Flask 을 수행해서 개발환경을 만들수 있다. 이경우,
  \venv\Lib\site-packages 에 관련 패키지가 설치된다(즉, 프로젝트별 환경이 구성됨).

Ruby on Rails 간단 게시판 다시 만들어보기

예제 소스: https://github.com/jeremyko/RailsBoardSample/tree/moreRailsWay
참고한 문서 : http://ruby.railstutorial.org/ruby-on-rails-tutorial-book

앞서 예제를 좀더 수정해서 약간 더 개선시킨 소스이다. 추가된 부분은 다음과 같다.

1. RESTful routing
2. form_for , 모델을 폼과 연결
3. Partial 사용, 중복 제거
4. Validation check
5. bootstrap-sass

1. RESTful 제공

rails가 제공하는 resources 메서드 를 호출해서 RESTful한 route를 사용할수 있다.
route.rb 파일을 다음처럼 변경한다.

* route.rb
RailsBoard::Application.routes.draw do       
    root :to => 'my_rails_board_rows#index'
   
    #REST-style URI    
    resources :my_rails_board_rows
    
    #matchs...
    match '/listSpecificPageWork',  to: 'my_rails_board_rows#listSpecificPageWork'    
    match '/searchWithSubject',  to: 'my_rails_board_rows#searchWithSubject'    
    match '/EditViaPostReq',  to: 'my_rails_board_rows#EditViaPostReq'   
end

이렇게 한줄 추가함으로서 rails에서 처리가능한 route는 다음처럼 구성되게 된다.

< Table 1 RESTful URI >
# ------------------------------------------------------------------------------------
# request     URI                                       Action      Purpose
# ------------------------------------------------------------------------------------
# GET          /my_rails_board_rows             index    모든 게시물들 조회
# GET          /my_rails_board_rows/1          show     id 1의 게시물 조회
# GET          /my_rails_board_rows/new      new       새로운 게시물 작성을 위한 화면 보임
# POST        /my_rails_board_rows            create    새로운 게시물을 생성 처리
# GET          /my_rails_board_rows/1/edit   edit        id 1 게시물 수정을 위한 화면 보임
# PUT          /my_rails_board_rows/1          update   id 1 게시물 수정 작업 처리
# DELETE    /my_rails_board_rows/1          destroy  id 1 게시물 삭제 처리

게시물 CRUD 처리를 RESTful하게 처리하기 때문에, 이전 예제와 비교시 action이 간단해졌다. 또한 Rails는 url을 간단하게 표시할수 있게끔 helper를 같이 생성해주는데, resources :my_rails_board_rows 의 경우 다음과 같은 helper들이 생성된다.

    ------------------------------------------------------------------------------------
    helper                                            호출시 return 되는 값
    ------------------------------------------------------------------------------------
    my_rails_board_rows_path               /my_rails_board_rows
    new_my_rails_board_row_path          /my_rails_board_rows/new
    edit_my_rails_board_row_path(:id)    /my_rails_board_rows/:id/edit
    my_rails_board_row_path(:id)           /my_rails_board_rows/:id

RESTful 구현을 위해 컨트롤러를 작성해보자
resources 호출로  RSESTful한 접근을 설정한 경우, Rails 는 위에서 표시된 것처럼(예를 들어, my_rails_board_rows/new), 모델명을 기준으로 컨트롤러를 찾게 된다. 즉, my_rails_board_rows_controller.rb를 찾는데, 현재 이 파일이 없으므로 생성해줘야 한다.

Ruby on Rails 간단 게시판

(rails 에 관심있는 새내기에 의한, 새내기를 위한 글 입니다~~).

요즘 취미로 Ruby on Rails 에 대해 공부하고 있는데, 간단한 게시판 예제를 작성 해보자.

이 예제의 소스는 여기서 받을수 있다.
https://github.com/jeremyko/RailsBoardSample

여기서 만들 게시판은 앞서 spring, django 에서 예제로 만든것 과 동일한 기능의 게시판이다. 간단한 기능을 가진 게시판이라서, Rails가 제공해주는 scaffolding 을 사용하면 10분 이내로도 작성이 가능할 수 있지만, 이 예제에서는 scaffolding 을 사용하지 않고 처음부터 작성하는것으로 한다. 그리고 Rails 에서 가능한 여러 기능들 즉, RSpec을 사용한 BDD, REST지원, validation check, coffee script, 뷰에서의 partial 등은 일단 간단 게시판을 먼저 작성한후, 향후 포스팅을 통해서 점차 적용시켜보도록 할것이다.

rails와 ruby 개발 환경은 완료된 상태라고 가정한다.
이 예제에서의 사용된 개발환경은 다음과 같다.
ruby 1.9.3p194 (2012-04-20) [i386-mingw32]
Rails 3.2.8

그리고 사용할 DB는 기본 Sqlite 로 하기로 한다.
만약, Oracle 사용시에는 그에 따른 약간의 소스 코드 수정이 필요한데, 그것은 주석으로 표시하였다.

Windows 에서 Ruby on Rails (RoR) 3.2.8 + Oracle XE 11g

RoR 은 기본적으로 Sqlite 를 Database로 제공해주고 있다. 나는 Oracle XE를 개발용으로 사용중이라서, 여기에 맞춰서 설정을 해보기로 했다. 개발 환경은 다음과 같다.

Ruby 1.9.3

RoR  3.2.8

Oracle XE 11g

1. RoR 설치

설치 관련해서는 이미 많은 글들이 존재하므로 다시 내가 뭘 다시 써야할 내용은 없을 것 같다. 간단하게 말해보면, 먼저 Ruby를 설치하고 (http://rubyinstaller.org/downloads/), 이때 Windows 에서 gem 설치를 위해서 DevKit도 같이 다운로드 해서 설치한다. 그리고 명령 프롬프트 상에서 다음을 실행해서 RoR을 설치한다.
  gem install rails

DevKit설치는 다운받아 압축을 푼 디렉토리 내에서 다음을 수행한다.

  ruby dk.rb init

  ruby dk.rb install

(https://github.com/oneclick/rubyinstaller/wiki/Development-Kit 을 참조)

아니면, 간단하게 http://railsinstaller.org/ 에서 통합 패키지를 다운로드 받아서 설치할수도 있다.