장당 500원만 받아요

장당 2000만원에 비하면 거저.

node.js 이용한 서울시 미세먼지정보 가져오기

틈날때마다 미세먼지 농도 모니터링 하는 취미가 있어서 ^ ^ 작성해 보았다.
https://github.com/jeremyko/seoul_dust

c++ expression tree

https://github.com/jeremyko/expression-tree-with-user-functions

C++ 로 작성된, 사용자가 정의한 함수를  사용할수 있게한 수식트리. 

export_to_sqlite3 : simple command line based utility for exporting oracle or mysql to sqlite3

https://github.com/jeremyko/export_to_sqlite3

This is simple command line based utility for exporting oracle/mysql to sqlite3.

Usage :

export_to_sqlite SQLITE_FILE DB_TYPE DB_USER DB_PASSWD IP PORT DB_NAME

ex : from oracle 
    export_to_sqlite mydb.sqlite ORACLE  scott  tiger  192.168.1.225 1521 orcl

ex : from Mysql
     export_to_sqlite mydb.sqlite MYSQL   user  passwd   192.168.1.204 3306 PCN


auto generated scripts :

sqlite_schema_script.sql ==> sqlite table schema generation script.

sqlite_fill_script.sql           ==> sqlite table insert script.

radius packet 생성 프로그램

https://github.com/jeremyko/radiusPacketMaker

일터에서 사용하기 위해 작성한 테스트 용 유틸. 미리 작성한 데이터 파일에서 읽어서 radius 양식에 맞춰 파일에 저장한다. 이를 radius 수신 프로그램을 전송하면 테스트 가능. 

RADIUS RFC : http://www.iana.org/assignments/radius-types/radius-types.xhtml

string.h 없이 strtok 사용시 SIGSEGV 발생하는 경우

다음 코드는 컴파일도 잘되는듯 하고, 간단해서 문제 없이 실행될것 처럼 보인다. 그런데 실행을 해보면 SIGSEGV가 발생하면서 죽어버리는 현상이 발생한다.

맥에서 telnet으로 linux 접속후 vi 한글 입력

mac iterm2 에서 linux 로 telnet을 이용한 접근 시 ,
한글 입력이 안되는 경우, 먼저 터미널 encoding 을 Korean 으로 설정하고,
telnet명령 수행 시 -8 option을 주니 해결되었다.

telnet -8 -E -l user_id 192.168.1.111

다음은 man page 설명.
-8      Specifies an 8-bit data path.  This causes an attempt to negotiate the TELNET BINARY option on both input and output.

oracle ACL

oracle stored procedure 등에서 외부 ip address접근 시도시 ACL오류 발생 하는 경우 다음을 확인해본다. sysdba 권한이 필요하다.

-- 먼저 현재 상태 확인

select * from DBA_NETWORK_ACLS; 

-- 해당 ip address 없으면 새로운 ACL 생성 

exec dbms_network_acl_admin.create_acl('test_tcp.xml','Network connection permission to HTTP server for TEST', 'TEST', TRUE, 'connect');

exec dbms_network_acl_admin.add_privilege('test_tcp.xml','DB계정',true,'resolve');

exec dbms_network_acl_admin.add_privilege('test_tcp.xml','DB계정',true,'connect');

exec dbms_network_acl_admin.assign_acl('test_tcp.xml','192.168.1.111');

UITextField becomeFirstResponder 가 NO를 리턴하는 경우

예전에 개발해 놓고 거의 방치하다시피 한 FeelingNote를 ios6 대응 업그레이드 하려고 보니,
한가지 이상한 점 을 발견했다. 코드상에서 동적으로 UITextField 를 생성하고, 키보드 입력이 가능하게끔
becomeFirstResponder 호출을 하던 부분이 있었고, 제대로 동작하고 있었는데
ios6에서는 제대로 동작하지 않는다. 이건 정말 난감..
수많은 삽질과 구글링을 통해 알아낸 사실은 ios6 에서는 동적으로 생성된 UITextField 가 화면에 보인 시점에서야  becomeFirstResponder 호출이 성공한다는 것이다. 구글링을 하다보면 becomeFirstResponder호출이 viewWillAppear 에서는 안되고 viewDidAppear 에는 성공한다는 것도 다 이런 맥락인듯하다. 
즉, 생성한 뷰가 화면에 보이는 시점 (즉, view hierarchy 에 존재하는 시점, view의 window 속성이 nil이 아닌 경우라고)에 성공한다.




Apple's doc in UIResponder:
You may call this method to make a responder object such as a view the first responder. However, you should only call it on that view if it is part of a view hierarchy. If the view’s window property holds a UIWindow object, it has been installed in a view hierarchy; if it returns nil, the view is detached from any hierarchy.

결국, viewDidAppear 에서 앞서 생성한 UITextField를 알아내서  becomeFirstResponder 를 호출했더니 키보드 입력이 처리 되었다. 그럼 여기서 의문점..ios5와 왜 동일하게 동작하지 않는지? 이런것 때문에 허비한 시간을 생각하니, ...참.. 어렵다 어려워...

xslt 초간단 정리

2013-05-16 업데이트 : 

sqlite를 사용하는 라이브러리를 작성.
https://github.com/jeremyko/ComDBLib

xml은 간단한 설정 이나 프로그램간 데이터 교환시에 유용하다.
만약 xml 데이터를 데이터베이스 용도로 사용하고 싶다면, 기존 상용/오픈소스 정도 수준의 API 를 제공할 각오로 개발을 하던지, 아니면 그냥 오픈 소스 도입하자는게 나의 생각이다.

지금 일하는 사이트에서 xml과 xslt를 사용해서 xml db를 를 구현하는 상황을 맞이하고 있다. 
모든 데이터베이스 테이블의 자료를 xml 파일로 변환해서 ftp 로 다운로드후, 
프로그램이 데이터베이스를 안보고 이 xml에서 원하는 데이터를 추출하려는 의도로 보이는데,, 
문제는 모든 프로그램 내 sql query에 상응하는 xslt 파일을 만들어 줘야 한다는 것이며, 
또한 간단한 select 하나도 일일이 xslt 로 구현하자니 여간 성가시고 시간 잡아먹는 일이 아닐뿐더러, 
거기다 한술 더떠 distinct, group by, like, join , sub query등의 
약간만 복잡한 query가 나오는 경우엔 이걸 다 일일이 xslt 문법을 통해서 구현을 해줘야한다는 것이다.. 
그리고 만약 아주 복잡한 쿼리를 사용한 경우라면 구현 자체가 불가능 해질수도 있다.
웹에서나 화면 처리하라는 용도의 xslt 아니었던가? 이거 가지고 뭐하는 건지..
xml은 데이터 교환이나 간단한 설정 파일용도로 사용해야지 ..
그나저나 다시 예전의 기억을 되살려서 xslt 문법 보고 있는 내모습 ㅠㅠㅠ

근황

과금 솔루션 업체에 단기 프로젝트 들어와서 열심히 삽질 중. 블로그에 도통 글올릴 틈이 없군.

NERDTree 4.2.0 디렉토리가 안열리는 경우

NERDTree 실행후 디렉토리 명 앞에 이상한 문자가 붙어서, 정상적으로 파일을 열수 없는 경우

다음처럼 .vimrc 에 설정한다.

let g:NERDTreeDirArrows=0

원인은 NERDTree가 출력하는 화살표 문자가 vim에서 지원되지 않는 경우 라고 한다.

https://github.com/scrooloose/nerdtree/issues/108 참고

그리고 nerdtree는 utf-8에서 제대로 동작한다. 이거 때문에 본인도 삽질한 기록이 있으니
http://jeremyko.blogspot.com/2018/09/nerdtree-euc-kr.html
를 참고하시길. nerdtree를 euc-kr 로 설정된 서버에서 사용하는 방법에 대한 정리임. 달리 말하면 vim을 개별 사용자별로 설정해서 사용하기 위한 방법이라고 할수도 있음.

JavaScript Allongé eBook 구입

얼마 전 Hacker News 에 소개된 전자책인데 leanpub을 통해 구입해서 읽고 있다 . PDF혹은 아이패드나 아이폰에서도 볼수 있는 eBook 형식으로 제공된다. JavaScript Allongé 는 기본 문법을 알고 있는 독자를 대상으로, 각 장마다 자바 스크립트의 함수를 사용하는 새로운 관점들을 소개하고 있다. 그리고 각 장이 끝날 때마다 recipes 항목을 통해서, 앞서 배웠던 항목을 기본으로,  실용적인 활용 법을 소개해주고 있다. 개인적으로 추천할만한 내용이라고 생각한다. 한번 방문해보시길...

(Allongé 는 에스프레소와 아메리카노의 중간 정도 되는 커피라고 한다~커피관련 지식은 덤^^)

node.js chat server with QT client

node.js tcp chatting server with QT client

node.js로 구현한 채팅 서버 및 QT로 GUI를 꾸민 클라이언트이다.
사용자 등록, 로그인, 대화상대 추가/삭제, 로그인/아웃 알림 및 메시지 전달 기능이 구현되어 있다.

Current features:

1. enroll user
2. add/remove friend
3. login and retrieve my friend list
4. notify logged in/out
5. deliver chat message

Server

net, Buffer module을 이용해서 작성되었다. 클라이언트와 주고받는 패킷의 정의는 다음과 같다.

The Packet format is : binary data + string 
4 byte header (means a length of following message) + message

The message format is :
string|(delimiter)... 

제일 먼저 32비트 정수가 포함되고 이후에는 문자열로 구성된 양식이다. 헤더와 메시지를 구분하는 별도 구분은 없다. 문자열의 길이는 이 32비트 정수에 설정 된다. 메시지의 형식은 먼저 사용 목적이 나오고 이후 구분자로 구분된 데이터들이 전송된다. 예를 들어 로그인의 경우라면 전달되는 전체 데이터는 다음과 같게 된다.

ex) Login message
4byte_integerLOGIN|SomeUserId|SomePassWord~

즉, 바이너리 데이터와 문자열이 포함되는 형식인데, 결국 다음과 같은 C 구조체가 전송되는 것과 같다.

This can be described as a C structure like this :
typedef struct _PACKET_LOGIN
{
    unsigned int nLen; //4byte, contains 34
    char szMSg [30];    
} PACKET_LOGIN;

이러한 구조체 데이터에 nLen 에는 문자열의 길이 (30)이 설정되고 szMSg 에는 "LOGIN|someUserId|SomePassWord~" 문자열이 담겨져서 node.js 서버로 전송되는것과 같다. 그러므로 전체 데이터의 길이는 헤더에 설정된 메시지 길이(30 byte) + 헤더 자체의 길이 (4byte) = 34 byte가 된다.

인터넷에서는 echo 서버, 혹은 단순히 클라이언트의 데이터를 받는 즉시 브로드캐스팅하는 예제를 볼수 있다. 하지만 tcp의 메시지 경계 없음으로 인한 데이터 fragmentation을 고려해줘야 제대로 동작하는 서버를 작성할수 있다. 이 때문에 전달되는 데이터가 완전한 하나의 패킷이 될때, 해당 처리를 해주고 만약 기대하는 길이만큼 전송이 다 되지 않았다면, 지금까지 받은 데이터를 누적시키는 작업이 필요하다.
전달되는 데이터가 모두 문자열이라면, 일반 변수를 사용해서도 가능하겠지만, 지금 구현하는것은 헤더부분이 32비트 정수형이기 때문에 (즉 바이너리 데이터 + 스트링 의 혼합) 뭔가 다른 방법이 필요하다. 이때 node.js 가 제공하는 Buffer 모듈을 사용하면 문자열 데이터 뿐만 아니라, 정수형 데이터도 처리가 가능하다.

node.js 의 thread pool(libuv) 부분

node.js 에서의 입출력 동작은 멀티쓰레드(thread pool)로 구현된다.
소스 코드에서 이 부분을 정리해본다. 다음과 같이 파일을 비동기로 읽어오는 스크립트가 있을때,
함수 호출을 따라가 보면 다음과 같다.

var fs = require('fs');
fs.readFile('./bigFile.txt', 'utf8', function(err, data) {
    console.log(data);
});
console.log('exiting...');

사용자의 스크립트에서 호출한 fs.readFile 함수는 /lib/fs.js 에 존재하며
내부적으로 다음 함수 호출을 한다.

node.js : threads-a-gogo compile error

node.js를 위한 thread, threads_a_gogo 컴파일시 오류 해결 방법

node.js single thread / multi thread ?

node.js 는 단일 쓰레드 환경이다.
그런데 이 말은, 사용자의 스크립트가 단일 쓰레드에서 구동된다는 의미이다. 즉, 사용자의 요청들을 처리하기 위한 이벤트 루프가 하나의 쓰레드로 돌아간다. 그러나, 실제 비동기 작업은 멀티 쓰레드(thread pool) 로 구현된다.

위 그림은 Jeff Kunkel 의 Node.js Explained 유튜브 동영상을 갭쳐한 것이다. 우측으로 node.js 의 쓰레드들이 잘 나타나 있다. node.js는 비동기 작업을 위해 libuv 를 활용하는데 여기서 Thread Pool 을 만들어서 작업쓰레드 들이 요청들을 처리하게 된다.

꿀벌이 사라진 이후

꿀벌을 보고 공상하다. 아니 망상일까?
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

꿀벌이 사라진 이후

꿀벌이 완전히 종적을 감추자, 과일등을 위주로 곡물생산량이 급감한다. 
인간들은 벌들이 사라진 근본원인은 생각하거나 개선하려 하지 않고, 
불완전한 유전자 조작 기술을 이용, 무성 생식이 가능한 생명체의 DNA 와 
농작물의 그것을 뒤섞어, 열매를 얻을수 있게 개량을 시도 하였다. 

node.js 에서 module.export, export차이는?

앞서의 글에서 node.js 의 내부구조를 약간 맛봤는데,
사용자의 스크립트에서 사용되는 전역객체, module의 속성 exports 와 그냥 exports의 사용시 의 차이점을 알아본다.

node.js 분석

Node.js source code analysis

How node executes user code ?

최근 국내에도 node.js 컨퍼런스가 개최되는등 관심이 높아지고 있다. 그런데 기존 javascript를 어떻게 웹브라우져에 독립적으로 만들었고, 서버 사이드에서도 활용가능한 여러 기능들을 어떤식으로 추가했는지, 그 내부 사항을 node.js의 소스 코드를 따라가면서 간략히 알아보자.

(2014.11.09 일 node.js github에 올려진 소스 코드를 기준으로 작성됨)

Node.js 맛보기

node.js 는 기존의 자바스크립트 문법을 사용해서, 웹 브라우져로부터 독립적인 환경에서, 비동기 처리의 장점을 활용하여 서버 사이드에서 요구되는 여러 기능을 구현할수 있게끔 구현 되었다.

먼저 간단한 예제를 보자.

var fs = require('fs');
fs.readFile('./bigFile.txt', 'utf8', function(err, data) {
  console.log(data);
});
console.log('exiting...');

파일을 비동기로 읽는 예제이다.

사용자가 작성한 javascript (이하 js) 에서는 file system 기능을 가지고 있는 fs 객체를 require ('fs') 함수로 요청하여 얻고, 그 객체의 readFile() 함수를 이용하고 있다.

이 파일을 fsTest.js 로 저장하고, 다음처럼 실행하면,

$ cp /usr/share/dict/words bigFile.txt --> 이것은 큰 사이즈의 파일을 만들기 위한 작업
$ node ./fsTest.js
exiting...
A
a
aa
......

'exiting' 문자열이 바로 출력되고 이후, 파일에 대한 비동기 읽기 작업이 완료될때 나머지 결과가 출력되는것을 볼수 있다.

이 예제에서 보이는 require 나 readFile 식별자들은 자바스크립트가 기본적으로 제공하는것이 아니라는 점을 유의하기 바란다. 위의 예제를 크롬 웹브라우져의 자바콘솔에서 돌려 본다면 다음과 같은 에러를 만나게 될것이다.

ReferenceError: require is not defined