쭌안아빠

2018년 1월 27일 토요일

vim + 정규식을 이용한 smi 파일 일괄 수정

주말이라서 영화를 받았는데,smi 파일은 있는데 자막이 안나온다. 좋아하는 영환데...
smi 파일을 열어보니, 뭔가 알수 없는 규칙으로 작성되있다.

<SYNC Start=55046>알아, 궁금하겠지                                                             
<SYNC Start=56681>&nbsp;                                                                                     
<SYNC Start=56748>'천하의 토르가<br>                                                                         
어쩌다 이 꼴이 됐을까?'                                                                                                     
<SYNC Start=60318>&nbsp;                                                                                     
<SYNC Start=60485>때론 잡혀야만<br>                                                                          
원하는 걸 알아낼 수 있거든

자막파일은 있는데 왜 안나올까 궁금하여 잠시 알아보니 한국 자막인 경우엔 다음처럼 되어야 한다고 한다..

<SYNC Start=55046> <P Class=KRCC>알아, 궁금하겠지                                                             
<SYNC Start=56681> <P Class=KRCC>&nbsp;                                                                                     
<SYNC Start=56748> <P Class=KRCC>'천하의 토르가<br>                                                                         
어쩌다 이 꼴이 됐을까?'                                                                                                     
<SYNC Start=60318> <P Class=KRCC>&nbsp;                                                                                     
<SYNC Start=60485> <P Class=KRCC>때론 잡혀야만<br>                                                                          
원하는 걸 알아낼 수 있거든

<P Class=KRCC> 가 있어야 한국어 자막으로 인식된다고.
자막 생성자가 뭔가 잘못 올린듯.. 시험삼아 고쳐보니, 제대로 자막이 출력된다.
전체 자막을 수정하기 위해 vim으로 열어서 다음을 실행했다.

:%s/<SYNC Start=[0-9]*>/\0 <P Class=KRCC>/g

replace 명령을 수행할때 정규표현식을 사용하여, 먼저 <SYNC Start=숫자> 포맷을 찾고, 그 전체 문자열(\0) 에다가 <P Class=KRCC>를 덧붙인것이다.

참고 : http://vim.wikia.com/wiki/Search_and_replace#Details

2018년 1월 10일 수요일

libcurl POST 한글 encoding

curl 프로그램을 사용하여 POST 전송 시, 한글 데이터를 endcoding 해서 전송하는 방법은 다음과 같다.

curl -d "NAME1=test data" --data-urlencode "NAME2=한글데이터" http://xxx.yyy.zzz

-d 옵션으로 여러번 지정을 해도 curl이 merge해줘서 전달되는 데이터는 "NAME1=test data&NAME2=한글데이터" 이 된다. URL-encoding 이 필요한 값은 -d 대신 --data-urlencode 로 지정 해 준다.

한편 c++ 에서 libcurl을 사용하여 동일한 작업을 수행하려면 다음처럼 하면 된다.

curl_easy_setopt(curl, CURLOPT_URL, "http://postit.example.com/moo.cgi");

//encoding할 한글데이터만 분리해서 처리 후
char temp_buffer[1024];
int len=snprintf(temp_buffer, sizeof(temp_buffer),"%s","한글데이터");
char* encoded = curl_easy_escape(curl, temp_buffer, len);

//하나의 문자열로 조합해야한다.
char post_field [1024];
snprintf(post_field, sizeof(post_field),"%s&NAME2=%s","NAME1=test data", encoded);
curl_easy_setopt(curl, CURLOPT_POSTFIELDS, encoded);

curl_easy_perform(curl);
curl_free(encoded);

curl 프로그램으로 전송할때와 달리 libcurl 사용 시에는 CURLOPT_POSTFIELDS 를 한번만 사용해야 한다. 이를 위해서는 encoding될 한글 데이터만을 별도로 분리하여 curl_easy_escape 함수를 호출해야 한다. 즉 아래처럼 사용하는 경우에는 에러가 발생된다.

//error 발생!
char temp_buffer[1024];
int len=snprintf(temp_buffer, sizeof(temp_buffer),"%s","NAME1=test data&NAME2=한글데이터");
char* encoded = curl_easy_escape(curl, temp_buffer, len);
curl_easy_setopt(curl, CURLOPT_POSTFIELDS, encoded);

이 경우에는 데이터가 모두 encoding 되면서 '=' 문자도 함께 되버리기 때문에, 받는 쪽에서 에러를 뱉게 된다.
curl_easy_escape 함수 문서를 보면 다음과 같이 설명되어 있다.
All input characters that are not a-z, A-Z, 0-9, '-', '.', '_' or '~' are converted to their "URL escaped" version (%NN where NN is a two-digit hexadecimal number).

처음에 나온 curl 프로그램을 사용하는 경우에는
curl -d "NAME1=test data" --data-urlencode "NAME2=한글데이터" http://xxx.yyy.zzz
--data-urlencode "NAME2=한글데이터" 이 부분에서 curl 이 "=" 이후 부분만 알아서 인코딩 해주기 때문에 수신 측에서도 문제가 없다. 하지만 libcurl 은 이런식으로 동작하지 않으므로 주의가 필요할듯.

2017년 12월 24일 일요일

oracle PCC-S-02322, found undefined identifier 에러 발생의 어이없는 이유

지금 하고있는 프로젝트에서 오라클을 사용하는 부분이 있어서, 그 옛날의 proc 를 사용해서 개발하는 부분이 있는데, 이런 오류가 발생했다.

PCC-S-02322, found undefined identifier

그런데 소스 변경은 하나도 하지 않고, 단지 서버 장비만 변경된 경우이다.
이것 저것 확인하여 알아낸 사실은, 소스 코드내에서의 문제가 아니고 oracle NLS_LANG 설정이 기존과 다르면 발생할수 있다.

이 설정이 기존에는 AMERICAN_AMRRICA.UTF8 인데 변경된 장비에서는 AMERICAN_ARERICA.KO16KSC5601 로 되어 있었다.
(그리고 pc 소스파일은 utf-8로 인코딩 된 상태)
이설정을 원래대로 하고 컴파일 하니 이상없게 된다.

그런데 왜 난데없이 undefined identifier 라는 에러가 튀어나오는지는 정말 어이없고 마음에 안든다.

2017년 12월 3일 일요일

localtime_r 은 thread safe 하지 않다? deadlock발생 경우.

며칠 전 개발하면서 겪었던 상황인데,
fork 된 child process에서는 localtime_r 과 같은 시간관련 함수를 사용할때 유의해야 한다.

localtime 함수는 시간을 구하는 함수이다.
이 함수는 내부적으로 static 변수에 값을 저장하기 때문에 thread safe하지 않다.
그래서 멀티 쓰레드 환경에서는 localtime_r 을 사용하게 된다.
여기까지는 일반적으로 다들 알고 있는 내용일 것이다.
그런데 localtime_r 함수를 사용해도 문제가 되는 경우가 발생했다.
fork 함수와 multi thread 가 만나면 문제가 된다.
다음 코드처럼, run_child_process 라는 함수가 멀티쓰레드에서 호출되며,
함수 내부에서는 fork를 이용해서 자식 프로세스를 생성하고 있는 경우를 생각해보자.
만약 fork 된 자식 process에서 logging이 발생되는 경우, deadlock 이 발생할수도 있다
(logging 을 처리는 내부적으로 localtime_r 함수를 사용중이다).

void SomeUtilClass::run_child_process(const char* command)
{
    LOGD("run this command [%s]", command); //logging macro이다.내부적으로 localtime_r 을 호출한다.
    pid_t pid = fork(command);
    if(pid >0)
    {
        //parent
    }
    else if(pid == 0 )
    {
        //child
        LOGD("child started..."); //XXX fork 된 child에서 logging 호출!
        ....
    }
    .....
}

멀티쓰레드 문제가 대부분 그렇듯.. 항상 deadlock 이 발생하는게 아니고,
운이 나쁘면 종종 발생한다는것이 큰 문제다.

이 코드가 문제가 되는 이유는, localtime_r 호출 시 내부적으로 lock이 걸리는데 fork와 같이 사용되면서
lock 이 잠긴 상태에서 다시 lock을 잡게 되는 경우가 발생 가능하기 때문이다(즉 deadlock).

즉, 다음 순서가 재현되면 deadlock 이 발생한다.

1. 부모 프로세스가 멀티 쓰레드를 생성하고 각 쓰레드가 run_child_process 를 호출한다
2. 부모 프로세스가 logging을 호출하게 된다.
3. fork된 자식 프로세스도 logging 을 호출한다. 그런데 fork된 자식 프로세스는 부모의 lock도 상속받는다.
   (The entire virtual address space of the parent is replicated in the child,
    including the states of mutexes, condition variables, and other pthreads objects;)

4. 이때 운나쁘게 부모가 잡은 lock이 풀리기 전(localtime_r 호출이 종료되기 전) 에
   자식이 다시 lock을 얻는 시도(localtime_r 호출)를 하게되면 deadlock에 빠진다.

fork 를 사용하는 경우에는, 부모 로부터 뭔가를 상속 받는다는 것을 유념하고, 조심해야겠다..

2017년 10월 21일 토요일

ubuntu server virtualbox remote ssh root login 설정

ubuntu 서버 virtualbox 원격 ssh 로그인 설정

1.root 계정 생성 : sudo passwd root 수행 후 su 수행.

2.ubuntu server 에 sshd 동작 확인 --> ps -ef | grep sshd
설치 안된 경우엔 apt-get install openssh-server -y

3.ssh root login 설정 : vi /etc/ssh/sshd_config , PermitRootLogin yes 변경.

4.virtualbox 의 네트워크 환경 어댑터 2 는 불필요, 기본 어댑터의 포트 포워딩에 추가.
예를 들어, os x 터미널에서 ssh root@127.0.0.1 -p1234 처럼 접속하기 위해서는 다음처럼 설정한다.

5. ubuntu 재시동 후 ssh root@127.0.0.1 -p1234 로그인 확인

2017년 10월 8일 일요일

c++ thread pool

https://github.com/jeremyko/kothreadpool

간단한 worker thread pool 정도만 필요해서 하나 만들어 보았다.
사용법은 다음과 같다.

#include <iostream>
#include <string>
#include <atomic>
#include "KoThreadPool.hpp"

std::atomic<int> gSum1;
std::atomic<int> gSum2;


bool MyThreadWork()
{
    gSum1++;
    return true;
}


class MyClass
{
    public:
        MyClass()  {} ;
        ~MyClass() {} ;

        bool MyThreadWork()
        {
            gSum2++;

            return true;
        }

};


int main()
{
    KoThreadPool tpool;

    if( ! tpool.InitThreadPool() ) 
    {
        std::cerr << "Error : Init" << "\n";
        exit(1);
    }

    gSum1 = 0;
    gSum2 = 0;

    MyClass myclass;

    int i = 0;
    while(true)
    {
        if(i >= 10000)
        {
            break;
        }

        //class member
        std::function<void()> temp_func1 = std::bind( &MyClass::MyThreadWork, &myclass)  ;
        tpool.AssignTask(temp_func1 )  ;

        //free function
        std::function<void()> temp_func2 = std::bind( &MyThreadWork )  ;
        tpool.AssignTask(temp_func2 )  ;
        i++;
    }
    tpool.Terminate(); //graceful terminate : wait until all work done
    //tpool.Terminate(true); //terminate immediately
    
    std::cout << "gSum1 =" << gSum1 << "\n";
    std::cout << "gSum2 =" << gSum2 << "\n";
    
    

    return 0;
}

jeremykoui-MacBook-Pro:sample jeremyko$ ./simple_test
std::thread::hardware_concurrency() = 8
gSum1 =10000
gSum2 =10000

2017년 4월 26일 수요일

변기 디버깅 : 원피스 변기 앞쪽 물 안내려감

이글은 프로그래밍과 관련없음.
화장실 원피스 변기 수리(디버깅)하면서 알게된 내용을 기록 하고자 한다. ^^

먼저 간단한 결론:

다음 항목에 해당되는 경우 간단한 해결책이 존재한다

변기 유형이 원피스 변기다.
화장실 수압은 정상이다 (물이 졸졸 나오는 수준만 아니면 된다).
화장실 변기 물이 천천히 차오른다
물내릴때 변기 앞쪽 옆쪽으로 물이 안나온다
그래서 비록 변은 내려가지만 앞쪽 휴지 한장조차 시원히 안내려간다.

자세한 내용 보기 »

2017년 2월 10일 금요일

close(0) 로 인한 stdin close : getline, getchars 동작 이상

왜 getline() 함수가 즉시 리턴되는가? 에 대한 삽질의 기억...

class SomeClass
{
    ...
    int nSockFd_  {0}; //초기화를 0 으로 한 경우.
    ...
};     

void SomeClass::SomeMethod1()
{
    .... 
    //코드 어딘가에서 다음을 호출했는데... 아직 nSockFd_ 가 할당안된 경우 
    close(nSockFd_); //--> close(0) --> stdin 을 닫아버림 - - ;;
    ... 
}

void SomeClass::SomeMethod2()
{

   ....

   std::string line="";
    while(true)
    {  
        std::cin.clear();
        getline(std::cin, line); //여기서 문제 발생, 즉시 리턴됨
        std::cout << "msg:" << line << std::endl;
    }
}

2017년 2월 5일 일요일

Cumbuffer 를 이용한 예제 : ASockLib

https://github.com/jeremyko/ASockLib

CumBuffer 를 사용하는 예제 겸 TCP/UDP/Domain socket 네트워크 라이브러리를 작성해 보았다. 비록 허접하지만 cross platform 에서 동일한 interface 를 지원해보자는 생각이 있어서.... linux 에서는 epoll, os x 에서는 kqueue 를 사용해서 구현 되었다. cmake를 사용해서 cross platform compile 을 지원하게 해보았다. 클래스 상속과 포함(composition) 2가지 방식으로 사용 가능한다. 그리고 비동기 send 호출시 block 되는 경우에는 큐에 저장되었다가 전송 가능한 시점에 재개되는 방식으로 처리했다. 지금 수행중인 SI 과금 프로젝트에서 이걸 적용하면서 개발중이다.

2016년 12월 12일 월요일

CumBuffer : accumulating byte buffer for c++

네트워크 TCP 프로그램인 경우에 임의 길이의 작은 데이터 조각을 수신해서 누적(버퍼링)시키다가 일정 길이가 수신되면 완전한 하나의 packet으로 보고 해당 데이터를 처리하는 경우가 꼭 필요하다. 지금까지는 그냥 new, calloc 등으로 데이터를 수신할때마다 동적으로 할당해서 기존 데이터를 복사하는 방식으로 해왔는데(동적할당 제거에 의한 성능개선이 크지 않았기에), 이번에 동적 할당없이 사용할 수 있는 버퍼를 구현해 보았다. 일종의 ring buffer 라고도 할수 있다.

https://github.com/jeremyko/CumBuffer

자세한 내용 보기 »

2016년 1월 1일 금요일

scott meyer c++ 은퇴

http://scottmeyers.blogspot.kr/2015/12/good-to-go.html

c++에 대해 관심을 가진 개발자라면 누구나 소장하고 있을 effective c++ 시리즈 의 저자 scott meyer가 c++활동을 그만하겠다는 글을 자신의 블로그에 올렸다. 예전과 비교할수 없을 만큼 활발한 커뮤니티 활동, 온라인 정보, 컨퍼런스등이 열리고 있는 상황에서, c++ 언어와 그 사용법을 설명하는 자신의 역활은 여기까지로 이미 충분하다고 느끼는 모양이다.

2015년 12월 23일 수요일

boost c++ library static link 컴파일 방법

막상 필요해서 찾다보니 잘 정리가 안되있어서 나름 정리해본다. boost 라이브러리를 이용해서 작성된 프로그램을 boost 가 설치 안된 환경에서 사용해야 하는 경우, static link 로 컴파일 해서 사용할수 있다.

.bash_profile 설정은 다음과 같다.

export BOOST_ROOT=/CG/USER/kojh/MyApps/boost_1_57_0
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$BOOST_ROOT/stage/lib

static library 생성

b2 옵션으로 다름처럼 주면, 기존에 동적 라이브러리가 위치하던 곳(boost 설치시 결정된)에

static 라이브러리 파일등이 생성된다.

b2 link=static

컴파일

자신이 사용한 boost lib 를 static 하게 link 해서 컴파일 하면 된다( 다음 예는 boost thread 를 사용하는 경우이다).

g++ -pthread -O2 -I $BOOST_ROOT boostQueue.cpp -o boostQueue $BOOST_ROOT/stage/lib/libboost_system.a $BOOST_ROOT/stage/lib/libboost_thread.a -lrt

2015년 12월 19일 토요일

NBSPSC_Queue

배열을 이용한 Queue.
(Non Blocking Queue for Single Producer Single Consumer)

https://github.com/jeremyko/NBSPSC_Queue

2015년 9월 15일 화요일

DisruptorCpp-IPC 가변길이 데이터 처리

앞서 Disruptor동작원리를 이용해서 IPC 로 동작하는 소스를 구현해봤는데 한가지 단점은 고정된 길이의 데이터를 미리 할당해서 링버퍼에 넣어두고 사용하는 방식이라는 점이었다. 만약 저장되는 데이터 길이가 가변적인 경우엔 이용할수 없는 단점을 보완해서 약간 수정된 버전으로 작성을 해보았다.

https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data

간단히 설명 하지면 별도의 데이터 저장용 메모리를 할당하고, 링버퍼에는 데이터 저장위치만을 관리하는 방식이다.

2015년 9월 6일 일요일

Disruptor 분석 및 c++ 로 구현해보기

java 하면 일단 좀느리다는 고정관념을 깰 만큼 고성능을 내세우는 Disruptor라는 존재에 개인적으로 관심이 생겨서 잠깐 내부를 살펴보게 되었다.

Disruptor 는 LMAX 라는 영국 외환 거래소에서 개발해서 사용중인 java기반의 inter thread messaging library 이다. Disruptor 라는 특이한 이름은 java기반으로는 고성능 메시지 처리가 불가능하다는 고정 관념을 깨는 녀석이라는 의미와, java 7 의 Phaser 가 했던 것처럼 Star Trek 영화에 나오는 Disruptor 라는 광선총 종류라고 한다.

이 글에서는 disruptor가 기본적으로 어떻게 동작하는지 알아 보고 c++ 로 구현해 보고자 한다.

여기서 설명한 내용이 구현된 소스는 다음 위치에서 참고할수 있다.

https://github.com/jeremyko/disruptorCpp-IPC

가변길이 데이터 처리를 위해서는 약간 변형된 다음 소스를 참고.
https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data

자세한 내용 보기 »

2015년 7월 16일 목요일

UltraEdit 한글 버튼 메뉴 수정

업무용으로 주로 사용하는 UltraEdit 에서 프로젝트 메뉴의 파일설정, 한글 메뉴버튼 번역 잘못됐다고 알려줬더니 이번 22.10.0.12 업데이트에서 수정이 됬다. 볼때마다 불만이었는데 이젠 편안하게 메뉴를 볼수 있겠군.

자세한 내용 보기 »

2015년 1월 25일 일요일

cafe24 nodejs 호스팅 비추천

node.js 호스팅 절약형 을 신청해서 사용하려 했는데,
결국 내린 결론은 도저히 사용할만한 서비스가 아니란 거다.
heroku에서 아무 문제 없이 돌아가던것 간단한 app도 여기서는 안된다.
일단 package.json에 기입한 모듈들이 제대로 설치되는건지 그 로그조차 확인 할수 없다.
npm install시에 뭔가 문제가 생겨서 설치가 안된다면 그걸 사용자가 인지할수 있어야 하는데
그런것이 제공 안된다. 즉 사용자가 npm조차 실행할수 없다.
아마 git push시 돌아가는 스크립트에 npm install을 걸어놓은 모양인데

그나마 웹화면으로 제공되는 로그는, npm install의 로그가 아니라
앱을 실행시켰을때 나오는 실행 로그일뿐이라서 도움이 안된다.
아주 아주 간단한 express app을 node_modules까지 통째로 올리면 동작은 하지만,
그렇게 단순한것 말고, 실제 쓸만한 앱을 만든다면 될지 말지 장담이 안된다.
아무리 월 500원짜리 서비스라고 해도 하다못해 터미널로 npm이라도 실행되게 해주고,
그 로그라도 볼수 있게 해줘야지.. 답답한 이런 서비스를 돈받고 제공하는 이유가 뭔지 어이가 없을뿐이다.
몇번 전화 했다가 답답해서 죽는줄 알았습니다. 내 정신 건강을 위해서 그냥 포기.

2015년 1월 7일 수요일

AngularJS 게시판 accordion 스타일

요줌 web application 만드는 것에 재미를 느껴서 이것저것 기웃거리는 중이다.
오늘은 전에 만들어본 게시판을 single page application 이라는 형태에 부합시키기 위해서 accordion 형태로 변경해 보았다. angular ui bootstrap- accordion을 사용했다. 페이지 재로딩없이 모든 기능을 처리한려 구현 해봤는데.. 이러면 좀더 SPA 다워진걸까..^^

이 게시판의 소스는 아래에서 확인하세요.

https://github.com/jeremyko/simple_angularjs_bulletin_board

자세한 내용 보기 »

2014년 12월 29일 월요일

AngularJS : Seoul Dust Dashboard

Displaying current density of particulate matter(PM10) in seoul using AngularJS, Express.js

demo : https://seouldust.herokuapp.com

source : https://github.com/jeremyko/SeoulDustDashBoard

앵귤러 보름만하면 나도 프론트엔드 웹개발자? ^^

서울시 대기환경 정보 사이트에서 주기적으로 데이터를 긁어와서 표와 챠트로 보여주게 하는 간단한 Web App을 만들어 보았다. 개발 하면서도 매우 재미 있었다.^^

2014년 12월 26일 금요일

AngularJS : Best practice, 'dot rule'

AngularJS 에서 model을 UI 에 바인딩 시키는 경우, 이른바 'dot rule' 이라고 하는 idiom 이 있다.

"ng-model을 사용 시 dot(.) 이 존재해야 한다. 그렇지 않다면 잘못하고 있는것이다"
"Whenever you have ng-model there’s gotta be a dot in there somewhere. If you don’t have a dot, you’re doing it wrong."

AngularJS Best Practices 에 나오는 내용이고 간단한 예제를 보이면서 설명하고 있다.
이 동영상에 나오는 예제와 동일한 맥락의 다음 예제를 살펴보자.

firefox 에서 JS Bin 이 제대로 표시가 안되는 경우엔 IE, chrome 을 사용해본다.

자세한 내용 보기 »

이 블로그 검색

2018년 1월 27일 토요일

2018년 1월 10일 수요일

2017년 12월 24일 일요일

2017년 12월 3일 일요일

2017년 10월 21일 토요일

2017년 10월 8일 일요일

2017년 4월 26일 수요일

2017년 2월 10일 금요일

2017년 2월 5일 일요일

2016년 12월 12일 월요일

2016년 1월 1일 금요일

2015년 12월 23일 수요일

2015년 12월 19일 토요일

2015년 9월 15일 화요일

2015년 9월 6일 일요일

2015년 7월 16일 목요일

2015년 1월 25일 일요일

2015년 1월 7일 수요일

2014년 12월 29일 월요일

Displaying current density of particulate matter(PM10) in seoul using AngularJS, Express.js

2014년 12월 26일 금요일

블로그 보관함

태그