맥미니 2009 late ubuntu , nvidia 9400M driver 설치하기

ubuntu 18.04 에서 nvidia driver 잘못깔린 경우, 부팅이 안되는 상황에서 대처 방안 및 제대로된 driver 설치하기.

집에 오래된 mac mini 2009 late 모델이 있는데 이젠 더이상 os upgrade도 안되고 그러다보니 apple music 불가. firefox 도 제대로 사용이 안되서 별로 해볼수 있는게 없다. 그래서 ubuntu 전용 머신으로 변신 시켜보고자 시도해봤다. usb 로 시동 디스크를 만들어서 부팅까지 성공은 했는데, nvidia driver를 잘못 깔아서 인지 부팅이 안되는 상황이 발생했고, 이런것 처음이다보니 여기저기 기웃거리면서 삽질한것을 정리해본다. .

(TIP) ssh 비밀번호 없이 로그인이 안되는 경우

ssh 접속시 비밀번호를 안물어보게 하기 위해 authorized_keys 에 공개키를 추가하는 작업을 수행했는데 계속 비밀번호를 물어보는경우 다음을 확인해본다.

A -> B 서버로 접속하는 경우, B 서버의 .ssh 디렉토리 및 내부 파일의 권한을 확인하고, 수정한다.

chmod 700 ~/.ssh
chmod 600 ~/.ssh/id_rsa
chmod 644 ~/.ssh/id_rsa.pub 
chmod 644 ~/.ssh/authorized_keys
chmod 644 ~/.ssh/known_hosts



대부분 이단계에서 해결이 되지만, 이글의 목적은 바로 다음이 중요하다. ^^

그래도 계속 비밀번호를 물어본다면 B 서버의 로그를 확인해본다.
/var/log/secure

만약 다음과 같은 메시지가 보인다면 ,

Aug 13 19:32:15 sofcs sshd[7719]: Authentication refused: bad ownership or modes for directory /SOME/DIR

해당 디렉토리 권한을 변경해 준다.

chmod 755 /SOME/DIR

chmod 755 ~ ==> 사용자 home 디렉토리 권한 문제인 경우 수정.

libcurl + ssh 비번없이 사용하는 경우 (curl + ssh no password)

ssh 접속시 비밀번호를 안물어보게 하기 위해 authorized_keys 에 공개키를 추가하는 작업을 수행하게 된다. 작업 후에 그냥 ssh, sftp 로 명령을 수행하면 비밀번호 입력 없이 바로 접속이 되는데 curl 혹은 libcurl(c++) 을 이용하여 접속할때 인증이 실패하는 경우,
다음처럼 시도해본다.

$ curl --list-only "sftp://172.25.180.88//some/remote/path/" -u "userid:"
 .....
curl: (67) Authentication failure

인증이 실패한다. verbose 옵션을 주고 재시도 해본다.


$ curl -vvv --list-only "sftp://172.25.180.88//some/remote/path/" -u "userid:"

    * About to connect() to 172.25.180.88 port 22 (#0)
    *   Trying 172.25.180.88...
    ...중략...
    * SSH authentication methods available: publickey,gssapi-keyex,gssapi-with-mic,password
    * Using ssh public key file /UPMS/.ssh/id_dsa.pub
    * Using ssh private key file /UPMS/.ssh/id_dsa
    * SSH public key authentication failed: Unable to open public key file
    * Failure connecting to agent
    * Authentication failure
    * Closing connection 0
    curl: (67) Authentication failure

공개키, 비밀키의 이름이 다르다. 알고보니 현재 curl 이 기본값으로 dsa 방식을 가정하고 있었다 (최신 curl 버전은 rsa 를 먼저 찾게 되어 있음. 이글의 curl 버전은 7.3 입니다).

그런데 현재 local 장비의 .ssh 폴더에는 rsa 방식의 키가 존재하기 때문에 인증 오류가 발생한다.그래서 알아낸 방식은 키 이름을 명시적으로 지정하는 것이다.

linux python No such file or directory 발생 시

python 스크립트를 다음처럼 shebang 을 가진 것으로 작성하고

#!/usr/bin/env python

....

 

해당 스크립트(test.py 라고 가정)를  Linux 에서 수행시 'No such file or directory' 에러가 발생한다.

그러나 python test.py 로 실행 하는 경우에는 문제 없이 동작하는 경우,

해당 file format 이 dos 인지 확인해본다. 

윈도우에서 작성해서 리눅스에서 구동하는 경우에 이런 문제가 발생된다.

vi 로 열어서  :set ff 로 확인해보고, unix 가 아닌 경우엔

:set ff=unix   수행하여 변경한다.

nerdtree euc-kr 환경에서 사용하기

nerdtree euc-kr 환경에서 utf8 환경인 것처럼 사용하기 위한 꼼수이다.
항상 vim + nerdtree 를 조합해서 작업하고 있고 nerdtree없이 작업하는것은 매우 끔찍한 시간이 될거 같다.  그런데 최근 새로 일하게 된 곳의  서버는 euc-kr 로 설정이 된 상태이다 (LC_CTYPE=ko_KR.eucKR). 이 환경에서는  nerdtree 플러그인이 제대로 동작하지 않는다 (utf8 에서 정상동작)

1.  터미널 세션만 변경하고 ~/.vimrc 를 수정하는 방법

열려 있는 터미널에서만 환경변수를 다음을 실행하여 변경하고,

export LANG=ko_KR.utf8
export LC_CTYPE=ko_KR.utf8 

~/.vimrc 에 다음처럼 설정해 주고,  

set encoding=utf-8

~/.vim 에 nerdtree 설치하면 사용할수는 있으나, 이것은 vi 사용자 모두에게 영향을 주고, 다른 사용자로 부터 욕을 먹는 경우가 발생한다(아래 설명 참조).


2.  그래서 방법을 찾다가  다음처럼 사용 중인데 나름 괜찮은 듯하다. vim 기동시 나만의 설정을 가지고 동작되게 한다.

vim + 정규식을 이용한 smi 파일 일괄 수정

주말이라서 영화를 받았는데,smi 파일은 있는데 자막이 안나온다. 좋아하는 영환데...
smi 파일을 열어보니, 뭔가 알수 없는 규칙으로 작성되있다.

libcurl POST 한글 encoding

curl 프로그램을 사용하여 POST 전송 시, 한글 데이터를 endcoding 해서 전송하는 방법은 다음과 같다.

curl -d "NAME1=test data" --data-urlencode "NAME2=한글데이터"  http://xxx.yyy.zzz

-d 옵션으로 여러번 지정을 해도 curl이 merge해줘서 전달되는 데이터는 "NAME1=test data&NAME2=한글데이터" 이 된다. URL-encoding 이 필요한 값은 -d 대신 --data-urlencode  로 지정 해 준다.

한편 c++ 에서 libcurl을 사용하여 동일한 작업을 수행하려면 다음처럼 하면 된다.

oracle PCC-S-02322, found undefined identifier 에러 발생의 어이없는 이유

지금 하고있는 프로젝트에서 오라클을 사용하는 부분이 있어서, 그 옛날의 proc 를 사용해서 개발하는 부분이 있는데, 이런 오류가 발생했다.

PCC-S-02322, found undefined identifier

localtime_r 은 thread safe 하지 않다? deadlock발생 경우.

며칠 전 개발하면서 겪었던 상황인데,
fork 된 child process에서는 localtime_r 과 같은 시간관련 함수를 사용할때 유의해야 한다.

ubuntu server virtualbox remote ssh root login 설정

ubuntu 서버 virtualbox 원격 ssh 로그인 설정

c++ thread pool

https://github.com/jeremyko/kothreadpool

간단한 worker thread pool 정도만 필요해서 하나 만들어 보았다.
사용법은 다음과 같다.

변기 디버깅 : 원피스 변기 앞쪽 물 안내려감

이글은 프로그래밍과 관련없음.
화장실 원피스 변기 수리(디버깅)하면서 알게된 내용을 기록 하고자 한다. ^^

먼저 간단한 결론:

다음 항목에 해당되는 경우 간단한 해결책이 존재한다

• 변기 유형이 원피스 변기다.
• 화장실 수압은 정상이다 (물이 졸졸 나오는 수준만 아니면 된다).
• 화장실 변기 물이 천천히 차오른다
• 물내릴때 변기 앞쪽 옆쪽으로 물이 안나온다
• 그래서 비록 변은 내려가지만 앞쪽 휴지 한장조차 시원히 안내려간다.

close(0) 로 인한 stdin close : getline, getchars 동작 이상

왜 getline() 함수가 즉시 리턴되는가? 에 대한 삽질의 기억...

class SomeClass
{
    ...
    int nSockFd_  {0}; //초기화를 0 으로 한 경우.
    ...
};     

void SomeClass::SomeMethod1()
{
    .... 
    //코드 어딘가에서 다음을 호출했는데... 아직 nSockFd_ 가 할당안된 경우 
    close(nSockFd_); //--> close(0) --> stdin 을 닫아버림 - - ;;
    ... 
}

void SomeClass::SomeMethod2()
{ 

   ....  

   std::string line="";
    while(true)
    {  
        std::cin.clear();
        getline(std::cin, line); //여기서 문제 발생, 즉시 리턴됨
        std::cout << "msg:" << line << std::endl;
    }
}

Cumbuffer 를 이용한 예제 : ASockLib

https://github.com/jeremyko/ASockLib


CumBuffer 를 사용하는 예제 겸 TCP/UDP/Domain socket 네트워크 라이브러리를 작성해 보았다. 비록 허접하지만 cross platform 에서 동일한 interface 를 지원해보자는 생각이 있어서.... linux 에서는 epoll, os x 에서는 kqueue 를 사용해서 구현 되었다. cmake를 사용해서 cross platform compile 을 지원하게 해보았다. 클래스 상속과 포함(composition) 2가지 방식으로 사용 가능한다. 그리고 비동기 send 호출시 block 되는 경우에는 큐에 저장되었다가 전송 가능한 시점에 재개되는 방식으로 처리했다. 지금 수행중인 SI 과금 프로젝트에서 이걸 적용하면서 개발중이다.

CumBuffer : accumulating byte buffer for c++

네트워크 TCP 프로그램인 경우에 임의 길이의 작은 데이터 조각을 수신해서 누적(버퍼링)시키다가 일정 길이가 수신되면 완전한 하나의 packet으로 보고 해당 데이터를 처리하는 경우가 꼭 필요하다. 지금까지는 그냥 new, calloc 등으로 데이터를 수신할때마다 동적으로 할당해서 기존 데이터를 복사하는 방식으로 해왔는데(동적할당 제거에 의한 성능개선이 크지 않았기에), 이번에 동적 할당없이 사용할 수 있는 버퍼를 구현해 보았다. 일종의 ring buffer 라고도 할수 있다.

https://github.com/jeremyko/CumBuffer

scott meyer c++ 은퇴

http://scottmeyers.blogspot.kr/2015/12/good-to-go.html

c++에 대해 관심을 가진 개발자라면 누구나 소장하고 있을 effective c++ 시리즈 의 저자 scott meyer가 c++활동을 그만하겠다는 글을 자신의 블로그에 올렸다. 예전과 비교할수 없을 만큼 활발한 커뮤니티 활동, 온라인 정보, 컨퍼런스등이 열리고 있는 상황에서, c++ 언어와 그 사용법을 설명하는 자신의 역활은 여기까지로 이미 충분하다고 느끼는 모양이다.

boost c++ library static link 컴파일 방법

막상 필요해서 찾다보니 잘 정리가 안되있어서 나름 정리해본다. boost 라이브러리를 이용해서 작성된 프로그램을 boost 가 설치 안된 환경에서 사용해야 하는 경우, static link 로 컴파일 해서 사용할수 있다.

.bash_profile 설정은 다음과 같다.

       export BOOST_ROOT=/CG/USER/kojh/MyApps/boost_1_57_0
       export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$BOOST_ROOT/stage/lib

static library 생성 

b2 옵션으로 다름처럼 주면, 기존에 동적 라이브러리가 위치하던 곳(boost 설치시 결정된)에

static 라이브러리 파일등이 생성된다.

b2 link=static

컴파일 

자신이 사용한 boost lib 를 static 하게 link 해서 컴파일 하면 된다( 다음 예는 boost thread 를 사용하는 경우이다).

g++ -pthread -O2 -I $BOOST_ROOT boostQueue.cpp -o boostQueue $BOOST_ROOT/stage/lib/libboost_system.a $BOOST_ROOT/stage/lib/libboost_thread.a -lrt

NBSPSC_Queue

배열을 이용한 Queue.
(Non Blocking Queue for Single Producer Single Consumer)

https://github.com/jeremyko/NBSPSC_Queue 
 

DisruptorCpp-IPC 가변길이 데이터 처리

앞서 Disruptor동작원리를 이용해서 IPC 로 동작하는 소스를 구현해봤는데 한가지 단점은 고정된 길이의 데이터를 미리 할당해서 링버퍼에 넣어두고 사용하는 방식이라는 점이었다. 만약 저장되는 데이터 길이가 가변적인 경우엔 이용할수 없는 단점을 보완해서 약간 수정된 버전으로 작성을 해보았다.

https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data

간단히 설명 하지면 별도의 데이터 저장용 메모리를 할당하고, 링버퍼에는 데이터 저장위치만을 관리하는 방식이다. 

Disruptor 분석 및 c++ 로 구현해보기

java 하면 일단 좀느리다는 고정관념을 깰 만큼 고성능을 내세우는 Disruptor라는 존재에 개인적으로 관심이 생겨서 잠깐 내부를 살펴보게 되었다.
 
Disruptor 는 LMAX 라는 영국 외환 거래소에서 개발해서 사용중인 java기반의 inter thread messaging library 이다. Disruptor 라는 특이한 이름은 java기반으로는 고성능 메시지 처리가 불가능하다는 고정 관념을 깨는 녀석이라는 의미와, java 7 의 Phaser 가 했던 것처럼 Star Trek 영화에 나오는 Disruptor 라는 광선총 종류라고 한다.


이 글에서는 disruptor가 기본적으로 어떻게 동작하는지 알아 보고 c++ 로 구현해 보고자 한다.

여기서 설명한 내용이 구현된 소스는 다음 위치에서 참고할수 있다.

https://github.com/jeremyko/disruptorCpp-IPC

가변길이 데이터 처리를 위해서는 약간 변형된 다음 소스를 참고.
https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data