기본 콘텐츠로 건너뛰기

무엇이 다른가

/dev/shm과 swap

물리 메모리가 2기가인 시스템이 예쁘게 놓여 있다. 여기에 물리 메모리보다 큰 메모리 파일 시스템을 적용해보고 거기에 물리 메모리보다 큰 파일을 할당할 수 있는지, 할당한다면 Resident 상태로 잡히는지 Swap으로 잡히는지 테스트 해보자.
$ cat /proc/sys/vm/swappiness
0

$ uname -s -r
Linux 2.6.9-42.ELsmp

$ free -m
             total       used       free     shared    buffers     cached
Mem:          2026         35       1990          0          0          6
-/+ buffers/cache:         28       1997
Swap:         4102          0       4102

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3              63G  1.4G   59G   3% /
/dev/sda1             289M   16M  259M   6% /boot
none                  1.0G     0  1.0G   0% /dev/shm
이런 시스템이 있단 말이지.
$ mount -oremount,size=3G /dev/shm
$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3              63G  1.4G   59G   3% /
/dev/sda1             289M   16M  259M   6% /boot
none                  3.0G     0  3.0G   0% /dev/shm
일단 물리 메모리보다 큰 파일 시스템을 마운트 했다. 이제 아래와 같은 우왁시런 소스로 2.5기가 파일을 생성해보자.
#define _LARGEFILE_SOURCE 1
#define _FILE_OFFSET_BITS 64
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
using namespace std;

int
main(int argc,char* argv[])
{
        if (argc<2)
        {
                printf("falloc [size mb]\n");
                exit(1);
        }
        off_t size(atoi(argv[1]));
        size *= 1024*1024;
        int fd (open("/dev/shm/falloc.dat", O_TRUNC|O_CREAT|O_RDWR, 0700));
        char buf[1024*1024];
        for ( size_t i = 0; i < atoi(argv[1]); i++ )
        {
                write(fd, buf, sizeof(buf));
        }
        close(fd);

        return 0;
}
컴파일하고 실행해보자!
$ make falloc
g++     falloc.cpp   -o falloc

$ ./falloc 2560
# 영겁이 걸린다.

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3              63G  1.4G   59G   3% /
/dev/sda1             289M   16M  259M   6% /boot
none                  3.0G  2.6G  510M  84% /dev/shm

$ free -m
             total       used       free     shared    buffers     cached
Mem:          2026       2002         23          0          0        597
-/+ buffers/cache:       1404        621
Swap:         4102       1968       2134

컴퓨터 멈추는 줄 알았다. 참고로 이거 하는 동안 vmstat 1을 했는데 swap-out이 엄청나게 일어났다.
$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
 1  0    144 906456    840 1134840    0    0     0     0 4018     4  0 25 75  0
 1  0    144 391640    840 1648600    0    0     0     0 4020    14  0 25 75  0
 3  1 657396  14096    148 1368900    0 37724     0 37724 8062   180  0 24 55 21
 3  0 1421560  14120    156 630984    0    0     0    36 4198    12  0 50 36 14
 0  4 1699308  14016    156 407260    0 209064     0 209092 4640   194  0 25 49 26
 0  2 1726188  14016    156 407700    0 248016     0 248016 5165   134  0  6 50 44
 1  1 1726188  14080    156 448044    0 291288     0 291288 4494   125  0  8 50 42
 0  3 1726188  15488    156 480168    0 256580     0 256580 4297   100  0  6 50 44
 0  2 1726188  14400    156 499136    0 106820     0 106820 4442    69  0  3 50 48
 0  3 1726188  14016    156 504624    0 5012     0  5012 4522    49  0  0 50 50
 0  2 1726188  16640    156 504652    0 3900     0  3900 4507    53  0  0 50 50
 0  2 1726188  14336    156 518596    0 17452     0 17452 4373    45  0  1 50 49
좀 성급하긴 하지만 위 결과를 토대로 "공유 메모리도 swap 정책에 따른다"는 것을 알 수 있다.

댓글

이 블로그의 인기 게시물

SQLite에서 파일 크기 줄이기

간단한 개인 프로젝트를 하고 있는데, SQLite DB파일 크기가 매우 커져서 테이블에 필요 없는 레코드를 날렸다. 그런데 날리고도 파일크기가 그대로라서 여기저기 뒤져보니 VACUUM 커맨드를 사용하란다. 사용법은 매우 간단하다. 그저 "VACUUM;"이라고 날려주면 동작한다. (참조: http://sqlite.org/lang_vacuum.html ) 다만, 동작이 매우 느려서 자주 쓸만한 것은 아니다. 실제로 100MB짜리 파일을 7KB로 줄이는데 수 분이 걸렸다. 소스를 봐야겠지만, DB를 EXPORT한 뒤에, 파일을 지우고 다시 IMPORT하는게 아닐까 하는 의구심이 든다. 매번 하기 귀찮으면 "PRAGMA auto_vacuum=1;"를 하면, 새로운 빈 페이지(DELETE나 DROP TABLE 같은...)가 생길 때마다, VACUUM을 실행한다. 다만, SQLite구조 문제로 테이블을 생성하기 전에 미리 날려야하는 안타까움이 있다. (참조: http://sqlite.org/pragma.html#pragma_auto_vacuum )

OpenSSL supports Multi-threading

내가 스레드를 별로 좋아하지 않는데, 별 수 없이 써야할 경우가 종종 있다. 그와 별개로 OpenSSL 쓰기를 좋아하는데, OpenSSL을 멀티 스레딩 환경에서 쓰면 자칫 알 수 없는 이유로 죽곤한다. 이유는 OpenSSL 각종 알고리즘엔진이 멀티 스레딩 환경을 고려하지 않은 엔진이라, 경합이 발생하여 충돌이 발생하기 때문이다. 참조: https://www.openssl.org/docs/crypto/threads.html 멀티 스레딩 지원은 0.9.5b-dev부터 지원하였으니, 이하 버전은 포기하자. (응?) (사실 그 전에도 약간은 지원했으나, CentOS5 기준 0.9.8이니, 이전 버전은 포기하는게 정답이다) 맨페이지를 보면 "crypto/threads/mttest.c 파일에 예제가 있어요 뿌잉뿌잉~"이라는데 나중에 찾아보기 귀찮으니 블로그에 옮겨 놓...으려고 봤는데, 주석도 길고 모든 OS에 대한 전처리기도 있고, C++11도 나왔는데 구닥다리 코드를 쓸 생각이 없으니 내 맘대로 다시 구성했다. #include <openssl/crypto.h> #define OPENSSL_THREAD_DEFINES #include <openssl/opensslconf.h> #if !defined(OPENSSL_THREADS) # error "OpenSSL version is not supported multi-thread" #endif // C++11 mutex support #include <mutex> // Global locks for OpenSSL static std::mutex* g_locks(nullptr); // Locking callback function for OpenSSL static void funcLock(int mode, int type, char* file, int line) { if ( mode bitand CRYPTO_LOCK ) g_locks[

Bash Array, Map 정리

Bash에서 Array, Map에 대한 정리. (매번 찾기 귀찮) 찾아보진 않았지만, Bash에서 Array든 Map이든 동일하게 Map(C++에서 Unordered Map)으로 동작하는 것 같다. 왜냐하면, Array의 Index가 연속하지 않아도 동작한다. 그저 Key가 0 이상의 정수인 Map이랑 비슷하게 동작한다. 예) 1, 2, 3, 9, 10 Array # 생성 declare -a empty_array declare -a ar=(haha hoho baba "long string haha hoho") # 접근 echo "ar[0]=${ar[0]}" echo "all as array=${ar[@]}" # 큰따옴표 안에서 각 원소를 따로따로 전달한다. echo "all as one=${ar[*]}" # 큰따옴표 안에서 각 원소를 문자열 하나로 합쳐 전달한다. echo "indexes=${!ar[@]}" echo "indexes=${!ar[*]}" echo "length=${#ar[@]}" echo "length=${#ar[*]}" echo "last=${ar[-1]}" echo "last=${ar[@]: -1}" # 콜론 뒤에 빈 칸이 꼭 필요하다. 옛 방식 # 현재 상황 declare -p ar #(출력) declare -a ar=([0]="haha" [1]="hoho" [2]="baba" [3]="long string haha hoho") ar[100]=hello # 인덱스를 건너 뛰어도 동작한다. declare -p ar #(출력) declare -a ar=([0]="haha" [1]="hoho" [2]="baba" [3]=&