顯示具有 kernel 標籤的文章。 顯示所有文章
顯示具有 kernel 標籤的文章。 顯示所有文章

2013年5月22日 星期三

查詢修改 Linux maximum open file限制

當某些特殊情況,需大量開啟檔案時(上萬個),往往會被系統阻擋並提示 "Too many files"。此時需要針對系統參數去做修改。

而會限制 maximum open file 的部分有分兩個:一個是 kernel level,另一個為 user level。

Kernel level:限制整個系統所能開啟的最大檔案數量(所有使用者和系統的總和)。


查詢 fs.file-max
$ sysctl fs.file-max
暫時修改 fs.file-max(重開機後失效)
$ sudo sysctl -w fs.file-max=<numbers>
自動修改 fs.file-max(重開機會自動套用)
$ sudo vi /etc/sysctl.conf
在檔尾修改或插入設定。
s.file-max = <numbers>
重新載入設定
$ sudo sysctl -p




User Level,open files:限制單一使用者所能開啟的最大檔案數量。


查詢
$ ulimit -n
修改
$ sudo vi /etc/security/limits.conf
在檔尾加入需要的設定。
Example:* - nofile 65535
Syntax:<domain> <type> <item> <value>
<domain>:欲調整個使用者(可以用 * 表示所有使用者)或群組(在群組名稱前加@)。
<type>:分為 hard 和 soft,或是以 - 表示兩者。
<item>:要設定的參數名稱。
<value>:欲給予的值。

之後重新開機後,便會套用設定。



2013年4月16日 星期二

Raspberry Pi Kernel Compilation (update)

參加的研究專案裡面,需要將 DVB device 的 driver 方式安裝到 Raspberry Pi 中。原本在 Ubuntu 上的安裝方式,不適用於 Raspberry Pi 上;廠商提供的方式為將 driver 製作成 module 的方式,讓 Raspberry Pi 偵測到 device 的時候,再將其 module 掛載起來。

以下步驟是在 開發機 上,利用 RPi Toolchain 進行 Cross-compile;
若想在 RPi 上直接編譯 kernel,
則可以省略設定 ARCH 與 CROSS_COMPILE 環境變數。

請先準備以下檔案:
1. Raspberry Pi' kernel
  此處以 3.6.y 作為範例,請依據需要作選擇。
  下載處:github

  附註:個人喜歡在 linux 用 git 將整個 kernel source Repo. 複製下來,
    未來方便直接用 git pull 將 kernel source 更新到最新;
    需要用 3.2.27 版的 kernel source,
    也可以直接用 git checkout rpi-3.2.27 切換。

2. Driver source code
   此處以 IT913x driver 作為範例。

3. Raspberry Pi tools and toolchain
   此工具包包含三個已編譯好的 x86 toolchains 和其他工具。
   下載處:github


開始將 driver 製作成 module


1. 簡化指令長度,將以縮寫方式替代
<kernel source> : /home/bkdragon/rpi/linux-rpi-3.6.y

<RPi toolchain> : /home/bkdragon/rpi/rpi_cross_compiler_x86/arm-bcm2708/arm-bcm2708hardfp-linux-gnueabi

<IT913x source> : /home/bkdragon/dvb/rpi/IT913x_SRC

2. 將 DVB IT913x source code 連同資料夾複製到 kernel source 中
$ cp -r <IT913x source> <kernel source>/drivers/media/dvb/dvb-usb

3. 切換目錄
$ cd <kernel source>/drivers/media/dvb/dvb-usb

4. 修改 Makefile,在文件底下的 ccflags-y 上方插入下面這行,儲存離開
obj-$(CONFIG_DVB_USB_IT913x) += IT913x_SRC/
請注意,IT913x_SRC 必須一樣,若存放 driver 的目錄名稱不同,請自行修改


5. 修改 Kconfig,在文件最下方插入以下資訊,儲存離開
config DVB_USB_IT913x
    tristate "ITEtech IT913x Rx USB2.0 support"
    depends on DVB_USB
    help
      Say Y here to support the ITE IT913x based DVB-T USB2.0 Rx

6. 回到 kernel source code 的根目錄
$ cd <kernel source>

7. 清除所有 generated files、config 和 various backup files
$ make mrproper

8. 從正在運行的 RPi 上,取得當前的 kernel configuration
(on RPi) $ zcat /proc/config.gz > .config

9. 從 RPi 上複製 .config 至 kernel source 中
(on RPi) $ scp .config bkdragon@my.ip:<kernel source>

10. 設定環境參數 CCPREFIX
$ export CCPREFIX=<RPi toolchain>/bin/arm-bcm2708hardfp-linux-gnueabi-

11. 更新 configuration 
$ make ARCH=arm CROSS_COMPILE=${CCPREFIX} oldconfig
其中會在新加入的 module 停下,若為
ITEtech IT913x Rx USB2.0 support (DVB_USB_IT913x) [N/m/?] (NEW)
按下 m 使之製作成 module。


12. 萬事俱全,開始 build kernel
$ make ARCH=arm CROSS_COMPILE=${CCPREFIX}
若為 multicore 環境,可增加 -jN(N: 自訂數)參數,增加同時編譯的執行序。
假設我的主機為 4 cores,可用 -j4。


13. 建立存放 new_kernel 的目錄
$ mkdir /home/bkdragon/rpi/new_kernel

14. 建立存放 module 的目錄
$ mkdir /home/bkdragon/rpi/new_kernel/modules

15. 設定環境參數
$ export MODULES_TEMP=/home/bkdragon/rpi/new_kernel/modules

16. 將編譯好的 module 安裝到指定目錄
$ make ARCH=arm CROSS_COMPILE=${CCPREFIX} INSTALL_MOD_PATH=${MODULES_TEMP} modules_install

17. 切換目錄至 Image 放置位置
$ cd arch/arm/boot

18. 複製產生出來的 kernel image 到 new_kernel 目錄底下
$ cp Image /home/bkdragon/rpi/new_kernel/

19. 切換目錄
$ cd /home/bkdragon/rpi/new_kernel

20. 更改名稱以區別 kernel image 版本(Option,檔名隨意)
$ mv Image new_kernel_3.6.y.img

21. 以上步驟完成,便將更換 kernel 所需要的檔案備齊。
    在此目錄中,分別有一個 image 檔,和一個 modules 資料夾。


更換 SD 卡中的 kernel


1. 將要更新 kernel 的 SD 卡中兩個磁區掛載起來:
    開機磁區(放有 config.txt 和 kernel.img 等檔案)我以 sec1 代稱、
    一般檔案空間(一般在 linux 根目錄底下能看到的東西)我以 sec2 代稱。
    將 kernel.img 複製到 sec1,並修改 config.txt。
$ cd /mnt/sec1
$ cp /home/bkdragon/rpi/new_kernel/new_kernel_3.6.y.img .
$ vi config.txt
在文件最上方插入:
kernel=new_kernel_3.6.y.img
儲存後離開。


2. 將 modules 資料夾中的 lib 目錄,複製到 sec2 的根目錄底下
$ cd /mnt/sec2
$ sudo cp -r /home/bkdragon/rpi/new_kernel/modules/lib .

3. 更換 kernel 完成。這裡有一個需注意的地方,若原本 RPi 運行的 kernel 版本,
    和你想要更換的 kernel 版本差異太大(如 3.2.27 --> 3.6.11),
    則必須連同 firmware 一起更新。
    更新 firmware 方式請參考官方 wiki

2013年3月4日 星期一

rpi-update : Update Raspberry Pi's firmware and kernel

在編譯某些程式的最新版本時,其編譯環境可能會要求更新到最新版的 kernel。原本這些步驟需要自行從 github 上下載最新版本的 kernel source code 和 firmware 自行更新,不過有人寫了 script,執行後便自動將 kernel 和 firmware 更新到最新版本。

個人執行 rpi-update 後,kernel 版本從 3.2.27 更新到 3.6.x

此為 github 的連結:https://github.com/Hexxeh/rpi-update

Installing

sudo wget http://goo.gl/1BOfJ -O /usr/bin/rpi-update && sudo chmod +x /usr/bin/rpi-update

Updating

sudo rpi-update

需要更新 kernel 和 firmware 的朋友,可以利用這工具更新你的 Raspberry Pi。 但是若之前有使用自行編譯的 kernel 和 module,必須自行再重新編譯一次自定義的 kernel。

2012年11月14日 星期三

查詢修改 Linux maximum pid 限制

一般寫小程式,我們很少去注意到一些系統上的限制,像是 open files、max user processes...等($ ulimit -a)。而近期為了測試研究需要使用的 Pub/Sub 架構上,Server 能承受多少 client 連接、CPU 使用率、MEM 使用量、每個訊息的 delay、是否會遺失封包...等,需要開啟大量 client 去做連接測試,這時可能為遇到以下狀況:

  1. open files 超過限制,系統不再讓 server 開啟 socket 服務 client。
    (socket 也是 file describe 的一種)
  2. maximum user process 超過數量,系統表示暫時無法取得系統資源。
基本上系統程式 ulimit 的限制,在使用 root 權限執行程式時可以忽略這些限制;或是利用 ulimit 修改特定(如open files)的限制數量。但是第二點,PID 一旦超過 kernel 的限制,這就不是 ulimit 或是 root 執行程式可以解決的問題。

在 Ubuntu 12.04 LTS kernel 的預設值,PID 上限可到 32768。因此整個系統在這個限制下,能開啟的 process 最多也就 32768個。要超過這個限制,我們需要修改 kernel 在 pid_max 的限制。

●查詢 kernel pid_max
$ sysctl kernel.pid_max

●修改 kernel pid_max
$ sysctl -w kernel.pid_max=<numbers>
Example:$ sysctl -w kernel.pid_max=65536