Archive

Archive for April, 2011

如何匯入大量資料到資料庫?

April 13th, 2011 No comments

taibif 有時收的資料都非常的大量~~多至好幾十萬筆~~通常以phpMyAdmin 的方式來執行匯入時常是行不通的..
時常會 timeout 或等很久都無法成功…. 這就是使用web的方式來處理資料的一個大缺點….
小量的資料是可以,但大筆資料就會失敗,因此我們就得利用command line 的方式來處理,不僅快速且保證成功~~
但資料通常得先處理~~有兩種方式~~
一是先用程式或excel來處理,
二是,若資料已經存在資料庫裡了,也可以用sql 的function來處理~~也還蠻快速的~

再來,就是匯入資料了~~
用 putty 連線到遠端資料庫伺服器,並下以下的指令
mysql -u USER -p DBNAME < filename.sql(你要匯入的檔名及他的絕對路徑) ===>注意 ” < ” 的方向,匯入匯出是相反的
通常建議再加上編碼,才不會匯入亂碼 –default-character-set=utf8

匯入指令為:
     

匯出
的指令為:
   

打完指令後會需要建入資料庫密碼,正確後則會開始處理資料,直到出現根目錄為止,如下
[root@culture ~]#

 

Categories: TaiBIF Tags: