天天躁日日躁狠狠躁AV麻豆-天天躁人人躁人人躁狂躁-天天澡夜夜澡人人澡-天天影视香色欲综合网-国产成人女人在线视频观看-国产成人女人视频在线观看

php+ajax導入大數據時產生的問題處理

遇到的問題就從先到后的一一說吧。

問題1 按照我最初的想法,先上傳文件再讀取文件。這里問題就來了,當文件較大的時候上傳較慢,導致客戶看到的操作一直處于等待狀態,不人性化。

處理辦法:我是這樣做的,大神有更好的辦法,求介紹。我先把文件上傳上去,然后把文件存到一個特定的文件夾就叫 import吧   ,然后返回一個這個文件名字。這樣就確保了文件是上傳成功的。并且我可以在他返回名字的這一步用js  給客戶一個提示。然后就是ajax去請求php讀取文件,插入數據庫。可是問題來了。

問題2 當我用ajax去請求php讀取文件并插入數據庫的時候,遇到一個問題,就是ajax請求總是在1min的時候,斷掉。我一想 ,這應該是php的最大執行時間max_execution_time的原因吧,結果我修改為300秒。還是這樣,那我就認為會不會是apache的 最大get時間max_input_time呢,我就在代碼加一個 ini_set  結果,用ini_get   查看max_input_time,用ini_set設置無效,還是60秒,在網上查了很多資料,還是不知道為啥。有大神知道的,請給我回復下。菜鳥先謝過了。那沒辦法,我只能去服務器php.ini配置修改了。經理說不讓修改的,為了測試,偷偷改了--最后修改回來了。修改之后,測試,還是不行。還是到一分鐘 就執行超時。真的很納悶。不知道什么原因。求指教。那沒辦法。

這種辦法行不通了,對一個5m的文件只能分行讀取了。然后就是對代碼的一通修改,分行讀取是這樣操作的,先ajax請求,然后每次讀取2000條  然后對這2000條數據進行處理,插入數據庫(文章最后介紹一個好用的分行讀取函數)。然后每次ajax執行完,返回一個狀態符,和本次讀取到的行數,然后下次接著讀。知道最后讀取完。這中間還遇到一個問題:就是當我對每一行數據進行查重的時候遇到的,是這樣的,我對得到的內容進行循環,然后查一下每行是否存在,當我判斷$count是否大于0 的時候,當已存在的時候,我用continue,執行下一次循環。但是當我在導入10000條的時候,總是在8000條的時候報錯說 服務器內部錯誤。很悶,不解問什么,結果只能用if  else代替了。納悶。一個小提醒:插入數據庫的時候 不要一條一條的插入,最好這樣 inset  into  aaa(`xx`,`xxx`)values('111','111'),('222','222')。這樣 速度會快很多。

行號讀取函數,SplFileObject這個類庫真的很好用推薦。有知道我的問題的,求大神指教。

復制代碼 代碼如下:
function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
      $content = array();
      $filename = DATA_PATH.DS.'import' . DS . $filename;
      $count = $endLine - $startLine;
      $fp = new SplFileObject($filename, $method);
      $fp->seek($startLine); // 轉到第N行, seek方法參數從0開始計數
      for ($ii = 0; $ii <= $count; ++$ii) {
            $content[] = $fp->current(); // current()獲取當前行內容
            $fp->next(); // 下一行
      }
      return array_filter($content); // array_filter過濾:false,null,''
}

php技術php+ajax導入大數據時產生的問題處理,轉載需保留來源!

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

主站蜘蛛池模板: 在线免费观看亚洲视频 | 日本无码人妻精品一区二区视频 | 亚洲免费大全 | 97在线国内自拍视频 | 日本无码人妻精品一区二区视频 | 三级在线观看网站 | 丝袜美腿美女被狂躁在线观看 | bl撅高扒开臀缝哦 | 精品AV亚洲乱码一区二区 | 姑娘日本大全免费观看版中文翻译 | 国产亚洲精品黑人粗大精选 | 色欲AV亚洲情无码AV蜜桃 | 国产伦精品一区二区三区精品 | 欧美性猛交xxxxxxxx软件 | 日韩在线中文字幕无码 | 拍戏被CAO翻了H | 亚洲伊人精品综合在合线 | 在线视频中文字幕 | 伦理79电影网在线观看 | 99视频在线看观免费 | 蜜芽在线影片 | 久久伦理影院 | 超碰97 总站 中文字幕 | 精品视频中文字幕 | 嫩草www视频在线观看高清 | 簧片在线观看 | 99久久久免费精品免费 | YELLOW视频直播在线观看 | 777久久人妻少妇嫩草AV蜜桃 | 免费国产久久啪在线 | 精品无码三级在线观看视频 | 丰满少妇被猛烈进出69影院 | 99热成人精品国产免男男 | 99久久久久亚洲AV无码 | 国产久久热99视频 | 青柠在线观看免费高清电视剧荣耀 | 99re8在线视频精品 | 亚洲欧洲精品成人久久曰影片 | 日本乱子人伦在线视频 | 又黄又粗又爽免费观看 | 色mimi|