Programing

開發環境  Java  +  IntelliJ IDEA   Terminal  GCP Cloud SDK Firebase 登入GCP  - 開發專案如果權限沒有另外設定，依預設登入的google專案 ( Google Cloud SDK Shell ) ---2018/08/21 updated--- gcloud auth login gcloud auth application-default login gcloud config set project {projId} Deploy Dataflow ( Terminal ) 1.到專案的資料夾 cd {path} 2.deploy gardle (在專案的目錄下執行)  gradle run -Pargs="--project= {projId} --runner=DataflowRunner    --tempLocation=gs:// {bucket name} /temp --stagingLocation=gs:// {bucket name} /staging" 新增GCP專案 Real-time databse & 取得 GCP Auth http://beaminguna.blogspot.tw/2017/11/firebase-gcp-real-time-databse-gcp-auth.html 建立Pubsub -> 新增訂閱 -> 發布訊息 -> 接收訊息 ( Google Cloud SDK Shell ) gcloud init gcloud components install beta gcloud beta pubsub topics create myTopic gcloud beta pubsub subscriptions create --topic myTopic mySubscription gcloud beta pubsub topics publish myTopic "hello" gcloud beta pubsub subscripti...

Firebase 新增專案 新增專案  -> 加入現有專案 -> 選擇GCP專案 [將 Firebase 加入 Google 專案中] 建立Real-time Firebase 點選 [Database] -> 點選 [開始使用] 取得 Firebase GCP 授權 點選設定圖示 -> [使用者和權限] 點選側邊 [服務帳戶] -> [建立服務帳戶]

Gson gson = new Gson(); //==== one string json to class ========= String str = "{\"key\":\"value\"}" ; LogData logItem= gson.fromJson(str , ClassModel .class); System.out.println(logItem.getLastDumpTime()); //==== Mutiple string json to class ======= JsonParser jsonParser = new JsonParser(); //List type for mutiple arrayList json string -> list class Type listType = new TypeToken<ArrayList< ClassModel >>() {}.getType(); JsonArray jsonArray = jsonParser.parse( "[str ,str ]" ).getAsJsonArray(); List<ClassModel> datalist = gson.fromJson(jsonArray, listType);

目前電腦狀況： 已安裝python3 cmd 執行 python 預設執行 version3.4 ＊情境 開發環境需要python2.7 但不能直接修改環境變數預設改version2.7(有別的專案已用python3) －步驟 安裝python2.7 ( python網站下載後安裝 ) python2.7 安裝 pip 執行 [  python27   get-pip.py  ] ( python27  安裝python2.7的檔案位置； get-pip.py 為該py檔案路徑 ) pip install virtualenv cmd 在指定執行虛擬環境的資料夾( virpython27 ) 執行 [ virtualenv env ] 環境安裝好後，開發python2.7 時，在 cmd 執行 [ virpython27 \env\Scripts\activate ]， cmd command 最前方會顯示 (env) ，此時已在虛擬環境 相關參考 【Python学习笔记】windows上virtualenv 安装及使用

設定 hive authorization root權限編輯hive config command vim /etc/hive/conf.dist/hive-site.xml ＊需打包jar  com.qiku.custom.auth.HiveServer2Auth  <property> <name> hive.server2.enable.doAs </name> <value> false </value> </property> <property> <name>hive.server2.authentication</name> <value> CUSTOM </value> </property> <property> <name>hive.server2.custom.authentication.class</name> <value> org . apache . hive . service . auth . PasswdAuthenticationProvider . SampleAuth </value> </property> 自定義登入邏輯 [java] 儲存為HiveServer2Auth.jar 放在 ${HIVE_HOME}/lib下  package org . apache . hive . service . auth . PasswdAuthenticationProvider . SampleAuth ; import java . util . Hashtable ; import javax . security . sasl . AuthenticationException ; import org . apache . hive . service . auth . ...

root權限編輯hive config command vim /etc/hive/conf.dist/hive-site.xml 在hive config 增加property <property> <name>hive.support.concurrency</name> <value>true</value> </property> <property> <name>hive.enforce.bucketing</name> <value>true</value> </property> <property> <name>hive.exec.dynamic.partition.mode</name> <value>nonstrict</value> </property> <property> <name>hive.txn.manager</name> <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value> </property> <property> <name>hive.compactor.initiator.on</name> <value>true</value> </property> <property> <name>hive.compactor.worker.threads</name> <value>1</value...

REM Remove files older than 60 days forfiles /p " D:\Export " /s /m *.* /c "cmd /c Del @path" /d -60