mongodb connector for business intelligence

 mongodb connector for business intelligence
って、mongodbをODBCぽいSQL-DBに見せかけるラッパーかな。

https://www.mongodb.com/products/bi-connector

https://docs.mongodb.com/bi-connector/master/

RP3B+のルートパーティションをnfsでマウント

絶不調のでお蔵入りにしていたRaspberry Pi 3B+だが、捨てるには惜しいので、不安定なμSDカードをできるだけ使わない方法で安定するかどうかを検証すべく、以下を行なった。

【USB経由でSDカードを使う】

•  USB経由でSDカードを使うようにする
  /も/bootもSDカードのまま。ただし、sd→USBアダプタを使って起動させる。

何も設定しなくても、RP3B+は標準でUSBブートするようで、上記はあっさり動いた。

 

上記でも以前より安定して動いたような気がする。

しかし、もう一歩進めて、下記のようにした。

 

【USB経由で/bootさせ、/パーティションはnfsでマウントする】

• USB経由のSDカードは、/bootだけにする（ほぼread onlyになる）
• /ファイルシステムは、隣に並んでいるRaspberry Pi 4Bをnfsサーバにして、
  そこからのマウントにする
  (RP4Bのストレージは、USB3経由でマウントしているSSDなので
   SDカードよりは性能も耐久性も良いだろうと)
•  具体的な方法はNFS Root on Raspberry Pi 4 そのままでいけた。
  (上記ページはraspbianの例もubuntuの例もあり、非常に助かる)

次にやるかもしれないのは、下記。

【PXEブートを使い、tftpで/bootをマウントさせ、/はnfsでマウント】

これができたら、不安定なSDから完全におさらばできる。

それらしい情報は下記にあるので、不安定さが解決しな時には試してみよう。

Raspberry Pi 3 でSDカードなしのネットワークブートをする

Network booting

以上(^^;

 

JSON形式のファイルと名乗るには

https://www.json.org/json-en.html（日本語版はhttps://www.json.org/json-ja.html）によると、

{ key: value }

というのが一つのObjectであり

{ key: value }

{ key: value }

というのは、複数のObjectを列記してあるに過ぎず、厳密にはJSONのObjectではない。

よって、上記のような形式のファイルは「JSONのようなもの」であるということになる。

厳密にJSON形式のファイルフォーマットというなら、

[

    { key: value }

    { key: value }

]

という配列（arrey）にする必要がありそうだ。

各種センサーのログを厳密にJSON形式のファイルフォーマットにするのは大変なので

「JSONのようなもの」のファイルにしておこう(^^;

Raspberry Pi 4B + BME280使用 温湿度・気圧センサモジュールキット

Raspberry Pi 4B + APDS9660使用光学式ジェスチャーセンサモジュールキット の続き。

【お品書き】

温度、湿度、大気圧のセンサが一つに入っているBME280のモジュールであるBME280使用　温湿度・気圧センサモジュールキットをi2cでラズパイに接続し、ログ取得するもの。

【準備】

スイッチサイエンスの販売サイトにGithubの公開リポジトリ(Pythonスクリプトなど)へのリンクがあったので、それを利用することにした。

＃python2向けだったので、少し手直しが必要だったけど。

【スクリプト】his.env2.py

[code]
#!/usr/bin/python3

#coding: utf-8

from smbus import SMBus
import datetime
import time

bus_number = 1
i2c_address = 0x76

bus = SMBus(bus_number)
path = '/sys/class/thermal/thermal_zone0/temp'

digT = []
digH = []
digP = []

t_fine = 0.0


def writeReg(reg_address, data):
    bus.write_byte_data(i2c_address, reg_address, data)


def get_calib_param():
    calib = []

    for i in range(0x88, 0x88 + 24):
        calib.append(bus.read_byte_data(i2c_address, i))
    calib.append(bus.read_byte_data(i2c_address, 0xA1))
    for i in range(0xE1, 0xE1 + 7):
        calib.append(bus.read_byte_data(i2c_address, i))

    digT.append((calib[1] << 8) | calib[0])
    digT.append((calib[3] << 8) | calib[2])
    digT.append((calib[5] << 8) | calib[4])
    digP.append((calib[7] << 8) | calib[6])
    digP.append((calib[9] << 8) | calib[8])
    digP.append((calib[11] << 8) | calib[10])
    digP.append((calib[13] << 8) | calib[12])
    digP.append((calib[15] << 8) | calib[14])
    digP.append((calib[17] << 8) | calib[16])
    digP.append((calib[19] << 8) | calib[18])
    digP.append((calib[21] << 8) | calib[20])
    digP.append((calib[23] << 8) | calib[22])
    digH.append(calib[24])
    digH.append((calib[26] << 8) | calib[25])
    digH.append(calib[27])
    digH.append((calib[28] << 4) | (0x0F & calib[29]))
    digH.append((calib[30] << 4) | ((calib[29] >> 4) & 0x0F))
    digH.append(calib[31])

    for i in range(1, 2):
        if digT[i] & 0x8000:
            digT[i] = (-digT[i] ^ 0xFFFF) + 1

    for i in range(1, 8):
        if digP[i] & 0x8000:
            digP[i] = (-digP[i] ^ 0xFFFF) + 1

    for i in range(0, 6):
        if digH[i] & 0x8000:
            digH[i] = (-digH[i] ^ 0xFFFF) + 1


def readData():
    data = []
    for i in range(0xF7, 0xF7 + 8):
        data.append(bus.read_byte_data(i2c_address, i))
    pres_raw = (data[0] << 12) | (data[1] << 4) | (data[2] >> 4)
    temp_raw = (data[3] << 12) | (data[4] << 4) | (data[5] >> 4)
    hum_raw = (data[6] << 8) | data[7]
    outstring = "{ \"place\": \"home\" ,"
    outstring += " \"time\": \"{}\" , ".format(
        datetime.datetime.utcnow().strftime("%Y-%m-%dT%H:%M:%SZ"))
    print(outstring, end="")
    with open(path) as f:
        tcpu = float(f.read()) / 1000.0
        print("\"cpu\": {:.1f} ,".format(tcpu), end='')
    compensate_T(temp_raw)
    compensate_H(hum_raw)
    compensate_P(pres_raw)


def compensate_P(adc_P):
    global t_fine

    v1 = (t_fine / 2.0) - 64000.0
    v2 = (((v1 / 4.0) * (v1 / 4.0)) / 2048) * digP[5]
    v2 = v2 + ((v1 * digP[4]) * 2.0)
    v2 = (v2 / 4.0) + (digP[3] * 65536.0)
    v1 = (((digP[2] * (((v1 / 4.0) * (v1 / 4.0)) / 8192)) / 8) +
          ((digP[1] * v1) / 2.0)) / 262144
    v1 = ((32768 + v1) * digP[0]) / 32768

    if v1 == 0:
        return 0
    pressure = ((1048576 - adc_P) - (v2 / 4096)) * 3125
    if pressure < 0x80000000:
        pressure = (pressure * 2.0) / v1
    else:
        pressure = (pressure / v1) * 2
    v1 = (digP[8] * (((pressure / 8.0) * (pressure / 8.0)) / 8192.0)) / 4096
    v2 = ((pressure / 4.0) * digP[7]) / 8192.0
    pressure = pressure + ((v1 + v2 + digP[6]) / 16.0)

    print(" \"pressure\": {:.1f} ".format(pressure / 100) + "}")

def compensate_T(adc_T):
    global t_fine
    v1 = (adc_T / 16384.0 - digT[0] / 1024.0) * digT[1]
    v2 = (adc_T / 131072.0 - digT[0] / 8192.0) * \
        (adc_T / 131072.0 - digT[0] / 8192.0) * digT[2]
    t_fine = v1 + v2
    temperature = t_fine / 5120.0
    print("\"temp\": {:.1f} ,".format(temperature), end='')


def compensate_H(adc_H):
    global t_fine
    var_h = t_fine - 76800.0
    if var_h != 0:
        var_h = (adc_H - (digH[3] * 64.0 + digH[4] / 16384.0 * var_h)) * (digH[1] / 65536.0 * (
            1.0 + digH[5] / 67108864.0 * var_h * (1.0 + digH[2] / 67108864.0 * var_h)))
    else:
        return 0
    var_h = var_h * (1.0 - digH[0] * var_h / 524288.0)
    if var_h > 100.0:
        var_h = 100.0
    elif var_h < 0.0:
        var_h = 0.0
    print(" \"humid\": {:.1f} ,".format(var_h), end='')


def setup():
    osrs_t = 1  # Temperature oversampling x 1
    osrs_p = 1  # Pressure oversampling x 1
    osrs_h = 1  # Humidity oversampling x 1
    mode = 3  # Normal mode
    t_sb = 5  # Tstandby 1000ms
    filter = 0  # Filter off
    spi3w_en = 0  # 3-wire SPI Disable

    ctrl_meas_reg = (osrs_t << 5) | (osrs_p << 2) | mode
    config_reg = (t_sb << 5) | (filter << 2) | spi3w_en
    ctrl_hum_reg = osrs_h

    writeReg(0xF2, ctrl_hum_reg)
    writeReg(0xF4, ctrl_meas_reg)
    writeReg(0xF5, config_reg)


setup()
get_calib_param()


if __name__ == '__main__':
    try:
        readData()
    except KeyboardInterrupt:
        pass

[/code]

【実行結果】

下記１行を標準出力に出して終わる。

{ place: "home" , time: "2020-08-02T12:33:42Z" , "cpu": 42.4 ,"temp": 33.2 , "humid": 56.7 , "pressure": 1013.9 }

 

【今後の予定】

• crontabで10分ごとに動作させて、ファイルにためておく。
• node.jsとmongoDBで作ったサービスに結果を登録し、Chart.jsなどでグラフ化する。

Raspberry Pi 4B + APDS9660使用光学式ジェスチャーセンサモジュールキット

Raspberry Pi 4B のi2cバスにセンサーを接続の続き

【余談】

APDS9660をラズパイ上で動作させるので、スクリプトの方が何かと都合が良さそう。

Arduino用は秋月のサイトのサンプルプログラムはArduino用。

あちこち探して見つかったのは、Python用のライブラリであるhttps://github.com/liske/python-apds9960だった。

Pythonは書いたことがないのだが、まぁ仕方ない。

【ソフトウエアの準備】

# apt install python3-smbus python3-pip

# python3 -m pip install apds9960

# python3 -m pip install  RPi.GPIO

pipというパッケージマネージャで、ライブラリをインストールしてくれるのね。

便利だな。

jsのnpmと言い、pythonのpipと言い、あえてOSのパッケージマネージャと

別に用意するのは、今の流行というか、OS非依存にしてポータビリティを

上げる方針なんだろうな。

【スクリプト】his.ambient.py

https://github.com/liske/python-apds9960の中のテストスクリプトを元に、下記をでっち上げた。

[code]

#!/usr/bin/python3

from apds9960.const import *
from apds9960 import APDS9960
import RPi.GPIO as GPIO
import smbus
import datetime, time
from time import sleep

port = 1
bus = smbus.SMBus(port)

apds = APDS9960(bus)

def intH(channel):
    print()

GPIO.setmode(GPIO.BOARD)
GPIO.setup(7, GPIO.IN)
try:
    # Interrupt-Event hinzufuegen, steigende Flanke
    GPIO.add_event_detect(7, GPIO.FALLING, callback = intH)
    apds.enableLightSensor()

    sleep(1)
    outstring = "{ place : \"home\" ,"
    outstring += "  time : \"{}\" ,".format(datetime.datetime.utcnow().strftime(
"%Y-%m-%dT%H:%M:%SZ"))
    outstring += "  AmbientLight : {} ,".format(apds.readAmbientLight())
    outstring += "  red :{} ,".format(apds.readRedLight())
    outstring += "  green :{} ,".format(apds.readGreenLight())
    outstring += "  blue :{} ".format(apds.readBlueLight()) + "}"
    print(outstring)

finally:
    GPIO.cleanup()

[/code]

【実行結果】

下記１行を標準出力に出して終わる。

{ place : "home" ,  time : "2020-08-02T11:58:17Z" ,  "AmbientLight" : 151 ,  "red" :33 ,  "green" :28 ,  "blue" :26 }

【今後の予定】

• crontabで10分ごとに動作させて、ファイルにためておく。
• node.jsとmongoDBで作ったサービスに結果を登録し、Chart.jsなどでグラフ化する。
• もともとAPDS9660はジェスチャーセンサーなんだが、その機能は使う予定なし。

Raspberry Pi 4B のi2cバスにセンサーを接続

【お品書き】

ずっと工作箱の中にしまっていた
APDS9660使用 光学式ジェスチャーセンサモジュールキットと

BME280使用　温湿度・気圧センサモジュールキットを

Rapberry pi 4Bのi2cにバス繋いでみた。

＃正確には、APDS9660モジュールは秋月のものではなく、同等品。

【接続】

ラズパイ4Bは、放熱のためにアルミ合金ケースに入れているが、GPIO(40pin)はフラットケーブルでケース外に引き出すことができる。

そこからブレッドボードに繋いでセンサーモジュールを接続してみた。

【接続確認】

# apt install i2c-tools

# i2cdetect -y 1

     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00:          -- -- -- -- -- -- -- -- -- -- -- -- --
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
30: -- -- -- -- -- -- -- -- -- 39 -- -- -- -- -- --
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
70: -- -- -- -- -- -- 76 --              

• 0x39がAPDS9660
• 0x76がBME280

とりあえず、認識されているようだ。

ソフトウエアの設定については、別途。

サーバサイドの準備 その１

【準備段階のメモ】

1. raspberry Pi 4B(8GB)にSSD(500GB)をUSB3.0で接続し、
2. そこにubuntu 20.04 LTSをインストール。
3. node.js、express、nodemon、vue.js、chart.jsをインストール。
4. さらに、npm install -g d3でd3をインストール。
5. ubuntuのパッケージからではなく、mongodb-orgをインストール。
6. 追加でnpm install -g mongoose
   

vue.jsはスマホなどからアクセスする時のGUI用。

chart.jsはグラフ表示用。

d3.jsもグラフ表示だけど、先は長そう。