BLOG – 0x0c.info

MongoDBをそろそろバージョンアップしないとなー、と思っていたら幾星霜、とうとうやる気になったらなんと3.4から7.0まで上げないといけない、とかいう状況に遭遇した場合、

通常はローリングアップデートでやるんだろうけれども、そうするとえーと、

3.4 → 3.6 → 4.0 → 4.2 → 4.4 → 5.0 → 6.0 → 7.0

と、なんとまあ、七回もバージョンアップを繰り返さなきゃいけなくなります。

で、ふつうは、じゃあダウンタイムは許容するとしてダンプ&リストアで何とかならないのか、と思いますよね。

でもどこをさがしてもなんか”ダンプ&リストアで何とか”なるのかどうか公式ドキュメントだとよくわからない。

https://www.mongodb.com/community/forums/t/dump-and-restore-between-version-3-6-and-5-0/168933

には

If downtime is acceptable and you have a large number of major releases to upgrade through, you can also consider a migration using mongodump and mongorestore.

とあるものの、

will encounter different issues depending on the provenance of your data

とかあるし、ちょっと心配ですが、まあきちんとテストすれば、というかローリングアップデートしたからといってテストしないわけでもないし、こっちの方が楽かなーと思います。

ちなみにこちらでは docker 使って複数バージョン間バージョンアップを自動化するという力業が紹介されてて、なるほどすごいなーという感じです。

https://stackoverflow.com/questions/37833561/restoring-the-database-dump-of-an-older-version-of-mongo-to-a-new-version-of-mon

December 12, 2024

【influxdb-1.8】 autogenに無期限に溜まったデータを削除する

何も考えず influxdb の運用を始めてしまい、 /var/lib/influxdb/data/xxx/autogen/ にがっつり昔のデータが溜まってきて、なんかディスクが一杯だし昼頃サーバに負荷がかかるなーとお悩みの諸兄

ALTER RETENTION POLICY "autogen" ON "xxx" DURATION 800d

で autogen の保存期限を無期限から800日に変更できます。上記のクエリを発行してから1時間程度で、実際にディスクからデータも削除されて、すっきりです。

October 8, 2024

【aws-ec2-ebs】ルートデバイスのスナップショットを取るとき、インスタンスを停止すべきか

いつも迷うのですが、公式に

Amazon EC2 インスタンスのルートデバイスとして機能するボリュームのスナップショットを作成する場合は、スナップショットを作成する前にインスタンスを停止することをお勧めします。

https://docs.aws.amazon.com/ja_jp/ebs/latest/userguide/ebs-creating-snapshot.html

とあるので、スナップショット取るときはおとなしくインスタンスを停止した方が良さそうです。

ただし、スナップショットを取得開始して、”保留中”(pending)ステータスになれば、インスタンスを起動してokです。

上記サイトに

スナップショットの作成は非同期です。スナップショットはすぐに作成されますが、すべてのデータが Amazon S3 に転送されるまで pending 状態のままになります。これには、ボリュームで変更されたブロックの数に応じて、完了までに数時間かかることがあります。この間、スナップショットに影響を与えずにボリュームを引き続き使用できます。スナップショットには、スナップショットのリクエスト時にボリュームに書き込まれたデータのみが含まれます。

と書かれているとおり、スナップショットをリクエストしたタイミングのデータが保存され、その後の変更はスナップショットには記録されない、のでインスタンスは起動してかまわない、ということのようです。

July 28, 2020

【bash】ディレクトリ下の全rarファイルをzipに変換する

変換する、というか展開して、zipに固め直します。

#!/bin/sh

for dir in *.rar;
do
    echo $dir
    bn="${dir%.*}"
    echo $bn
    mkdir "${bn}"
    cd "${bn}"
    unrar e "../${dir}"
    cd ..
    zip -r "${bn}".zip ./"${bn}"/
done

展開したファイルは消してません。
unrarとかzipとかは先にインストールしておきましょう。

November 2, 2019

【kafka】 kafkaの中身が見たいとき

trifectaを使います。

バイナリがあるので、ビルドは必要ありません。

wget https://github.com/ldaniels528/trifecta/releases/download/v0.22.0rc8-0.9.0.1/trifecta-cli-0.22.0rc8b-0.9.0.1.bin.jar
wget https://github.com/ldaniels528/trifecta/releases/download/v0.22.0rc8-0.9.0.1/trifecta-ui-0.22.0rc8b-0.9.0.1.zip
unzip trifecta-ui-0.22.0rc8b-0.9.0.1.zip
cd trifecta-ui-0.22.0rc8b-0.9.0.1/bin/
./trifecta-ui &

設定が必要なら、$HOME/.trifecta/config.properties を適当に編集して./trifecta-ui &を起動し直します。

ブラウザで hostname:9000 にアクセスします。

“Observe”のタブからkafkaの中身を見れます。

November 2, 2019

【Java】 kafkaStreams.cleanUp(); がstate dirのファイルをうまく消せなくてエラーになる場合

おそらくwindows環境だけの問題です。

        KafkaStreams kafkaStreams = new KafkaStreams(builder.build(), streamsConfiguration);
        kafkaStreams.cleanUp();

の前に

        final File baseDir = new File(streamsConfiguration.get(StreamsConfig.STATE_DIR_CONFIG).toString());
        final File stateDir = new File(baseDir, streamsConfiguration.get(StreamsConfig.APPLICATION_ID_CONFIG).toString());
        //System.out.println(stateDir);
        try {
            FileUtils.deleteDirectory(stateDir);
        } catch (IOException e) {
            System.out.println("delete error");
        }

を突っ込みます。

import org.apache.commons.io.FileUtils; などが必要になります。

November 2, 2019

【debezium/kafka】 kafkaに外部から繋ぎたいとき

デフォルトだとkafka:9092に外から繋げません(たぶん)。

docker-compose.yamlに

kafka:
    (snip)
    environment:
        ADVERTISED_LISTENERS: "PLAINTEXT://xxx.xxx.xxx.xxx:9092"

xxx.xxx.xxx.xxxに外部から接続したい、ホストのアドレスを入れるとつながるようになります。

上記のようにした場合は、SECURITY_PROTOCOL_CONFIGをPLAINTEXTにして繋ぐのをお忘れなく。

September 28, 2019

【チェコ/ポーランド】プラハからクラクフまで列車で移動する

チェコのプラハからポルトガルのポルトに行きたかったのですが、安い飛行機がありません。
ですが、ポーランドのクラクフというところからRyanAirがポルトまで飛んでいて、かなり安いです。
それで、プラハからクラクフまで列車で移動することにしました。

切符は https://www.cd.cz/en/ からかなり前もって購入することができます。
早く購入すると割引になるみたいで、私たちは2人で728Kc(3450円くらい)でした。

EC115列車、10:24プラハ発、17:25クラクフ着でした。

プラハからクラクフに行くEC115列車はボフミンで機関車および客車のワルシャワに行く部分と切り離され、ブダペストから来たEC130列車の機関車と客車に接続されます。
この映像はEC115列車側から見たボフミンでのEC130列車の機関車と客車との接続の場面です。

食堂車がさいこうでした。

プラハを出てすぐに食堂車は満席になってしまうので、早めに行くのがお勧めです。
ハッピーアワーもあり、食事もビールも安なくります。

食堂車のメニューは https://www.jidelnivozy.cz/ から見ることができます。

September 11, 2019

【ESXi6.5】 VMware Host Client および ssh接続でvmを複製する

vmOSが CentOS 7.6-1810 での例

ESXiは6.5

ESXiにsshログインする

cd /vmfs/volumes/datastore1
mkdir NEW_VM_NAME
cd NEW_VM_NAME
vmkfstools -i "/vmfs/volumes/datastore1/NAME_OF_VM_COPY_FROM/NAME_OF_VM_COPY_FROM_0.vmdk" -d thin "NEW_VM_NAME_0.vmdk"
cp ../NAME_OF_VM_COPY_FROM/NAME_OF_VM_COPY_FROM.vm* .
mv NAME_OF_VM_COPY_FROM.vmx NEW_VM_NAME.vmx
mv NAME_OF_VM_COPY_FROM.vmsd NEW_VM_NAME.vmsd
cp ../NAME_OF_VM_COPY_FROM/NAME_OF_VM_COPY_FROM.nvram NEW_VM_NAME.nvram
sed -i s/NAME_OF_VM_COPY_FROM/NEW_VM_NAME/g NEW_VM_NAME.vmx

データストアブラウザから新機材の.vmxファイルを右クリックし、仮想マシンの登録

ネットワークカードを削除し、また同一のものを作成する(macアドレスが”自動”になってれば不要)

vm起動時、コピーしたのか移動したのか聞かれるので、コピーと答える

vmを起動したら以下のコマンドでホスト名とipアドレスを変更する

vi /etc/hostname
vi /etc/sysconfig/network-scripts/ifcfg-ens192

以上