大量にダウンロードするときに、ダウンローダは便利である。しかし、ダウンローダがあれば、余計なものまでダウンロードしてしまう。クライアント周辺の通信と、サーバの付加が大きくなる。情報技術は、爆発的に進歩しているが、そのような無駄を大いに生ん…

CYGWIN-ruby-win32oleでかなりのデータを取得できる。 しかし、例えば、気象庁のダウンロードサービス等で、ダウンロードメニューを使う時、「保存又は開きますか?」のポップアップが出てきて、キーバインドを求められる。WIN32OLE.new("InternetExplorer.Ap…

大規模処理時の問題 1河川分の処理を全国でやろうとする等で、件数が増えると何かとしんどくなる。 私の扱う分野では、入出力がネックになる場合が多い。GISのメッシュデータ等、Ⅰ河川でも、千万を超える場合がある。1件1行で逐次出力すると、1000万レコード…

河川距離標位置とは 河川の情報のうち、縦断的な位置を示す距離標は、基本情報である。距離標において、横断測量を行い、河川の水理解析を行い、横断計画を作成する。浸水想定区域図は、距離標毎に氾濫解析して作成する。 距離標は、河口から又は合流点から…

雨量データのダウンロード 台風19号の雨の確率規模を、より正確に評価するため、気象庁の雨データを大量にダウンロードしようとしていた。 具体には、全部で約700地点で、50年分の日データを取得しようとしていた。これを元に、日雨量の多い日の前後の時間雨…

少し時間が経ってしまったが、19号台風の規模について、少し分析的なことをしてみた。 東北～近畿地方の川の防災情報の時間雨量データ(約5000地点)を整理し、1,3,6,12,24,48,72時間最大雨量を算出した。 これを表示しても、いまひとつ意味がわからない。1/●…

georuby と geo_ruby と GeoRuby gem には、 georuby と geo_ruby という似たものが存在する。 私は、この区別、意味はよくわからないが、これまで、人のコードをまねして、 shpの入力ではgeorubyを、出力ではgeo_rubyを使っていた。 gem list でみると、geo…

PDF等を、ワード等に取り込む時、頁毎のJPGを出力し、ワードに貼り付ける。余白はワードで削除して大きさを揃える。枚数が多くなると大変だ。 まとまった数の頁があれば、あらかじめ、irfanviewで、JPGを一括トリミングしてそれを貼るということをしていた。…

経緯 これまで、画像処理には、rubyでImagemagickライブラリを活用できるrmagickを用いている。 ちょっとした処理をしたくて、久々に利用しようとすると、動かなくなっていた。 Imagemagickを、従来は6.9.1を用いていたのだが、最近、7が出ていることに気づ…

はじめに 台風19号は、東日本に未曽有の被害をもたらした。 雨量・水位・流量の情報は多様であるが、この台風の驚異的な破壊力について、簡単に1枚で表現する方法を考えてみたい。 様々な指標 雨量には、平面分布と共に、時間分布がある。 今回のニュースで…

流域解析の実施 QGISの機能に流域解析というのがある。 標高ラスターデータから、流域分割を行うものである。 面白そうなので、使ってみた。 まず、DEMから、標高入りのTIFF geotiffを作成しないといけない。 QGIS入門(https://gis-oer.github.io/gitbook/bo…

台風19号により、東日本各地で大災害が生じた。 この状況を把握するため、川の防災情報のデータを一括ダウンロードしてみた。 この作業は、それなりに、サーバー側の付加にもなる。洪水中の対応中に使用は避けるべきである。前日以前の1週間分のデータを取得…

河川毎の水文観測所の位置データを整理するのに、観測所の位置があらかじめわかっていれば、容易に整理できる。 このため、あらかじめ全国のデータを整理しておく。 そこから、関連する都道府県や自治体、流域等のエリア内部にあるかどうかを判定する。 水文…

問題事象 2019年5月頃、cygwin-rubyのバージョンアップ 2.3.6->2.6.3 を実施した。 その影響からか、geo_ruby のshp読み込みができなくなっていた。 /usr/share/gems/gems/dbf-4.1.2/lib/dbf/table.rbの中で、以下の定義があるが、 header_length がnilのた…

世界の気候データ(月平均気温や月降水量等)を、空間保管して面データにしてみた。 補間方法は、前述のとおり、ドロネー三角形内で直線補完と、 気温については、標高の影響が明らかであるため、標高補正を組み合わせた。 具体には、観測地点毎の気温データに…

水系別に基盤地図や国土数値情報GISデータを整理する際に、水系に関わる領域の件名と共に、標準地域メッシュ番号が必要である。 このとき、水系流域界の情報が必要である。 水系界データと、2次メッシュID、市町村記号等を重ねたものが有ればよい。 全国水系…

国土交通省の実施する国土調査のうち、水系調査結果は、流域水利用や河川に関する情報整理に役に立つ。一方で、問題点もある。 活用にあたっての、工夫や課題等について、整理しておく。 水系によって異なる様々なフォーマット 標準的なフォーマットは定めら…

cygwin-rubyでどのような漢字設定が良いか?は、これまでも悩んできた。 私は、データはSJISを用いることを基本とし、rubyスクリプトも、基本的にsjisを用いている。 ただし、例外時に、utfを用いている。 このへんの考え方は、忘れがちなので、整理メモを残…

rubyで配列を条件で分割 そんなメソッドがあると思って探した。 partition ? これは、条件に合うもの、合わないものを2つの配列に分ける。 でも、そうじゃない。配列の条件に合うところで、区切りたい。 意外と無いものだ。こんな式になるのかな。 is=ar.map…

QGIS(3.6madeira)のベクトルデータ統合のバッチ処理に挑戦 2019/09/04 これを使おうと挑戦したが、結果は、失敗。 同じ失敗を繰り返さないため、メモを残す。 バッチ処理では、以下の情報を入力する。 ①入力レイヤ ②入力CRS ③出力ファイル ①入力レイヤ A.読…

QGISで、様々な地域で各種国土数値情報を使っている。 国土数値情報を使うにあたり、種類が多くスタイル設定の労力は大きい。以下に容易にするか? いくつかの工夫を整理する。 ファイル名 ダウンロードするファイルの多くは、県別又は標準地域メッシュ(1次又…

様々な地域の業務でQGISを用いているが、基盤地図情報のshpを全て取り込み、項目別に色設定をするのは結構大変な作業である。 手順毎の合理的な方法について記載する。 ①ダウンロード ダウンロードサイトにて、2次メッシュを設定する。 事前に、必要な範囲を…

私は暑がりであるが、会社の気温設定が27℃と高めのため、小型扇風機を使用している。 DCモーター扇風機 これまでのUSB扇風機ではパワー不足だったため、最近より強力なDCモーターの小型扇風機に買い替えた。 DCモーターは、ACモーターに比べて、消費電力が低…

リサンプルとは 国土地理院のDEMデータ(5m)は、1kmを、南北150,東西225分割したメッシュで提供されている。これを、南北200,東西200分割のメッシュに割り当てる。 というようなテーマである。 これは、画像処理でよくいうリサンプルと同様のことで、 ArcGIS,…

全世界の気象観測所データから、空間補完して無段階気候区分を試みる。 空間補完は、単純なTIN補完を適用しよう。 空間補間 · GIS実習オープン教材 ①ドロネー3角形分割(DelaunayTriangulation)し、②TIN内挿を行うが、rubyのドロネー分割ライブラリは、探して…

国土地理院の地球地図サイトから、①世界の地盤高、②地表区分、③植被率のgeotiffが提供されている。解像度は、15秒ということで、約500mメッシュである。 これを使って、観測所毎の気象データの標高補正をして、気候区分図、人口分布図の作成等を試みようと考…

世界の気象データ(気温と降水量)から如何に類似性を評価するか 気候区分方法 世界の気候区分としては、気温と湿潤度に基づくケッペンの気候分類が知られるが、区分数は、30数個で、おおざっぱである。日本を分けると温帯、亜寒帯、亜熱帯の3つにしか分類され…

どうでも良い備忘録 私の職場のPCには、ウィルス・バスター Virus busterがインストールされている。 昨年5月に、Windows10のPCに 更新した時から、cygwin上でrubyが使えなくなってしまった。 何日もrubyを使えない日が続き、必要な時はモバイルPCでしのいだ…

データ提供機関 先日集めた世界の気象データを、GISで表示することとした。 例えば30カ年の平均気温データを、QGISに表示してみたが、背景がない。 何かオープンデータがあるはずだ。少し調べてみた。 ・FAO（ Food and Agriculture Organization of the Uni…

概要 気象庁サイトは、世界の気象データを提供している。 私は、日本の特定地域に類似する気象条件の海外の地域を検討する必要があり、世界のデータをダウンロードすることとした。 2019/5/27現在、2018/1/1以降の日データ、1982/6以降の月データがDL可能で…