ruby
背景 私はcygwin上でもrubyを使っている。 excelファイル等を扱うことも多く、従来は、-Ksで、SJIS環境でコーディングすることが多かった。 linuxで作業することもあるのだが、数年前-KuでUTF-8に統一するように転換し、 ライブラリもUTFに書き換えた。ある…
最新版に対応した日本語記事が不足していたので、書いてみた。 これでlinuxで動かせるようになった。 require 'selenium-webdriver' PROXY='*.*.*.*:8002' profile = Selenium::WebDriver::Firefox::Profile.new profile.proxy = Selenium::WebDriver::Proxy…
rbenv で3.1をインストールしたら、またgeorubyが必要になった。geo_rubyとgeorubyのよくわからない話。 とりあえず、動かせるようになった。 分かったこと。 ①gem georuby は、読み書き共にできるらしい。 ②georuby2.5.1⇒2.5.2でshpの出力方法が変化してい…
長年rubyを愛してきたが、ついに、pythonに挑戦する時が来た。 Beautifulsoupなるものが、便利そうだから。これまで、cygwinで、IEをWinOLEで動かしてきた。IEは廃止らしいので、 Selenium-WebDriverに転換していた。 しかし、職場の環境が変わり、SkySeaが…
自宅でリモートワーキングをしているが、悩ましいことがある。 自宅には、WindowsPCが３台ある。 ①会社ＰＣ(2017-Pro,8GRAM) ②自宅ＰＣ－ＳＳＤ(2019-Home,16GRAM) ③自宅ＰＣ－ＨＤＤ(2015-Home,8GRAM) ①は、会社メールを送受信、②は③の後継として購入したが…
これまで、rubyで様々なexcel制御を実施していた。 それらは、excelの指定のセルの値を書き換えるようなものばかりで、そこそこのサイズの領域を処理しようとすると、時間がかかっていた。 そこで、「txtファイルをエクセルで読み込ませてコピーして貼り付け…
業務で企業の情報を整理している。 大した内容ではないが、タウンページの情報と、別の企業リストの情報の統合であるが、ここで、様々な文字処理に関する技術を習得した。 これを少し整理しておこう。 文字コード データの取得はSJISで、結果はEXCEL。内部は…
ダム効果の表現 rmagickを使ってダムの効果をアニメーションで表現してみた。 Rmagickは重たい。 シーン数が増えると、加速度的に遅くなる不思議。 ダムの洪水調節効果アニメーション
MS-Excel等Ms-Officeの Shapeの頂点座標の情報を再利用したい場合がある。 地図図像に、数＋個の氾濫ブロック境界をShapeで作成したものがあり、これをGISで使いたいということがあった。 Excel→PDF、Addobe-IllustratorでxdwにしてそれをCADソフトで座標取…
２次元配列の画像生成は基本では？ ２次元配列から画像にするのは、ごく基本的な画像処理作業である。 ところが、Rmagickでどうするか？日本語の説明文が出てこない。 rmagickのTextから変換する等、カッタるい方法の紹介はあるのに。 私自身も、これまでrma…
コロナウィルス感染者数のデータを探してみると、WHOの以下データが基本のようである。 https://www.who.int/emergencies/diseases/novel-coronavirus-2019/situation-reports/ これは、PDFのため、データの整理はそれほど簡単ではない。このため、以下のよ…
cygwin-rmagickインストール 備忘録 最近自宅PCを更新した。windows10にcygwinを入れて、ruby-rmagickをインストールするのだが、imagemagick、rmagickをどうやってインストールするか。1年前に別のPCでやったはずだが、もう記憶は無い。検索しても、記事に…
大量にダウンロードするときに、ダウンローダは便利である。しかし、ダウンローダがあれば、余計なものまでダウンロードしてしまう。クライアント周辺の通信と、サーバの付加が大きくなる。情報技術は、爆発的に進歩しているが、そのような無駄を大いに生ん…
CYGWIN-ruby-win32oleでかなりのデータを取得できる。 しかし、例えば、気象庁のダウンロードサービス等で、ダウンロードメニューを使う時、「保存又は開きますか?」のポップアップが出てきて、キーバインドを求められる。WIN32OLE.new("InternetExplorer.Ap…
大規模処理時の問題 1河川分の処理を全国でやろうとする等で、件数が増えると何かとしんどくなる。 私の扱う分野では、入出力がネックになる場合が多い。GISのメッシュデータ等、Ⅰ河川でも、千万を超える場合がある。1件1行で逐次出力すると、1000万レコード…
河川距離標位置とは 河川の情報のうち、縦断的な位置を示す距離標は、基本情報である。距離標において、横断測量を行い、河川の水理解析を行い、横断計画を作成する。浸水想定区域図は、距離標毎に氾濫解析して作成する。 距離標は、河口から又は合流点から…
雨量データのダウンロード 台風19号の雨の確率規模を、より正確に評価するため、気象庁の雨データを大量にダウンロードしようとしていた。 具体には、全部で約700地点で、50年分の日データを取得しようとしていた。これを元に、日雨量の多い日の前後の時間雨…
georuby と geo_ruby と GeoRuby gem には、 georuby と geo_ruby という似たものが存在する。 私は、この区別、意味はよくわからないが、これまで、人のコードをまねして、 shpの入力ではgeorubyを、出力ではgeo_rubyを使っていた。 gem list でみると、geo…
PDF等を、ワード等に取り込む時、頁毎のJPGを出力し、ワードに貼り付ける。余白はワードで削除して大きさを揃える。枚数が多くなると大変だ。 まとまった数の頁があれば、あらかじめ、irfanviewで、JPGを一括トリミングしてそれを貼るということをしていた。…
経緯 これまで、画像処理には、rubyでImagemagickライブラリを活用できるrmagickを用いている。 ちょっとした処理をしたくて、久々に利用しようとすると、動かなくなっていた。 Imagemagickを、従来は6.9.1を用いていたのだが、最近、7が出ていることに気づ…
はじめに 台風19号は、東日本に未曽有の被害をもたらした。 雨量・水位・流量の情報は多様であるが、この台風の驚異的な破壊力について、簡単に1枚で表現する方法を考えてみたい。 様々な指標 雨量には、平面分布と共に、時間分布がある。 今回のニュースで…
台風19号により、東日本各地で大災害が生じた。 この状況を把握するため、川の防災情報のデータを一括ダウンロードしてみた。 この作業は、それなりに、サーバー側の付加にもなる。洪水中の対応中に使用は避けるべきである。前日以前の1週間分のデータを取得…
河川毎の水文観測所の位置データを整理するのに、観測所の位置があらかじめわかっていれば、容易に整理できる。 このため、あらかじめ全国のデータを整理しておく。 そこから、関連する都道府県や自治体、流域等のエリア内部にあるかどうかを判定する。 水文…
問題事象 2019年5月頃、cygwin-rubyのバージョンアップ 2.3.6->2.6.3 を実施した。 その影響からか、geo_ruby のshp読み込みができなくなっていた。 /usr/share/gems/gems/dbf-4.1.2/lib/dbf/table.rbの中で、以下の定義があるが、 header_length がnilのた…
国土交通省の実施する国土調査のうち、水系調査結果は、流域水利用や河川に関する情報整理に役に立つ。一方で、問題点もある。 活用にあたっての、工夫や課題等について、整理しておく。 水系によって異なる様々なフォーマット 標準的なフォーマットは定めら…
cygwin-rubyでどのような漢字設定が良いか?は、これまでも悩んできた。 私は、データはSJISを用いることを基本とし、rubyスクリプトも、基本的にsjisを用いている。 ただし、例外時に、utfを用いている。 このへんの考え方は、忘れがちなので、整理メモを残…
rubyで配列を条件で分割 そんなメソッドがあると思って探した。 partition ? これは、条件に合うもの、合わないものを2つの配列に分ける。 でも、そうじゃない。配列の条件に合うところで、区切りたい。 意外と無いものだ。こんな式になるのかな。 is=ar.map…
QGIS(3.6madeira)のベクトルデータ統合のバッチ処理に挑戦 2019/09/04 これを使おうと挑戦したが、結果は、失敗。 同じ失敗を繰り返さないため、メモを残す。 バッチ処理では、以下の情報を入力する。 ①入力レイヤ ②入力CRS ③出力ファイル ①入力レイヤ A.読…
様々な地域の業務でQGISを用いているが、基盤地図情報のshpを全て取り込み、項目別に色設定をするのは結構大変な作業である。 手順毎の合理的な方法について記載する。 ①ダウンロード ダウンロードサイトにて、2次メッシュを設定する。 事前に、必要な範囲を…
リサンプルとは 国土地理院のDEMデータ(5m)は、1kmを、南北150,東西225分割したメッシュで提供されている。これを、南北200,東西200分割のメッシュに割り当てる。 というようなテーマである。 これは、画像処理でよくいうリサンプルと同様のことで、 ArcGIS,…
