Google Spreadsheetの関数でWebデータを自動取得

こんばんは。ITクラブ講師の光井です。

今夜は、オンライン開催にてChat-GPT 4oのワークショップを開催しました。その際に例として挙げたのが、Webデータの自動取得方法です。

自動取得は「Pythonコードを書かないといけないのでは？」「デスクトップフローで自動化ってハードル高いな？」って感じていらっしゃるかもしれませんが、Google spreadsheetの関数を使って、簡単に取得できます。

北九州市ホームページには、多くの統計データがあります。今回は、単純な農業に関するデータを取得しました。「Importhtml」という独自関数を使うだけです。

【例】=IMPORTHTML("https://www.city.kitakyushu.lg.jp/san-kei/file_0460.html", "table", 1)

これを左端のセルに入力するだけで、Webページの1番目のテーブルが自動取得されます。もちろん、北九州市ホームページのデータが更新されれば、自動的にSpreadsheetのデータも更新されます。

いちいち、データを確認して、Spreadsheetデータを書き換えるという手間はなくなります。

これも、実はChat-GPTと会話して、簡単に構築できました。

次は、Excelデータとしてダウンロードしないといけないデータを、Google App Scriptを使って自動化をします。これは、JAVAというコードを書かないといけないのですが、Chat-GPTに書いてもらいます。その書き方と対話の仕方を、是非、ITクラブで体験してみてください。

【余談】ただ、無作為にデータを取得するのではなく、得た複数データを、自分の事業や研究に役立つための、多量変数データ解析は、順次実践していきます。これはプログラマーだけではなく、例えば、個人で営む町のスイーツショップなどでも活用できます。しかも、ほぼコストゼロです。

このブログの人気の投稿

【シリーズ】第四次産業革命　〜化学者目線〜

こんばんわ。ITクラブ講師の光井です。シリーズで第四次産業革命について、簡単に解説させていただく、第二弾です。前回化学者目線で書くといったのに、化学の話が出なかったと、同じ九工大化学系材料技術者の後輩からツッコミを受け、改めて、化学について考察します。出展：株式会社島津製作所高速液体クロマトグラフ LC-2060D 化学、つまりChemicalと言われる分野では、液体・流体を扱います。自動車産業やハイテク機器とは違い、非常に制御が難しい分野で、「圧力、温度、送液のタイミングなどを、1℃、1Paだけ〇〇時間変更する」といった繊細な制御にて高度な構造をもつ製品ができます。この分野は、日本企業が世界をリードしていることは、意外と皆さんご存知ではないでしょうか？？出展：株式会社RESONAC 記者会見よりさて、私の普段の仕事の現場では、どんな影響があるのでしょうか？化学品の構造、性能などを品質保証するためには、生産工程及び出荷での検査があります。これは非常に重要なことであります。日本国内にも島津製作所や日立ハイテクサイエンス、日本電子、小さくてもフロンティアラボのような技術に立脚した、世界で戦う国際企業が多数あります。実はここ10年くらい、このアーキテクチャが大きく変わりました。昨今、製薬企業のデータ改ざん、不正問題が多発しました。そこで、導入されたのが Data Integrity という概念です。いつ、だれが、なにを、どのように、した。これを電子的に記録し、厚生労働省や所轄薬務課が監査するわけです。過去、紙の検査記録が主流でしたが、現在は基本的に禁止となっています。なぜなら、そのデータがいつ印刷され、どのように取り扱われたのか？を証明できないのです。印刷物に日付時刻が印字されてるのでは？と思われるかと思いますか、その時刻が正しいとどうやって証明するのですか？これが現実です。この規制に対応するには、アメリカのメーカーのソフトウェアを購入するのが一番楽です。固有名称は割愛しますが、米国FDAを退官した官僚とメガファーマが手を組んで規制（ルールメイキング）したからです。日本は？というと、もちろん、この規制に準ずることになりました（当たり前のように）。なので、昨今不正が多いのは、規制によってあぶり出されたことはプラスの側面です。マイナス...

手書きの効果

こんにちは。ITクラブ講師の光井です。皆様、ゴールデンウィークはいかがお過ごしでしょうか？私は、北九州から離れられず、仕事をしながら、家族との時間、ＩＴクラブの事務作業、、、など、隙間時間をうまく活用しながら、過ごしております。つい慌ただしいと、いろんなことに、追われてしまいがちですが、そんな時にこそ、手書きをオススメします。 Fig. 私が愛用している手帳。画像処理で伏せているところが多いですが、ニュアンスとして。「ＩＴクラブなのに手書き？時代に逆行してない？？」と思われるかもしれませんが、人間が文字や紙を発明して4000年、書くことは脳にとても良い効果を与えます。リンク：モレスキン社「科学によれば、書く量が多いほど、脳によい。」私自身も、普段は様々なデジタルツールをほぼフル活用しています。Google Workspaceのカレンダー、メモ、スマートキャンパス等々。特にスケジューリングは、Googleを中心に様々なアプリを連携させ、急な予定変更なども、迅速かつ確実に対応し、リマインドできる仕組みを構築しております（この方法に興味のあるかたは、ＩＴクラブに是非参加してみてください）。では、手帳を何に使っているか？というと、殆ど、日記＋思考整理＋振り返りに使っております。私は能率手帳の Nolty No.2281 を使用しております。スケジューリングのスペースは小さく、フリースペースがメインです。ここに、1週間の出来事や思考、アイディアをまとめ、頭を整理します。文字に起こすことも、図解することも出来ます。仕事関係は黒色、プライベートなどは青色など、使い分け。蛍光ペンなどを使って、視覚的にカラフルにする。出展： Nolty手帳活用例手帳については、社会人になって色々と試行錯誤をしながら、現在の運用に至ってます。きっともっと素敵な使い方があると思います。ＩＴクラブでは、皆さまのアイディアもお待ちしております。気軽にフラッと参加ください。 P.S. 町の書店さんも、ぜひ、ITクラブに来てみてください。一緒にアプリケーションを考えて行きましょう。そして能率手帳さま、案件いただけたら嬉しいです ww

【シリーズ】第四次産業革命　〜Industrie 4.0 ってなんだろう〜

こんにちは。ITクラブ講師の光井です。今回から不定期ながら、シリーズ編を開始します。ちょっと専門的な話ですが、できるだけ噛み砕いて解説します。出展：ドイツ　 Plattform Industrie 4.0 さて、皆さま、第四次産業革命ってイメージ湧きますか？実はすごく身近な話です。産業革命については、内閣府ホームページに説明があります。2000年代に入り、世の中が急速に変化していることが現実に起きているのですが、皆さまの普段の生活からでは、割と当たり前のようになって気づかないことが多いと思います。各論になると、私よりもっと詳しい方がたくさんいらっしゃいます。しかし、普段、化学技術者である私も、一見、無関係と思われますが、実はめちゃめちゃ影響をうけているのが現実です。北九州市では初期の頃からの取り組みや情報共有会が開催されており、特に、早稲田大学情報生産システム研究センターで、活発な議論が取り交わされておりました。この分野で第一人者である、野村総合研究所の藤野先生（早稲田大学北九州キャンパスの特任教授）が多くの見解を提示されております。藤野先生の見解はとても参考になります。産業革命は、世界的な潮流です。一見、国際協調で決められているようにイメージされますが、現実は国家間の標準化競争です。上記をよく見てください。英語ではなく、ドイツ語のIndustrie と表記されております。この間には、アメリカ「Industrial internet」、中国「中国制造2025（製造ではなく制覇と表記されているところがポイント）」、日本「Connected Industiries」など標準化競争が繰り広げられていました。 Connected Industiriesは日本が主導したのですが、国民の皆さま、ほとんど知らずでした。国内だけでも、他に「Industrial value chain」など、複数の団体が設立されているのですが、結果として、他国の規格に準ずることになりました。ここまで、ちょっと難しいのですが、身近な例で紹介すると、一昔前、Blueray（Sony）とHD DVD（東芝）を思い出してください。本件は日本企業同士の競争で、米国がSonyに着いたため、Bluerayが勝者となり、世界標準となりました。もう、HD DVDは殆どの方の記憶か...

北九州ITクラブ

このブログを検索