2019 ソフトウェア設計及び演習用の班Wiki

19::gr05::細川祐生

archive mode

<<<担当作業>>>
*Webスクレイピングに挑戦！

<<<Webスクレイピングについての調べ>>>
○期間：５月１７日（第５回）から５月３１日（第７回まで）((br))

*天気予報のAPI：OpenWeatherMap (サンプルコードはRubyを使用) ((br))
[URL:https://qiita.com/nownabe/items/aeac1ce0977be963a740]

<<{スクリーンショット_2019-05-17_15-19-26.png}

→７行目の"zip=*"は郵便番号を指定できる。((br))
→その他にも、"q=*"で都市名、"lat=*&lon="で緯度・経度を指定できる。

==*JavaScriptによって、linuxのコマンドを実行してテキストファイルを抽出する((br))==
==→Node.jsのインストールが必要[参照:http://wiki.cis.iwate-u.ac.jp/~yamanaka/csd/2019/material/nodejs/]((br))==
==＜メリット＞((br))==
==・RubyをJavaScriptに埋め込む必要がなくなる。((br))==
==[URL:https://qiita.com/TsuyoshiUshio@github/items/cf4b28e7999403f7a04c]((br))==
↑中止（Pythonに絞って調べることにする）

<<<Webスクレイピングのまとめ>>>
<<<<Pythonを用いたWeb情報の取得>>>>
（Webスクレイピングの流れ）

（1. 天気、ニュースなどの情報が書かれたWebサイトからhtmlデータを取得する。）((br))
・"requests"というライブラリを使用してhtmlデータを取得する。((br))
[URL:https://qiita.com/sqrtxx/items/49beaa3795925e7de666]

（2. 取得した情報から必要な部分をtxtファイルやcsvファイルとして抽出。）((br))
・"BeautifulSoup"というライブラリを使用してhtmlから必要な情報を抽出する。((br))
[URL:https://qiita.com/U-MA/items/896c49d46585e32ff7b1]
[URL:https://www.htmllifehack.xyz/entry/2017/10/07/010341]

（3. メイン画面に抽出ファイルの情報を表示して加工する。）((br))
・JavaScriptで抽出ファイルから必要箇所を抜き取ってメイン画面に表示する。

<<<<Pythonの実行方法>>>>
・"Brython"を使ってJavaScriptで実行する。((br))
[URL:https://qiita.com/Senple/items/f5ccb083d0cf7c997d3d]

<<{Brython1.png}

<<{Brython2.png}

<<<活動記録>>>
<<<<0. 班の活動記録>>>>
　班の活動記録は細川が担当して書いています。
　[[活動記録|19::gr05::活動記録]]

<<<<1. Webスクレイピング>>>>
　プログラミング言語はPythonを使用して、「岩手大学ホームページ」から情報を取得することを目指す。((br))
　* Webスクレイピングのやり方について調査！
　まず、初めにWebスクレイピングの具体的なやり方について調査した。((br))
　(Webスクレイピングの流れ)((br))
　1. WebページのHTMLを読み込む。((br))
　2. HTMLから必要な情報を指定して任意のファイルに書き込み((br))
　3. 取ってきた情報を自分たちで使う。((br))

しかし、いざやろうとすると結構難しかった。まずはインターネットで調べたスクレイピングのサンプルファイルを参考に手順1を行う。((br))
この時にライブラリであるrequestsとBeautifulSoup4を使用した。(インストールしていただいた職員さんに感謝！！)((br))

次に、手順２を行う部分をコーディングした。((br))
これは完全に独学だったが、購入した本(実践力を身につけるPythonの教科書/株式会社マイナビ出版)を参考資料として作成した。((br))

最後に、手順３を行う。ここでは自分たちが作るWebアプリケーションに実装することが目標となるが、まさかの問題が発生！((br))
それはHTML,CSS,JavaScriptで書かれたメインのプログラムとPythonで書かれたスクレイピングのプログラムを結合させなければいけないということ。((br))

その対策は、調べによるとフレームワークであるDjangoを使うことで解決するとわかった。これについては後述する。((br))

(8/1)最終的に手順１、手順２で作成したプログラムを一つのソースファイルにまとめることができた。((br))
　　　そして、Djangoでのモジュール結合も成功したので手順３の画面表示も達成できた。

Tag:

Attachment

New: append-tag

(download: 23686 bytes, at 2019/05/31 16:02:05 )
(download: 12192 bytes, at 2019/05/31 16:02:47 )
(download: 172 bytes, at 2019/04/19 15:38:58 <frozen> )
(download: 59 bytes, at 2019/04/26 13:20:42 <frozen> )
(download: 353 bytes, at 2019/05/17 14:13:52 <frozen> )
(download: 572 bytes, at 2019/05/17 15:43:34 <frozen> )
(download: 574 bytes, at 2019/05/18 00:37:34 <frozen> )
(download: 972 bytes, at 2019/05/24 16:20:52 <frozen> )
(download: 1057 bytes, at 2019/05/31 13:40:12 <frozen> )
(download: 1842 bytes, at 2019/05/31 15:09:10 <frozen> )
(download: 2187 bytes, at 2019/05/31 16:14:22 <frozen> )
(download: 3966 bytes, at 2019/07/19 14:53:52 <frozen> )
(download: 3967 bytes, at 2019/07/19 14:54:17 <frozen> )
(download: 4239 bytes, at 2019/08/01 15:48:09 <frozen> )
(download: 31743 bytes, at 2019/05/17 15:39:28 )

Syntax Help

URL Link

[text|http://example.com//] http://example.com/to{text}

Page Link

[[PageName]] [[text|PageName]] >>{PageName} >>{PageName}{text}

Image or Attachment

<<{filename} <<{filename}{text}

Text Decoration

'' Italic '' ''' Bold ''' '''' Large-font '''' `` Typewriter `` `?` Preformatted `?` __ Underline __ == Strike == == DEL =={ INS } ((br)) line feed

Special Letter

((amp)) & ((bq)) ` ((lt)) < ((gt)) > ((lp)) ( ((rp)) ) ((lb)) [ ((rb)) ] ((ll)) (( ((rr)) ))

Headline

!!!! site-name !!! section-name !! subsection-name ! subsubsectino-name << section-name >> <<< subsection-name >>> <<<< subsubsection-name >>>> >> Centering and Large-font <<

Itemize

* item1 ** item1-1 ** item1-2

Enumerate

+ item1 + item2 ++ item2-1

Table

|| 1-1 | 1-2 | 1-3 || 2-1 | 2-2 | 2-3

Description

:item ::description

Quotation

6< quotation >9

Preformatted text

8< preformatted-text >8

Edit