2019 ソフトウェア設計及び演習用の班Wiki

スクレイピングにより得られた情報をcsvファイルに保存する

• HTMLの要素を辿って指定する。
• ただし、必要な情報が複数ある場合(li[1],li[2], ...)、スクレイピングモジュール側で指定するかcsvファイルでデータを整形する必要あり。
• ブラウザでソースコードを表示し、解析していく。

PythonライブラリのRequestsおよびBeautifulSoupを利用してスクレイピングを実行

プログラム概要

　HTMLのソースを確認して、必要な情報を格納している文字列を取得する。BeautifulSoupを使うことでHTMLのタグたどることが可能。

　例 : <変数> = soup.find_all('<HTMLのタグ>', class_='<クラス名>')

　得られた結果をCSVファイルなどに保存する。

• Django

　　　最終的な統合を行う．また，スクレイピングのプログラムを実行できそうなのでアプリの起動だけで必要な操作が完了できそう．

• ログインが必要なサイトのスクレイピング

　　　6/14に引き続き，ログインが必要なサイトのスクレイピングを試みたが，うまくいかなかった．

• Django

　　　Djangoを導入してアプリの最終的な統合を行うことに決めた．

• Django公式のチュートリアルなどを利用してDjangoのテストを行った．

• プロトタイプのメイン画面を表示させることができた．
• Javascriptもきちんと動作していたので統合して利用することができそう．

• データベースを利用してスクレイピングの結果を表示させたいが，思ったとおりに動作しない．
• データベース(SQLite3)の操作，データベースの読み込み部分のテストが必要．

• データベースにスクレイピングの結果を書き込めるようになり，ブラウザ上で結果が見られるようになった．

「Web 開発タスクを迅速かつ簡単化する」(Django公式ページより)
「Pythonで実装されたWebアプリケーションフレームワーク」「複雑なデータベース主体のWebサイトの構築を簡単にする」(Wikipediaより)
→Webアプリを制作するために必要な作業が簡単にまとめられている

プロジェクト内にアプリとして機能を作っていく．

(プロジェクト)

|- (アプリ)

|- (アプリ)

|- ︙

|- (アプリ)

|- (データベース)

|- manage.py

1.スクレイピングを行うスクリプトを実行する．

　　→ニュースの日付，タイトルをまとめたCSVファイルが作成される．

2.CSVファイルからデータベースを作成するPythonスクリプトを実行する．

　　→実行することでデータベースが更新され，新しいニュースを表示できる．

3.ブラウザ上に表示される．

1.スクレイピングを行うスクリプトを実行する．

　　→天気予報の地域，日付，天気予報，最高気温をまとめたCSVファイルが作成される．

2.CSVファイルからデータベースを作成するPythonスクリプトを実行する．

　　→実行することでデータベースが更新され，新しい天気予報を表示できる．

3.ブラウザ上に表示される．

アプリにより集めた情報も統合して表示を行う画面．