Einen Web Bot mit Python und Selenium erstellen

Web Bot Darstellung

Ein Web Bot ist ein Programm oder Skript, welches automatisch Aufgaben bearbeitet die sich oft wiederholen, wie zum Beispiel Preise von einem Onlineshop auslesen und in einer Datenbank speichern. Damit kann man Preisänderungen verfolgen oder darstellen und gegebenenfalls die Waren zum richtigen Zeitpunkt einkaufen.

Was braucht man um einen Web-Bot zu machen?

Um einen simplen Web-Bot zu schreiben braucht man folgende Dinge:

  • Browser
  • Webdriver
  • Python
  • Selenium-Modul
  • Bot-Code

Was ist ein Webdriver?

Ein Webdriver ist ein Steuerungsprogramm für den Browser. Damit kann man die Aktivitäten die man am Browser macht, automatisieren. Zum Beispiel „rufe die URL http://www.google.com auf“ oder „Zeige mir den Quelltext der aktuellen Seite“. Weiters kann man Javascript-Code live einspeisen oder den DOM-Elemente suchen wie zum Beispiel Links mit einem bestimmten Linktext.

Für die gängisten Browser existieren die notwendigen Driver. Diese müssen nicht installiert werden sondern sind ein eigenständiges Programm und funktionieren unter Windows auch ohne Administrationsrechte.

Download für die gängigsten Browser

Webdriver für Firefox
Webdriver für Chrome

Wie fange ich mit dem Web Bot an?

Nachdem das Selenium Modul installiert wurde kann nun mit der eigentlichen Abeit begonnen werden.

Dazu legt man sich am besten ein neues python-File an und gibt folgende Zeilen Code ein:

from selenium import webdriver

# Neue Instanz erzeugen mit Firefox
driver = webdriver.Firefox()
# zu Google navigieren
driver.get("http://www.google.com")
# den aktuellen Titel der Website auslesen
print(driver.title)
# driver wieder schließen
driver.quit()

Wenn alles funktioniert hat, wird der Browser gestartet, zu Google navigiert und der Title ausgelesen. Desweiteren gibt es noch unendliche Möglichkeiten, dazu empfehle ich aber die Dokumentation bei Selenium selbst zu lesen.

Wichtig ist das der Webdriver im gleichen Verzeichnis liegt wie das Python-Script. Bei mir hat es nämlich nicht funktioniert, da der Webdriver wo anders gelegen war. Alternativ kann man auch den Pfad zum Webdriver im Code angeben und mit dieser Zeile:

driver = webdriver.Firefox(executable_path=r'C:\webdriver\geckodriver.exe')

Zum Beispiel kann man die Suchposition der eigenen Domain bei Google auslesen  und in einer Datenbank speichern.

Ameisenalgorithmus – Schwarmintelligenz in Matlab

Vogelschwarm

Hab für die Uni ein kleines objektorientiertes Skript in Matlab geschrieben welches über den Ameisenalgorithmus handelt.

Was ist der Ameisenalgorithmus?

Dieser simuliert mehrere Ameisen und deren Fähigkeit zur bildung einer kollektiven Intelligenz. Das nennt man Schwarmverhalten. Dieses Verhalten kann man auf Probleme des Menschen anwenden. Zum Beispiel in der Transportlogistik. (siehe auch Travelling Salesman Problem). Wie kann man möglichst viele Städte bzw. Ziele mit der geringsten Route abfahren? Die Lösung für diese Frage steigt mit jedem zusätzlichen Ziel stark an. Darum gibt es heuristische Verfahren wie den Ameisenalgorithmus.

Wie denkt eine Ameise?

Eigentlich ist ein einzelnes Individuum nicht sehr intelligent. Es geht in zufällige Richtungen bis es Futter findet. Dabei schüttet es einen Stoff aus der als Pheromon bezeichnet wird. Findet die Ameise dann Futter, so kehrt sie zum Nest zurück. Dadurch hinterlässt sie eine Pheromonspur welcher wiederum andere Ameisen folgen. Es bildet sich nach der Zeit ein Ameisenpfad aus und die Ameisen haben eine gute Route gemeinsam gefunden.

Hier noch das Video. Der Code wurde objektorientiert in Matlab geschrieben

Paper

Hier könnt ihr das zugehörige Paper downloaden. Es ist auf englisch.

Download Paper Ant-Algorithm

Bilderkennung und OCR mit OpenCV (Emgu) unter .NET

Bilderkennung - Automatische Texterkennung markiert Buchstaben

Was ist OpenCV?

Open bedeutet offen. Das CV steht für Computer Vision. Da ich schon länger mit dem Gedanken gespielt hab das Ganze mal zu testen, habe ich nun endlich eine Bilbiothek für Bilderkennung gefunden. Das ganze läuft im .Net Framework von Microsoft und ich habe es unter Visual Basic ausprobiert.

Bilderkennung mit OpenCV

Hauptsächlich habe ich die optische Ziffern- und Buchstabenerkennung getestet und muss sagen, dass es ein echt cooles Werkzeug ist um Informationen aus Bildern zu gewinnen. Das ganze wurde von Google unter dem Projektnamen Tesseract gefördert. Die Software ist frei (open source). Mehr Information gibt es auf Wikipedia.

Die Erkennung der Bilder erfolgt zuverlässig bei gut lesbaren Fonts und einer Schriftgröße, welche mindestens 10px hoch ist (eigene Erfahrung).

Wo finde ich es?

Für die Implementierung von OpenCV habe ich Emgu verwendet welche die Bibliotheken für VB.NET und C# bereitstellt. Mehr Information sowie den Download findet ihr auf http://emgu.com

Wie kann ich es lernen?

Außerdem gibt es auf Youtube ein oder mehrere sehr nützliche Videos zu dem Thema Bilderkennung. Dadurch fällt die Implementation nicht schwer und kann schnell in euer Projekt übernommen werden.

Eventuell lade ich noch ein Beispielprojekt mit Sourcecode hoch, damit ihr euch die Tipparbeit erspart 😉